色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于Intel Analytics Zoo上分布式TensorFlow的美的/KUKA工業檢測平臺

電子設計 ? 來源:電子發燒友網 ? 2018-10-17 10:30 ? 次閱讀

背景

工業檢查(用于產品缺陷檢測)是現代制造業的重要組成部分。隨著人工智能計算機視覺和大數據技術的發展,我們可以建立先進的工業檢測系統以實現和人類水平媲美的準確性,并具有更高的效率和更低的成本。在本文中,我們將分享我們在美的/ KUKA,使用英特爾Analytics Zoo(一個基于Apache Spark、TensorFlow和BigDL的開源數據分析+ AI平臺),來建立基于深度學習的工業檢測平臺的經驗。

基于Analytics Zoo的端到端的解決方案

為了便于構建和生成大數據的深度學習應用程序,AnalyticsZoo(https://github.com/intel-analytics/analytics-zoo)提供了統一的數據分析+AI平臺,可將Spark,TensorFlow和BigDL程序無縫集成到一個統一的數據分析流水線中;然后,整個流水線可以透明地擴展到(運行在標準的Intel至強服務器上的)Hadoop/Spark集群,以進行分布式訓練或推理。

如上圖所示,美的 / KUKA的工業檢測平臺是一個建立在Analytics Zoo之上的端到端數據分析流水線,包括

(1)使用Spark以分布式方式處理從制造流水線獲取的大量圖像。

(2)使用Tensorflow Object Detection API直接構建對象檢測(例如,SSDLite + MobileNet V2)模型

(3)直接使用在第一步中預處理的圖像RDD,以分布式方式在Spark集群上訓練(或微調)對象檢測模型。

(4)直接使用評估圖像集的RDD,以分布式方式在Spark集群上評估(或推斷)訓練模型。

(5)使用Analytics-Zoo中POJO模式的API, 將整個Pipeline 部署在低延遲的、在線Web 服務中。

在檢測時間期間,具有相機的工業機器人可以自動拍攝產品的照片,并通過HTTP將圖像發送到網絡服務以檢測各種缺陷(例如,缺失標簽或螺栓等),如下所示。

Spark,TensorFlow和BigDL的統一集成

如前所述,Analytics Zoo提供了“集成數據分析”的深度學習編程模型,因此用戶可以輕松開發端到端的數據分析+ AI 流水線(使用Spark,TensorFlow,Keras等),然后透明地運行在大型Hadoop / Spark集群上、使用BigDL和Spark進行分布式訓練和推理。此外,用戶還可以輕松部署端到端的流水線,以實現低延遲的在線服務(使用Analytics Zoo提供的POJO風格的模型服務API)。

例如,為了以分布式方式處理缺陷檢測流水線的訓練數據,我們可以使用PySpark將原始圖像數據讀取到RDD中,然后應用一些變換來解碼圖像,并提取邊界框和類標簽,如下所示。

<<<

train_rdd = sc.parallelize(examples_list)

.map(lambda x: read_image_and_label(x))

.map(lambda image: decode_to_ndarrays(image))

<<<

返回的RDD(train_rdd)中的每條記錄都包含一個NumPy ndarray的列表(即圖像,邊界框,類和檢測到的框的數量),它可以直接用于創建TensorFlow模型,并在Analytics Zoo上進行分布式訓練。我們可以通過創建TFDataset (如下所示)來實現這一功能。

<<<

dataset = TFDataset.from_rdd(train_rdd,

names=["images", "bbox", "classes", "num_detections"],

shapes=[[300, 300, 3],[None, 4], [None], [1)]],

types=[tf.float32, tf.float32, tf.int32, tf.int32],

batch_size=BATCH_SIZE,

hard_code_batch_size=True)

<<<

在Analytics Zoo中,TFDataset表示一個分布式存儲的記錄集合,其中每條記錄包含一個或多個Tensorflow Tensor對象。然后我們可以直接將這些Tensor作為輸入構建Tensorflow模型。例如,我們使用

了Tensorflow Object Detection API構建了SSDLite + MobileNet V2模型(如下圖所示):

<<<

# using tensorflow object detection api to construct model

# https://github.com/tensorflow/models/tree/master/research/object_detection

from object_detection.builders import model_builder

images, bbox, classes, num_detections = dataset.tensors

detection_model = model_builder.build(model_config, is_training=True)

resized_images, true_image_shapes = detection_model.preprocess(images)

detection_model.provide_groundtruth(bbox, classes)

prediction_dict = detection_model.predict(resized_images, true_image_shapes)

losses = detection_model.loss(prediction_dict, true_image_shapes)

total_loss = tf.add_n(losses.values())

>>>>

在模型構建之后,我們首先加載預先訓練的Tensoflow模型,然后使用Analytics Zoo中的TFOptimizer(如下所示)對模型進行微調訓練;最終我們在驗證數據集上達到0.97 mAP@0.5。

>>>>

with tf.Session() as sess:

init_from_checkpoint(sess, CHECKPOINT_PATH)

optimizer = TFOptimizer(total_loss, RMSprop(LR), sess)

optimizer.optimize(end_trigger=MaxEpoch(20))

save_to_new_checkpoint(sess, NEW_CHEKCPOINT_PATH)

>>>>

在運行過程中,Analytics-Zoo使用PySpark從磁盤中讀取了輸入數據并進行預處理,并構造了一個Tensorflow Tensor的RDD。然后,基于BigDL和Spark 對Tensorflow 模型進行分布式訓練(如BigDL技術報告所述)。無需修改代碼或手動配置, 整個訓練流程就可以自動從單個節點擴展到基于Intel至強服務器的大型Hadoop / Spark集群。

模型訓練結束后,我們還可以基于與訓練流程類似的流水線,使用PySpark,TensorFlow和BigDL在Analytics Zoo上執行大規模的分布式評估/推斷。

低延遲的在線服務

如下所示,我們也可以使用Analytics Zoo提供的POJO風格的模型服務API輕松部署推理流水線,以實現低延遲的在線服務(例如,Web服務,Apache Storm,Apache Flink等等)。有關詳細信息,請參閱 https://analytics-zoo.github.io/master/#ProgrammingGuide/inference/

<<<

AbstractInferenceModel model = new AbstractInferenceModel(){};

model.loadTF(modelPath, 0, 0, false);

List<List<JTensor>> output = model.predict(inputs);

<<<

結論

Midea / KUKA通過結合人工智能,計算機視覺和大數據技術,在Analytics Zoo(https://github.com/intel-analytics/analytics-zoo)上成功構建了先進的工業檢測系統。它使用了工業機器人,相機和英特爾至強服務器等工具對產品的缺陷進行自動檢測。尤其是Analytics Zoo提供統一的數據分析 + AI平臺,可將Spark,BigDL和TensorFlow程序無縫集成到一個數據分析流水線中,從而可以輕松構建和生產化部署基于大數據的深度學習應用程序(包括分布式訓練和推理,以及低延遲在線服務)。您可以參考Github上的示例了解更多詳細信息。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 英特爾
    +關注

    關注

    61

    文章

    9950

    瀏覽量

    171695
  • Web服務
    +關注

    關注

    0

    文章

    26

    瀏覽量

    18457
  • SPARK
    +關注

    關注

    1

    文章

    105

    瀏覽量

    19893
收藏 人收藏

    評論

    相關推薦

    分布式IO工業自動化數據采集與分析的核心

    隨著工業自動化技術的不斷發展,分布式IO在工業自動化領域的應用越來越廣泛。作為一種先進的控制技術,分布式IO能夠實現設備的分布式控制和監測,
    發表于 12-28 14:47

    分布式入侵檢測系統的設計

    分布式入侵檢測系統的設計入侵檢測是網絡安全的一個新方向,其重點是有效地提取特征數據并準確地分析出非正常網絡行為。該文在深入研究分析公共入侵檢測框架理論和現有入侵
    發表于 03-10 09:55

    分布式軟件系統

    分布式軟件系統分布式軟件系統(Distributed Software Systems)是支持分布式處理的軟件系統,是在由通信網絡互聯的多處理機體系結構執行任務的系統。它包括
    發表于 07-22 14:53

    LED分布式恒流原理

    分布式恒流源節點設置分布式恒流技術就是在需要恒流的節點串接,低壓差線性恒流驅動器。低壓差很重要,關系到產品驅動效率。做到恒流驅動有很多種,其中低壓差線性恒流就可以實現一切LED應用設計,即穩定又簡單
    發表于 03-09 16:47

    如何設計分布式干擾系統?

    什么是分布式干擾系統?分布式干擾系統是一種綜合化、一體化、小型化、網絡化和智能化系統,是將眾多體積小,重量輕,廉價的小功率偵察干擾機裝置在易于投放的小型平臺上,撒布在接近***擾目標空域地,通過指令
    發表于 08-08 06:57

    分布式系統的優勢是什么?

    當討論分布式系統時,我們面臨許多以下這些形容詞所描述的 同類型: 分布式的、刪絡的、并行的、并發的和分散的。分布式處理是一個相對較新的領域,所以還沒有‘致的定義。與順序計算相比、并行的、并發的和
    發表于 03-31 09:01

    分布式恒流的優缺點是什么?

     分布式恒流技術就是在需要恒流的節點串接,低壓差線性恒流驅動器。低壓差很重要,關系到產品驅動效率。做到恒流驅動有很多種,其中低壓差線性恒流就可以實現一切LED應用設計,即穩定又簡單,結合開關電源,有著完美的恒流驅動架構。
    發表于 04-01 09:03

    TensorFlow的特點和基本的操作方式

    Tensorflow是Google開源的深度學習框架,來自于Google Brain研究項目,在Google第一代分布式機器學習框架DistBelief的基礎發展起來。Tensorflow
    發表于 11-23 09:56

    如何高效完成HarmonyOS分布式應用測試?

    2.0發布以來,開發者在測試和架HarmonyOS分布式應用過程中遇到很多挑戰和困難。總體可歸納為以下三點:分布式應用上架測試通過率低:開發者提交上架的分布式應用基礎質量較差。如圖
    發表于 12-13 18:07

    Intel Analytics Zoo/BigDL為客服平臺添加AI的實踐(一)

    本系列博客主要分享了微軟 Azure 的團隊使用 Intel Analytics Zoo 在 Azure 的平臺上為客戶支持服務平臺添加 A
    的頭像 發表于 10-17 10:30 ?4668次閱讀

    分布式工業物聯網云平臺是怎樣的

    分布式工業物聯網云平臺是基于智能傳感器、無線傳輸技術、大規模數據處理與遠程控制等物聯網核心技術與互聯網、無線通信、云計算大數據技術高度融合開發的一套物聯網云服務平臺
    發表于 06-25 10:35 ?1737次閱讀

    Analytics Zoo: 統一的大數據分析+AI 平臺

    怎么應用 Analytics Zoo ?比如在阿里云上面部署 EMR,使用 Analytics Zoo
    的頭像 發表于 07-02 11:18 ?4794次閱讀

    Intel制造行業AI案例分享:美的工業視覺檢測平臺

    Intel制造行業AI案例分享:美的工業視覺檢測平臺 [項目背景] 作為白色家電行業領軍企業,美的
    的頭像 發表于 12-26 10:43 ?4137次閱讀

    如何使用TensorFlow進行大規模和分布式的QML模擬

    中,我們將逐步帶您了解如何使用 TensorFlowTensorFlow Quantum 進行大規模和分布式
    的頭像 發表于 08-10 17:31 ?2625次閱讀

    分布式工業物聯網平臺:引領智能制造的新篇章

    隨著全球化和信息化進程的加速,分布式工業物聯網平臺作為智能制造的重要基石,正逐步展現出其強大的潛力和廣泛的應用前景。這一平臺通過整合不同地區的人力物力資源,實現產品生產的最低消耗,并借
    的頭像 發表于 09-27 17:09 ?227次閱讀
    主站蜘蛛池模板: av天堂网2017avtt| 免费国产综合视频在线看| 天天综合亚洲综合网站| SM脚奴调教丨踩踏贱奴| 久久免费精彩视频| 亚洲精品视频在线观看免费| 国产乱子影视频上线免费观看| 日本久久久久亚洲中字幕| 99精品国产福利在线观看| 老师我好爽再深一点老师好涨| 一本色道久久综合亚洲精品蜜桃冫 | 色婷婷综合久久久中文字幕| MD传媒在线观看佳片| 男的插曲女的下面免费APP| 91免费网站在线看入口黄| 麻豆精品国产剧情观看| 正在播放黑人杂交派对卧槽| 久久久高清国产999尤物| 伊人久久大香线蕉综合电影网| 久爱精品亚洲电影午夜| 亚洲专区区免费| 久久精品国产欧美成人| 一级特黄视频| 久久综合色一综合色88中文| 在线观看亚洲免费人成网址| 久久青草免费91线频观看站街| 在线观看免费视频a| 空姐被黑人 苏晓曼| 18国产精品白浆在线观看免费| 久久精品18| 最新国自产拍 高清完整版| 美女逼逼毛茸茸| FREE性丰满白嫩白嫩的HD| 翘臀少妇被扒开屁股日出水爆乳| 宝贝你骚死哥了好爽| 三级黄.色| 国产免费久久爱久久啪| 亚洲欧美综合视频| 久久香蕉电影| 99久久99久久精品免费看子| 飘雪韩国在线观看免费高清完整版|