目前人工智能非?；?，大家所熟知的人臉識(shí)別、智能安防、自動(dòng)駕駛等領(lǐng)域都在應(yīng)用人工智能技術(shù)。但在自動(dòng)駕駛這個(gè)行業(yè)中我們能用Go語(yǔ)言做什么事情？今天分享的主要是人工智能數(shù)據(jù)流的流轉(zhuǎn)方式，也是Golang在Momenta大數(shù)據(jù)平臺(tái)當(dāng)中的應(yīng)用。

Momenta 大數(shù)據(jù)平臺(tái)

Momenta的目標(biāo)是打造自動(dòng)駕駛大腦，基于深度學(xué)習(xí)和海量數(shù)據(jù)，Momenta已經(jīng)形成服務(wù)多個(gè)場(chǎng)景的自動(dòng)駕駛解決方案，解決了逆光、橋、隧道、雨天、夜間、匝道等復(fù)雜道路場(chǎng)景。

在實(shí)現(xiàn)自動(dòng)駕駛的過(guò)程中，深度學(xué)習(xí)的算法在訓(xùn)練模型時(shí)得有基礎(chǔ)數(shù)據(jù)作支撐，需要大量的圖像數(shù)據(jù)。借助團(tuán)隊(duì)極強(qiáng)的研究能力與工程能力，Momenta已經(jīng)建立起大數(shù)據(jù)平臺(tái)、大計(jì)算平臺(tái)、大測(cè)試平臺(tái)三大基礎(chǔ)平臺(tái)，從而實(shí)現(xiàn)大數(shù)據(jù)與AI算法的反饋閉環(huán)——以強(qiáng)大的計(jì)算資源處理豐富的海量數(shù)據(jù)，得到更精準(zhǔn)、更可靠的算法模型。

其中，大數(shù)據(jù)平臺(tái)能夠完美處理自動(dòng)駕駛領(lǐng)域的數(shù)據(jù)流，具體而言，便是處理收集數(shù)據(jù)、篩選數(shù)據(jù)、數(shù)據(jù)標(biāo)注、訓(xùn)練模型、模型測(cè)試、封裝發(fā)布的整個(gè)過(guò)程。

數(shù)據(jù)篩選       

上圖是車(chē)輛識(shí)別的一個(gè)典型，富有中國(guó)特色和北京特色——電動(dòng)車(chē)，Momenta目前對(duì)電動(dòng)車(chē)、自行車(chē)、人力三輪車(chē)、三輪電動(dòng)車(chē)等，都能進(jìn)行識(shí)別，并且達(dá)到很高的準(zhǔn)確度。在人工智能數(shù)據(jù)流中，數(shù)據(jù)篩選這一步驟主要有以下作用：

降低成本：無(wú)需重復(fù)標(biāo)注已經(jīng)可以很好識(shí)別的素材，降低標(biāo)注成本，模型運(yùn)行結(jié)果可用于輔助標(biāo)注；

提高模型訓(xùn)練效率：去除無(wú)效素材，提取包含識(shí)別目標(biāo)的素材，提高訓(xùn)練效率；

提高模型訓(xùn)練邊際效用：通過(guò)對(duì)極端情況（corner case）的數(shù)據(jù)進(jìn)行針對(duì)性訓(xùn)練，可以有效的提高模型性能。

數(shù)據(jù)標(biāo)注

經(jīng)過(guò)篩選之后，會(huì)有部分圖片需要人工標(biāo)注。基于極強(qiáng)的工程能力，Momenta開(kāi)發(fā)了在線(xiàn)遠(yuǎn)程眾包數(shù)據(jù)標(biāo)注系統(tǒng)，實(shí)習(xí)可視化操作，即便標(biāo)注人員不懂代碼也能遠(yuǎn)程完成各類(lèi)標(biāo)注任務(wù)。數(shù)據(jù)標(biāo)注的作用主要是提高模型訓(xùn)練精度， 獲得更多標(biāo)注圖片，提取包含識(shí)別目標(biāo)的素材，提高訓(xùn)練精度。

模型訓(xùn)練

上圖是模型訓(xùn)練的流程圖，其中，在數(shù)據(jù)導(dǎo)入、模型訓(xùn)練和模型驗(yàn)證Momenta都做出了極大的創(chuàng)新。

數(shù)據(jù)導(dǎo)入：支持多種數(shù)據(jù)類(lèi)型，支持多批次數(shù)據(jù)合并，支持多種組合規(guī)則；

模型訓(xùn)練：多機(jī)多卡并發(fā)訓(xùn)練，共享式集群、支持多人多任務(wù)同時(shí)進(jìn)行，支持多種主流訓(xùn)練框架，所有任務(wù)由 Kubernetes 自動(dòng)調(diào)度完成；

模型驗(yàn)證：訓(xùn)練所得模型自動(dòng)在驗(yàn)證集上進(jìn)行驗(yàn)證，通過(guò)驗(yàn)證的模型將進(jìn)入模型倉(cāng)庫(kù)供后續(xù)流程使用。

與傳統(tǒng)方式相比，Momenta采用的共享集群調(diào)度讓用戶(hù)（內(nèi)部的算法研發(fā)人員）可以編寫(xiě)任務(wù)描述和訓(xùn)練腳本，而管理員通過(guò)網(wǎng)頁(yè)界面進(jìn)行集群管理和工作調(diào)度。極大地節(jié)省人工成本，提高資源利用率，實(shí)現(xiàn)集中性管理，提高安全性。

Golang 在人工智能數(shù)據(jù)流中的應(yīng)用

Golang在人工智能數(shù)據(jù)流中主要應(yīng)用在篩選系統(tǒng)、標(biāo)注系統(tǒng)和訓(xùn)練系統(tǒng)。

篩選 系統(tǒng)

Momenta每天可能需要處理幾千萬(wàn)張圖片，數(shù)據(jù)量巨大，如果逐一進(jìn)行標(biāo)注將給存儲(chǔ)帶來(lái)很大的挑戰(zhàn)。解決這個(gè)問(wèn)題的方法就是篩選系統(tǒng)，通過(guò)篩選系統(tǒng)，我們將大的數(shù)據(jù)集拆分為小的單元，每個(gè)單元中包含小的任務(wù)，而每個(gè)單元對(duì)應(yīng)一個(gè) GPU，使用 GPU進(jìn)行智能篩選。最終只有約10%的圖片時(shí)需要進(jìn)行標(biāo)注的，大大減少了數(shù)據(jù)標(biāo)注的成本。

標(biāo)注系統(tǒng)

Momenta為內(nèi)部算法研發(fā)人員服務(wù)的標(biāo)注系統(tǒng)，可以實(shí)現(xiàn)用戶(hù)管理、任務(wù)分發(fā)、計(jì)費(fèi)、結(jié)算和自動(dòng)審核。自動(dòng)審核是比較特殊的，在一般場(chǎng)景和服務(wù)中用得比較少，自動(dòng)審核是指用Momenta的模型來(lái)證實(shí)用戶(hù)（在平臺(tái)上兼職標(biāo)注的人員）的標(biāo)注結(jié)果是否符合需求或預(yù)期，主要是應(yīng)付較大的用戶(hù)訪問(wèn)，特別是節(jié)假日的時(shí)候。（節(jié)假日期間平臺(tái)的用戶(hù)比較閑，會(huì)希望在平臺(tái)上賺點(diǎn)零花錢(qián)。）

訓(xùn)練系統(tǒng)