“在一個(gè)數(shù)字化轉(zhuǎn)型的大背景下，物聯(lián)網(wǎng)設(shè)備功能會(huì)越來(lái)越豐富，這些功能里絕大部分都需要通過(guò)軟件來(lái)實(shí)現(xiàn)的，如今的問(wèn)題和挑戰(zhàn)就在于，如何將若干個(gè)軟件共享在一個(gè)平臺(tái)上”。這就話是張宇在英特爾一年一度的人工智能與物聯(lián)網(wǎng)生態(tài)合作伙伴峰會(huì)上，英特爾中國(guó)區(qū)物聯(lián)網(wǎng)事業(yè)部首席工程師及首席技術(shù)官?gòu)堄畈┦浚榻B了英特爾在AI與物聯(lián)網(wǎng)領(lǐng)域所進(jìn)行的多應(yīng)用融合與實(shí)踐，圍繞英特爾的單一平臺(tái)實(shí)現(xiàn)若干應(yīng)用的集成化，這也是英特爾在應(yīng)對(duì)AIoT時(shí)代所做的最大努力。

“對(duì)于物聯(lián)網(wǎng)平臺(tái)來(lái)說(shuō)，通用處理器的開(kāi)放平臺(tái)已經(jīng)能夠成為物聯(lián)網(wǎng)設(shè)備主流架構(gòu)，再加上虛擬化軟件的成熟，我們就可以把若干不同應(yīng)用來(lái)共享一個(gè)硬件平臺(tái)，同時(shí)給應(yīng)用提供獨(dú)立性，來(lái)保證質(zhì)量。”

張宇表示，摩爾定律的推動(dòng)下，計(jì)算性能的提升是驚人的，比如1994年的超算性能是每秒1300次，如今最新一期榜單超算的計(jì)算能力達(dá)到了每秒20億次，提升了百萬(wàn)倍以上。算力提高的同時(shí)，算法也在不斷擴(kuò)展，甚至迭代速度早已超過(guò)了硬件本身。也正因此，軟件定義系統(tǒng)這一概念頻頻在物聯(lián)網(wǎng)中出現(xiàn)，張宇指出，軟件定義系統(tǒng)的本質(zhì)上是把硬件系統(tǒng)數(shù)字化、標(biāo)準(zhǔn)化，通過(guò)軟件賦能來(lái)實(shí)現(xiàn)各種虛擬化、多樣性的平臺(tái)。

統(tǒng)一平臺(tái)或者軟件定義系統(tǒng)的根基還是硬件平臺(tái)性能足夠高，同時(shí)也要足夠靈活。比如在工業(yè)領(lǐng)域，機(jī)器視覺(jué)、運(yùn)動(dòng)控制及人機(jī)界面等應(yīng)用已經(jīng)可以在統(tǒng)一平臺(tái)上實(shí)施。而在智慧城市領(lǐng)域，電子看板除了廣告推送之外，還具備了視頻采集、視頻分析、城市熱點(diǎn)以及更多功能，同時(shí)也催生了更多應(yīng)用與服務(wù)。對(duì)于交通領(lǐng)域，利用虛擬化的技術(shù)，可以實(shí)現(xiàn)軟件定義駕艙，集成車(chē)載信息娛樂(lè)系統(tǒng)、一體化儀表盤(pán)以及后座娛樂(lè)系統(tǒng)在統(tǒng)一平臺(tái)上。

軟件定義系統(tǒng)的關(guān)鍵技術(shù)

虛擬化是軟件定義平臺(tái)的最關(guān)鍵要素，其中包括了硬件資源的虛擬化，也包括了平臺(tái)化的系統(tǒng)軟件。

硬件資源的虛擬化所實(shí)現(xiàn)是對(duì)硬件的抽象，來(lái)實(shí)現(xiàn)硬件資源的重配、重構(gòu)，來(lái)提高硬件資源利用率。平臺(tái)化的系統(tǒng)軟件則是需要通過(guò)軟件實(shí)現(xiàn)對(duì)硬件資源的統(tǒng)一調(diào)配，需要提供標(biāo)準(zhǔn)化的中間層，來(lái)打破上層應(yīng)用和底層硬件資源之間的關(guān)系，從而提高系統(tǒng)的利用率。

如今包括軟件定義網(wǎng)絡(luò)SDN，網(wǎng)絡(luò)功能虛擬化NFV，以及軟件定義存儲(chǔ)SDS等概念均已成為現(xiàn)實(shí)，實(shí)際上這些新興應(yīng)用都是通過(guò)虛擬化技術(shù)，將若干個(gè)應(yīng)用整合在統(tǒng)一平臺(tái)之上來(lái)提高整個(gè)平臺(tái)使用效率、降低系統(tǒng)總體應(yīng)用成本。

虛擬化技術(shù)離不開(kāi)虛擬機(jī)監(jiān)視器，這項(xiàng)技術(shù)實(shí)現(xiàn)了實(shí)體硬件資源和虛擬資源之間轉(zhuǎn)換，比如說(shuō)實(shí)體CPU向虛擬CPU的轉(zhuǎn)換，實(shí)體存儲(chǔ)到虛擬存儲(chǔ)轉(zhuǎn)換，實(shí)體網(wǎng)絡(luò)到虛擬網(wǎng)絡(luò)轉(zhuǎn)換。同時(shí)虛擬機(jī)監(jiān)視器還能監(jiān)視在這之上創(chuàng)建虛擬機(jī)運(yùn)行的狀態(tài)。現(xiàn)在業(yè)界虛擬機(jī)監(jiān)視器兩種類型，分別稱之為T(mén)ype1和Type2，其中Type1的特點(diǎn)是能夠?qū)τ布Y源直接進(jìn)行操作，不需要底層操作系統(tǒng)的支持，能夠達(dá)到更快的反映，從而減少響應(yīng)延遲，十分適合包括工業(yè)控制等在內(nèi)對(duì)實(shí)時(shí)性要求較高的場(chǎng)景。而Type2型虛擬機(jī)，需要建立在已有的主機(jī)操作系統(tǒng)之上，實(shí)現(xiàn)對(duì)硬件資源的訪問(wèn)。

除了虛擬機(jī)監(jiān)視器之外，容器也是近年來(lái)流行的新技術(shù)，容器技術(shù)可簡(jiǎn)單理解為輕量化虛擬機(jī)，開(kāi)發(fā)者可以把應(yīng)用及跟相關(guān)依賴打包放在容器中，通過(guò)容器發(fā)布。不同容器對(duì)主機(jī)操作系統(tǒng)實(shí)現(xiàn)共享，所以并不需要為每個(gè)容器建立各自操作系統(tǒng)。

相比而言，虛擬機(jī)能夠虛擬操作系統(tǒng)，所以隔離性會(huì)更好，容器的隔離性較差，但系統(tǒng)資源占用較小，啟動(dòng)也更迅速。

軟件定義系統(tǒng)離不開(kāi)底層硬件的支持，比如CPU虛擬化、I/O虛擬化或者網(wǎng)絡(luò)虛擬化，必須使用像VTd，VTc、VTx等虛擬化技術(shù)。“硬件的虛擬化技術(shù)已經(jīng)成熟，但隨著人工智能的發(fā)展，需要這些硬件實(shí)現(xiàn)對(duì)人工智能應(yīng)用的支持，所以英特爾推出了HDDL （VAD） 加速卡，集成了8塊Movidius Myraid X芯片，提供8T的算力，基于PCI-e總線，總功耗僅為20瓦。”張宇介紹道。

而與加速卡配套的是OpenVINO軟件，可幫開(kāi)發(fā)者迅速將人工智能網(wǎng)絡(luò)部署到加速卡中。

英特爾的多融合實(shí)踐

張宇表示，英特爾目前正在開(kāi)發(fā)多應(yīng)用融合軟件，包含兩方面，一是集中在邊緣側(cè)，是對(duì)英特爾現(xiàn)有工具比如OpenVINO等的擴(kuò)展，使其更好地支持多應(yīng)用環(huán)境，而另一端是云端方案，提供了軟件管理平臺(tái)參考實(shí)踐，可在web上配置系統(tǒng)參數(shù)，并自動(dòng)生成安裝腳本，開(kāi)發(fā)者可以直接部署到本地的多應(yīng)用環(huán)境中運(yùn)行，同時(shí)我們也提供了包括應(yīng)用商城等在內(nèi)的參考實(shí)踐。

OpenVINO是張宇重點(diǎn)強(qiáng)調(diào)的項(xiàng)目，OpenVINO包括兩個(gè)核心組件，一個(gè)是模型優(yōu)化器，另外一個(gè)是推理引擎。模型優(yōu)化器可幫開(kāi)發(fā)者將人工智能框架上所訓(xùn)練好的網(wǎng)絡(luò)模型下載到相應(yīng)的平臺(tái)上。模型優(yōu)化器的工作流程如下：通過(guò)模型優(yōu)化器，在保證質(zhì)量的同時(shí)進(jìn)行模型優(yōu)化，把優(yōu)化結(jié)果轉(zhuǎn)變成中間表示文件，中間表示文件被推理引擎讀取，讀取完成，就可以通過(guò)硬件插件下載到指定平臺(tái)上執(zhí)行。目前的硬件插件包括CPU插件、FPGA插件、GPU插件和Movidus的Visual插件。

OpenVINO還包括資源調(diào)度器，可以把人工智能網(wǎng)絡(luò)分配到不同的VPU芯片上執(zhí)行，如果兩個(gè)應(yīng)用所選用的人工智能網(wǎng)絡(luò)相同，則可共享VPU資源，只需一次下載，從而減少模型數(shù)據(jù)的傳遞數(shù)量。

OpenVINO不能實(shí)現(xiàn)不同應(yīng)用之間的硬件隔離，如果需要隔離的話，需要做一定擴(kuò)展，資源調(diào)度器中可以維護(hù)內(nèi)部資源分布，為應(yīng)用分配所需硬件，同時(shí)也可記錄不同應(yīng)用分配的資源數(shù)量、類型以及位置。

同時(shí)，HDDL支持靈活配置和隔離，比如其中4顆芯片分配給應(yīng)用一，四顆分配給應(yīng)用二，實(shí)現(xiàn)不同的人工智能網(wǎng)絡(luò)。此時(shí)，如果應(yīng)用需要更多的模型處理，可以利用負(fù)載整合，把VPU資源整合，空出新的模型應(yīng)用。利用8顆芯片，實(shí)現(xiàn)了不同應(yīng)用間的物理隔離，同時(shí)又實(shí)現(xiàn)了資源共享。

英特爾提供了圖形化UI，以方面用戶管理系統(tǒng)，在邊緣側(cè)提供了圖形化的監(jiān)控軟件，展示應(yīng)用運(yùn)行狀態(tài)，而在云端也提供了圖形化的配置工具，只需要一步步按照系統(tǒng)要求即可輕松完成設(shè)置。

張宇在現(xiàn)場(chǎng)給出了幾個(gè)實(shí)際開(kāi)發(fā)截圖，以證明英特爾軟件定義平臺(tái)方法論的效率。包括腳本安裝、虛擬機(jī)選型、資源配置、容器設(shè)置、系統(tǒng)監(jiān)控等一系列動(dòng)作。

“我們現(xiàn)在所做的多任務(wù)融合軟件工具，目的是幫開(kāi)發(fā)者更方便去構(gòu)建多應(yīng)用融合的系統(tǒng)。具體措施包括提供更多管理工具方便客戶進(jìn)行負(fù)載整合與監(jiān)控，優(yōu)化軟件以發(fā)揮系統(tǒng)整體性能，同時(shí)也能保證系統(tǒng)的隔離度。”張宇總結(jié)道。

責(zé)任編輯：ct