人工智能進一步推動了對算力的渴求,硬件的世界已經發生了極大的顛覆,不論是數據的處理方式還是計算架構的延伸,除了CPU、GPU、DSP、FPGA等,還涌現出各種各樣的AI加速器。除了傳統的芯片提供商,算法提供商、設備服務商甚至互聯網公司等,也都開始規劃自己的芯片戰略。另一方面,創新速度也在加劇,甚至遠遠超出芯片的設計速度。
硬件發展受到了前所未有的挑戰。但與此同時,軟件的重要性也被提到了前所未有的高度。這背后的邏輯是什么?
三大行業趨勢正在驅動變革
第一個趨勢是云和端的一體化。以前我們將大的計算量都放在云端,但隨之而來產生了帶寬傳輸的問題。當把運算量漸漸移到端側的時候,又產生了功耗、算力的問題。可能的處理方式是:當數據量較小的時候放在端側,隨著數據量增大再放到云上,這就使得很多場景下很難界定究竟是云上還是端側,因此需要從云到端統一的解決方案,來適配不同場景下的計算需求。第二個趨勢是AI激增。其前提是數據量的激增,以及數據形態的巨大變化。從傳統的文本、圖形數據,到現在的視頻、音頻、社交等非結構化數據,未來還有包括聯網汽車數據、神經網絡數據、基因數據等更多形態的數據。當數據量越來越大之后,如何讓數據發揮真正的價值成為重要的關注點。
第三個趨勢是異構計算。傳統上應對運算性能提升的方式包括單核速度的提升,以及單核變多核。但是當這兩種方式仍然無法滿足計算需求的時候,CPU+GPU、CPU+FPGA等組合形式的異構計算概念出現了。異構雖然帶來了性能上的提升,但是也給軟件開發者帶來了各種挑戰。
軟硬件各自為政的時代已過去!
除了上述趨勢,軟硬件本身的特性也在促使二者關系的轉變。硬件按照物理規律在發展,相對于軟件,必然存在迭代慢、架構復雜的問題,特別是隨著摩爾定律趨緩,硬件架構上的物理增長越來越艱難。相較之下,算法的增長和優化則空間很大,一方面能夠提升硬件架構的物理性能;另一方面,通過算法的升級能夠帶來算力上的躍進。例如蘋果、華為、百度、阿里等公司都推出了內置AI算法的芯片,應用場景多以云端為主。在這些趨勢的引領下,軟硬件的關系產生了新的變化。軟件似乎正變得越來越重要,許多公司甚至選擇軟件為先,硬件再去跟進。
當所有創新都被按下快進鍵的過程中,硬件工程師需要工具幫助他們突破固定硬件的開發限制,快速面對市場;軟件工程師則需要幫助他們屏蔽硬件復雜性,讓他們可以在熟悉的開發環境中提升效率。
二者誰更重要呢?沒有軟件,芯片無法使用,需要大量的軟件開發者去將它表達為用戶真正所需;另一方面,軟件又需要芯片這個實體去承載,在整個系統中發揮價值。
誰能幫助硬件和軟件工程師重新坐下來對話,為他們搭建起溝通的橋梁?
巨頭們已經嗅到了這樣的趨勢。
10月9日,賽靈思宣布推出開放、標準、免費的統一軟件平臺Vitis。這是賽靈思有史以來首次發布的一款軟硬件統一的平臺,可以說是賽靈思近年來轉型中一個重要的成果,根據官方說明,它可以讓包括軟件工程師和 AI 科學家在內的廣大開發者都能受益于硬件靈活應變的優勢。Vitis統一軟件平臺支持賽靈思異構平臺(包括FPGA、SoC和Versal ACAP)上開發嵌入式軟件和加速應用,為邊緣、云和混合計算應用加速提供統一編程模型。它可以與高層次框架進行集成,通過加速庫采用C、C++或Python進行開發,也可以使用基于RTL的加速器和低層次運行時API對實現方案進行粒度更為精確的控制。
四層堆棧,打通從硬件到應用的道路!
Vitis 平臺構建在基于堆棧的架構之上,該架構可以無縫插入到開源的標準開發系統與構建環境,并且包含一套豐富的標準庫。基礎層是 Vitis 目標平臺,該平臺由電路板和預編程 I/O構成。
第二層稱為 Vitis 核心開發套件,覆蓋開源賽靈思運行時庫,以管理不同域間的數據移動,包括子系統、即將發布的 Versal ACAP內的AI引擎和必要的外部主機。此外,該層也提供編譯器、分析器和調試器等核心開發工具,這些工具設計的目的是能與業界標準的構建系統與開發環境無縫集成。
在第三層,8個Vitis 庫提供 400 余種優化的開源應用。這8個庫分別是:Vitis 基本線性代數子程序(BLAS)庫、Vitis 求解器庫、Vitis 安全庫、Vitis 視覺庫、Vitis 數據壓縮庫、Vitis 計量金融庫、Vitis 數據庫集和 Vitis AI 庫。借助這些庫,軟件開發者可以使用標準的應用編程接口(API)來實現硬件加速。
Vitis 平臺的第四層,也是最具有變革意義的一層是 Vitis AI。它集成了特定領域架構(DSA),提供了針對AI模型的硬件實現,開發者可以使用包括TensorFlow和Caffe等框架進行配置與編程。Vitis AI 提供的工具鏈能在數分鐘內完成優化、量化和編譯操作,在賽靈思器件上運行預先訓練好的AI模型。此外,它也為從邊緣到云端的部署提供了專用 API,實現更好的推斷性能與效率。賽靈思很快還將推出另一個 DSA(Vitis Video),支持從 FFmpeg 直接進行編碼并提供同樣超級簡單且功能極強大的端到端視頻解決方案。由合作伙伴公司提供的 DSA 包括:與 GATK 集成用于基因分析的Illumina,與ElasticSearch 集成用于大數據分析的BlackLynx,以及當前客戶正在使用的專有DSA。
如何打破軟硬件壁壘,提升創新效率?
賽靈思軟件和人工智能高級經理羅霖,以智慧城市為例說明了如何通過統一軟件平臺Vitis,來幫助開發人員進行效率提升。智慧城市一個典型的應用場景就是在道路上實時統計交通流量,包括汽車流量、人流量等,通過大量攝像頭實時捕捉,在前端進行特征提取,再傳給服務器或云端,進行更高層次的信息提取和分析。
這個典型案例中,攝像頭和邊緣端服務器端都可以部署賽靈思的器件,硬件開發人員完成IP開發后,再由嵌入式開發人員進行一定程度的修改,基于Shell和Runtime,由應用開發人員使用經過優化的庫(包括CNN加速庫、數據分析和加速庫)完成應用開發。
對于算法開發人員,他們通過TensorFlow等進行模型訓練之后,可以得到一個浮點的Model。接下來的開發流程中,他們就可以使用Vitis AI開發工具。基于模型進行第一步優化,第二步完成模型的量化即定點,第三步定點好之后進行編譯,生成基于底層DPU的機器代碼。最終,在板上進行部署后分析性能,包括運算效率等。如果覺得性能已達到目標,就可以編譯成庫,應用代碼可以直接調用編譯好的庫,進行網絡推斷。整個過程中,他們不需要關注底層的RTL、驅動程序或是數據的搬運,所有的工作都是基于模型,由工具去生成在目標硬件上運行的機器代碼。
如何快速通過Vitis達到用戶所需的目標性能?羅霖表示,第一,軟件開發人員可以把算法,包括前后處理都在CPU上完成,這部分不需要底層硬件開發人員的幫助,用Vitis可以達到每秒6幀的性能;第二,把DPU放在Shell里,用算法在其中做加速,性能可以從每秒6幀提升到每秒30幀;第三,為了提升端到端的性能,比如預處理是設計空間的轉換或者是視頻縮放,這部分可以用Vitis庫提供前處理的優化,從30FPS提升到40FPS甚至再提升到80FPS。
整個項目中用到了瀏覽器、編譯器還有分析器,按照時間線來看,內核占用情況、數據從編寫到搬運占用時間、中斷是否合適……所有這些底層運行的細節,軟件工程師一目了然,從而可以判定系統的運行狀況,以及瓶頸問題等。而傳統上,還需要在工具中專門插入芯片間隙或數據監測器才能夠實現。
屏蔽硬件復雜性——當前軟件的重要價值
通過開放、通用的軟件來屏蔽硬件復雜性,使軟件人員在他們熟悉的開發環境中專注于創新,而無需關注底層硬件平臺的細節——成為消除當前軟硬件壁壘的主要手段。今年8月,Intel對其即將于年底發布的oneAPI開發者測試版本進行了劇透。OneAPI整合了計算和架構創新,通過高速互連以及新的軟件開發模式,希望為開發者簡化API。Intel希望將硬件能力抽象出來,把最重要的算法融于oneAPI,使開發者不再需要針對硬件做開發,更容易發揮出硬件的所有潛力。Intel的軟件策略似乎更強調圍繞架構所進行的擴展,橫跨PC、網絡和數據中心,目標包括易用性、開放性以及統一的開發體驗。
再看英偉達建立在GPU基礎上的通用計算開發平臺CUDA,由于在性能、成本和開發時間上較傳統的CPU解決方案有顯著優勢,當時一經推出就頗受市場歡迎。近年來,英偉達為了推進GPU的易用性,仍持續從軟件層面幫助開發者在更多垂直領域的GPU平臺上部署應用程序。
賽靈思大中華區銷售副總裁唐曉蕾表示,提供靈活豐富的硬件選擇給軟件工程師,通過高層的API去調用下層資源,這個理念是一致的,只是不同廠商有不同的實現手段。賽靈思強調軟件定義硬件,硬件必須是可適應的、靈活的。
她以自動駕駛多樣化的應用場景為例談到,攝像頭、環視、泊車等可能由不同的公司來實現,應用場景包括高速公路、市區、港口、碼頭等等。如果專門為某一個應用設計一款芯片是不可能的,客戶需要的是——靈活的、擴展性較強的平臺,可以根據應用和工作負載來優化系統,這是賽靈思推出Vitis的主要原因。此外,推出開放、標準、免費的Vitis,也便于拓展用戶群,讓更多的軟件工程師體驗賽靈思的的自適應硬件平臺。
未來軟硬件的關系走向?
使用標準的環境與API、擁抱開源、軟硬件協同作戰——是未來軟硬件關系的三大方向。由于開源社區在生態系統和開發者社區創新中越來越重要,巨頭們都希望以更積極的態度介入這場大變革之中。
值得一提的是,在開放性方面,賽靈思一個很大的創新還在于:賽靈思完全將集成的開發環境免費提供給用戶,讓他們將Vitis無縫集成在自己的開發環境中。這與過去用戶自己設計開發環境,背后調用賽靈思的編譯器和調試工具有很大的不同,更有利于軟件開發人員在自適應的開發平臺上釋放創新力。其開發者網站developer.xilinx.com,將作為連接Vitis開發者社區的空間,由賽靈思、Vitis專家及愛好者共同管理,分享更新、設計技巧等信息。
正如唐曉蕾所說,如果以搭建樂高來比喻未來的系統設計的話,那么硬件更像是一個個的樂高塊,軟件就像是搭建規則或是創意。樂高塊也許會有相同,但不同的搭建方式可以實現創意紛呈,賽靈思希望把樂高塊越做越豐富,給工程師更多的選擇,幫助他們更容易實現更多的功能創新,靈活應對不斷變化的市場需求。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
人工智能
+關注
關注
1791文章
47208瀏覽量
238297 -
異構計算
+關注
關注
2文章
100瀏覽量
16295
發布評論請先 登錄
相關推薦
大模型時代的算力需求
現在AI已進入大模型時代,各企業都爭相部署大模型,但如何保證大模型的算力,以及相關的穩定性和性能,是一個極為重要的問題,帶著這個極為重要的問題,我需要在此書中找到答案。
發表于 08-20 09:04
我們的城市為什么越來越熱?
全球氣候在變暖,我們焚燒石油,煤炭等化石燃料,產生了大量二氧化碳等溫室氣體,導致全球氣候變暖,尤其大陸氣溫升高,城市變得越來越熱。圖:上海前灘的夜晚,被太陽曬熱的建筑熱島效應夏天天太熱,在陽光
摩爾線程張建中:以國產算力助力數智世界,滿足大模型算力需求
摩爾線程創始人兼CEO張建中在會上透露,為了滿足國內對AI算力的迫切需求,他們正在積極尋求與國內頂尖科研機構的深度合作,共同推動更大規模的AI智算集群項目。
液冷是大模型對算力需求的必然選擇?|英偉達 GTC 2024六大亮點
的先鋒,對液冷散熱的三種方式(冷板式、浸沒式和噴淋式)做了詳細的對比分析、成本測算和市場空間預測。并為您提供一份“實用教程”,指導如何將普通服務器改裝為液冷服務器,以應對越來越復雜的計算需求。
嵌入式會越來越卷嗎?
嵌入式會越來越卷嗎? 當談及嵌入式系統時,我們探究的不僅是一種科技,更是一個日益多元與普及的趨勢。嵌入式系統,作為一種融入更大系統中的計算機硬件和軟件,旨在執行特定功能或任務。但這個看似特定的系統
發表于 03-18 16:41
IC datasheet為什么越來越薄了?
剛畢業的時候IC spec動則三四百頁甚至一千頁,這種設置和使用方法很詳盡,但是這幾年IC datasheet為什么越來越薄了,還分成了IC功能介紹、code設置、工廠量產等等規格書,很多東西都藏著掖著,想了解個IC什么東西都要發郵件給供應商,大家有知道這事為什么的嗎?
發表于 03-06 13:55
Sora爆火引全球算力需求激增?賽思時間同步技術使算力如虎添翼!
近日,聯想集團楊元慶表示,Sora的推出會加大全球AI算力的需求,會進一步帶動AI的普及和平民化應用。從供給側來看,這一方面會提高對傳統性能的要求,另一方面也需要進行新的技術創新。賽思時頻創新技術使
評論