回顧計算機(jī)發(fā)展的歷史,任何一個計算架構(gòu)的成功都離不開強(qiáng)大的硬件,但這背后更需要繁榮的軟件生態(tài)。
1960年的集中式計算出現(xiàn)后,諸多基礎(chǔ)軟件應(yīng)運而生,隨后進(jìn)入“Win-tel”獨霸PC的時代,近年來,Intel和Linux又帶來了分布式計算的高潮。
如今,隨著5G的到來,移動互聯(lián)網(wǎng)業(yè)務(wù)進(jìn)一步發(fā)展,大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等創(chuàng)新應(yīng)用場景層出不窮,應(yīng)用場景的多樣性催生出數(shù)據(jù)的多樣性,導(dǎo)致原有的單一計算架構(gòu)明顯跟不上龐雜的業(yè)務(wù)需求,業(yè)界對提出一種全新計算架構(gòu)的呼聲愈烈。
很快,華為瞄準(zhǔn)了多樣性算力架構(gòu)。在去年9月的華為全聯(lián)接大會上,他們提出了“鯤鵬+昇騰”的雙引擎計算戰(zhàn)略以應(yīng)對算力需求的爆發(fā)式增長。
這是一個全棧協(xié)同創(chuàng)新的過程,需要硬件提供算力,軟件釋放算力,盡最大可能讓上層應(yīng)用使用算力,并且最終創(chuàng)造價值。硬件是整個生態(tài)的基礎(chǔ),但決定多算力架構(gòu)能否取得成功的關(guān)鍵樞紐是軟件,這是華為需要啃下的另一塊硬骨頭。
四大基礎(chǔ)軟件再升級
要想充分釋放硬件的算力,需要先了解其瓶頸究竟是什么。
華為鯤鵬計算領(lǐng)域副總裁江大勇告訴CSDN,在硬件方面,ARM這樣的主流處理器從百核甚至到千核的多核方向發(fā)展,但問題在于,核數(shù)的線性增長并不意味著算力的效能會隨之增長,因為算力的分配和調(diào)度復(fù)雜度的增加反而會消耗一部分算力的效能。與此同時,端邊云協(xié)同的趨勢對ARM計算架構(gòu)也提出了相應(yīng)需求,而X86、ARM和xPU的異構(gòu)計算框架的趨勢也正在形成。
如此,多核多算力的硬件架構(gòu)轉(zhuǎn)變相應(yīng)地迫使基礎(chǔ)軟件架構(gòu)做出調(diào)整。
去年以來,趁著國內(nèi)開源的熱烈氣氛,華為也相繼開源了四大基礎(chǔ)軟件:openEuler(歐拉)操作系統(tǒng)、openGauss(高斯)數(shù)據(jù)庫、openLooKeng(羅庚)高性能數(shù)據(jù)虛擬化引擎,以及MindSpore全場景AI計算框架。
操作系統(tǒng)是所有計算機(jī)系統(tǒng)軟件的“根”,但目前的操作系統(tǒng)并不能很好地支持多樣性算力和ARM等架構(gòu)。華為則希望面向未來的場景,通過openEuler創(chuàng)建一個創(chuàng)新平臺,能夠全面支持ARM,X86,RISC-V 等現(xiàn)在主流計算機(jī)架構(gòu)。openEuler已于去年12月31日正式開源。
而在9月24日的HC大會分論壇上,江大勇發(fā)布了openEuler 20.09版本,包括極致性能、安全可信、生態(tài)引擎三大特點,背后提供支撐的項目主要是輕量級虛擬機(jī)StratoVirt 1.0和云原生容器iSula 2.0,secGear機(jī)密計算框架和IMA完整性度量架構(gòu),自動化測試平臺Compass-CI和UKUI桌面。OpenEuler21.03及后續(xù)版本,將在云、邊、端全場景協(xié)同上持續(xù)創(chuàng)新,支持應(yīng)用一次開發(fā),多場景部署。
目前,openEuler操作系統(tǒng),代碼量超過100萬行,代碼貢獻(xiàn)者數(shù)量已超過1000個,下載量超1.4萬次,社區(qū)訪問量超過150萬次,已有多家伙伴基于openEuler做了商業(yè)應(yīng)用。
同樣,數(shù)據(jù)庫是基礎(chǔ)軟件皇冠上的明珠,也是客戶業(yè)務(wù)系統(tǒng)的核心,所有應(yīng)用軟件的運行和數(shù)據(jù)處理都要與其進(jìn)行數(shù)據(jù)交互。雖然以MySQL, PGSQL為代表的開源數(shù)據(jù)庫已成為主流選擇,但真正的企業(yè)級用戶對企業(yè)關(guān)鍵數(shù)據(jù)、核心業(yè)務(wù)的承載體,有著性能、安全和運維的更高要求。江大勇認(rèn)為,現(xiàn)在開源的數(shù)據(jù)庫沒有完全達(dá)到企業(yè)級的能力。
今年6月已經(jīng)開源的openGauss數(shù)據(jù)庫則具備企業(yè)級性能,包括高性能、高可用、高安全三大特性。openGuass第一個開源版本聚焦在與鯤鵬協(xié)同性能優(yōu)化上,基于2路鯤鵬服務(wù)器,性能可達(dá)到150萬tmpC,相對業(yè)界主流產(chǎn)品的 性能超過50%。
而在今年12月底,openGauss還會進(jìn)一步迭代企業(yè)級特性,包括行列混合存儲引擎,支持混合負(fù)載,內(nèi)存引擎MOT達(dá)到250W tmpC,有512個功能參數(shù)推薦的智能運維以及安全審計。明年3月底,openGauss則會關(guān)注企業(yè)安全,實現(xiàn)全密態(tài)數(shù)據(jù)庫和智能增強(qiáng)功能。江大勇稱,未來,openGauss將在每6個月發(fā)布一個新版本,每年發(fā)布一個穩(wěn)定版本。
面向海量數(shù)據(jù),盡管目前有HBase、Hadoop、Hive,MySQL等各種數(shù)倉,但缺乏統(tǒng)一的SQL接口,支持多數(shù)倉的軟件,這是大數(shù)據(jù)使用的一大難題。
今年3月,華為開源的openLooKeng則是一個數(shù)據(jù)虛擬化引擎,致力于為大數(shù)據(jù)用戶提供極簡的數(shù)據(jù)分析體驗,讓用戶像用“數(shù)據(jù)庫”一樣使用“大數(shù)據(jù)”。
openLooKeng具備引擎歸一、多樣分析,生態(tài)引擎以及高可靠、易用性特點,可以進(jìn)行跨格式、跨倉、跨域使用,讓開發(fā)者做數(shù)據(jù)治理更加簡單。江大勇稱,百億級的數(shù)據(jù)量可以做到10秒級的分析處理。未來,openLooKeng將在極致性能、全場景高效融合分析、批流交互式方面持續(xù)突破。
此外,華為正式發(fā)布了端邊云全場景的AI計算框架MindSpore 1.0:支持模型、算子及硬件處理單元級全自動并行;對端邊云設(shè)備如手機(jī)、攝像機(jī)、服務(wù)器等全場景自適配;開發(fā)流程極簡,開發(fā)者可基于MindSpore快速實現(xiàn)模型導(dǎo)入、靈活調(diào)試。
為什么要開源基礎(chǔ)軟件
開源軟件的商業(yè)模式早已被驗證。華為也希望通過開源的方式快速構(gòu)建上述基礎(chǔ)軟件能力,并繁榮軟件生態(tài)。
事實上,在Linux最新的內(nèi)核5.8版本中,華為在全球范圍對內(nèi)核的貢獻(xiàn)排名第二,修改代碼量全球排名第一。另外,華為還為ARM架構(gòu)打通全棧能力,貢獻(xiàn)了全球超過40+的主流開源社區(qū)。
這些基礎(chǔ)軟件能開源也主要得益于華為過去10多年的技術(shù)積累,比如openEuler、openGauss數(shù)據(jù)庫在開源前,就已在運營商業(yè)務(wù)中廣泛使用,背后凝結(jié)了數(shù)千名工程師的技術(shù)研發(fā)投入。
由此也不難看出,現(xiàn)在的華為在貢獻(xiàn)開源和引領(lǐng)開源上是齊頭并進(jìn)。
當(dāng)然,華為也并非能完全參考英特爾等廠商的開源模式。江大勇對CSDN稱,與原來其他廠商做產(chǎn)品和解決方案不同,華為做計算產(chǎn)業(yè)更強(qiáng)調(diào)“生態(tài)”,這就決定了華為“有所為有所不為”。
這一點也讓華為在基礎(chǔ)軟件的開源策略上更加清晰,華為所做的即是為開發(fā)者和合作方提供開發(fā)工具和應(yīng)用實踐等底層支持,幫助后者應(yīng)用快速遷移到整個鯤鵬平臺,以此促進(jìn)計算產(chǎn)業(yè)的發(fā)展。
在江大勇看來,現(xiàn)在應(yīng)用的發(fā)展已經(jīng)遠(yuǎn)快于以前做應(yīng)用標(biāo)準(zhǔn)的方式,所以開源可能是當(dāng)下更能被認(rèn)可和接受的一種趨勢,而通過這種方式也更能促進(jìn)社會效率的提升。更重要的是,通過開源社區(qū)的協(xié)作模式把底層的基礎(chǔ)技術(shù)做好后,差異化應(yīng)用也會更快落地,社會效益也會更大,這也會形成事實上的統(tǒng)一標(biāo)準(zhǔn)。
最具挑戰(zhàn)的是開源意識
對華為來說,開源上述四大基礎(chǔ)軟件只是開始。因為應(yīng)用、處理器、新的項目需求還在不斷發(fā)展,江大勇認(rèn)為,只開源這些軟件并不足夠。
“openEuler剛開放的時候大約有30多個SIG組,但現(xiàn)在已經(jīng)有70多個,因為不斷地有開發(fā)者提出了新的業(yè)務(wù)需求或創(chuàng)新想法,也有開發(fā)者主動把RISC-V等能力開放到了社區(qū)。”
他預(yù)計,在分布式方面,未來可能還會增加一些新的能力,在元函數(shù)方面,可能在今年年底或明年年初也會有相應(yīng)能力開放。而要壯大軟件功能和生態(tài),更重要的是依靠開發(fā)者社區(qū)的力量。
作為一家公認(rèn)的執(zhí)行力強(qiáng)悍的企業(yè),華為在社區(qū)建設(shè)上也卓有成效。近期的鯤鵬開發(fā)者活動首次進(jìn)行18個城市同步聯(lián)動,采用線下+線上的方式進(jìn)行,吸引了上萬名開發(fā)者參與。
在江大勇看來,中國的開發(fā)者軟件開發(fā)者數(shù)量并不少,但需要形成一種活躍的開源社區(qū)文化,而不只是把社區(qū)當(dāng)做代碼托管的地方。
而通過華為在構(gòu)建開發(fā)者社區(qū)和生態(tài)過程中的經(jīng)歷,他也總結(jié)了中國開源需要提升的地方:
首先,開源社區(qū)本身的代碼托管等基礎(chǔ)設(shè)施服務(wù)要加強(qiáng);其次,中國需要有更適合的開源協(xié)議;最后,最具挑戰(zhàn)的是擁有開源意識和文化,他認(rèn)為,應(yīng)該鼓勵高校學(xué)生和研究機(jī)構(gòu)參與到開源中,加快社會性的協(xié)同創(chuàng)新,持續(xù)性支持和發(fā)揚開源協(xié)作精神。最終,讓中國開發(fā)者實現(xiàn)從貢獻(xiàn)開源進(jìn)一步在全球范圍內(nèi)引領(lǐng)開源。
責(zé)任編輯:tzh
-
處理器
+關(guān)注
關(guān)注
68文章
19349瀏覽量
230306 -
ARM
+關(guān)注
關(guān)注
134文章
9111瀏覽量
368043 -
Linux
+關(guān)注
關(guān)注
87文章
11322瀏覽量
209869
發(fā)布評論請先 登錄
相關(guān)推薦
評論