數字經濟乘風起,百舸揚帆正當時。大數據、區塊鏈、云計算、人工智能、工業互聯網加速演進,信息化浪潮日新月異,新一輪科技革命和產業變革深入發展,數字經濟產業集群紛紛涌現。
黨的二十大報告提出“加快建設制造強國、質量強國、航天強國、交通強國、網絡強國、數字中國”。《數字中國建設整體布局規劃》明確“建設數字中國是數字時代推進中國式現代化重要引擎”。鋪好數字經濟發展的基石,打通數字基礎設施,為數字經濟全面高質量啟航營造良好生態尤為重要。
以操作系統為代表的基礎軟件,既是連接底層算力資源和計算生態應用層的產業核心,也是統籌各類數字資源、激發數字要素活力、構建數字經濟整體布局的關鍵。培育好連接底層算力資源和上層應用的操作系統基礎軟件,推動信息技術應用覆蓋社會生產生活的方方面面,構建互聯互通的新型數字化產業,才能夠真正實現釋放數字潛能,廣泛賦能實體經濟。
從星火到燎原,歐拉成為中國第一服務器操作系統
此前,我國基礎軟件產品大多依賴國外技術,操作系統作為軟件領域基礎研究中的重要環節,在基礎軟件中處于核心地位,也長期為國外所主導,國產化操作系統以及與之相應的共創共享的開源模式呼之欲出。
近年來,隨著我國計算生態和算力設施建設的日臻提升,中國操作系統迎來了高速發展,其中openEuler(歐拉)操作系統歷經四年開源生態建設,成為國產操作系統的一騎絕塵。根據IDC 報告預測,2023 年中國服務器操作系統領域,openEuler(歐拉)系市場份額第一,達到 36.8%。
openEuler(歐拉)操作系統,面向數字基礎設施,支持服務器、云計算、邊緣計算、嵌入式等應用場景,自2019年正式開源以來,連接全球開源基金會、開源組織、開發者,共建全球開源新生態。四年來,從星星之火到燎原之勢,openEuler已經成長為符合國際標準的開放治理、合規運作、具備安全供應鏈的全球化社區,在中國匯聚全球開源力量,為世界開源貢獻中國智慧。
openEule操作系統的崛起與openEule開源社區的生態發展、社區治理,以及openEule生態參與全球體系息息相關。中國工程院院士倪光南在由開放原子開源基金會、中國電子技術標準化研究院,國家工業信息安全發展研究中心、中國軟件行業協會共同主辦的“操作系統大會2023”上表示:“在當前我國正處在全面建設社會主義現代化國家的新征程,面臨新形勢、新任務,我們迫切需要重視開源,學習開源,用好開源,特別是在信息領域,開源可以成為發揮中國人才優勢的創新平臺,成為中國融入科技創新網絡,參與國際治理的有效方式。正是在這個大背景下,開源歐拉的成功實踐,具有強大的現實意義。”
開放原子開源基金會孫文龍理事長認為,openEuler的快速發展證明,充分利用開源、參與開源、支持開源、回饋開源,是實現操作系統技術創新和產業繁榮的路徑。
openEule的繁榮同樣也是產業各界集智薈力的結果,在openEule操作系統廣泛應用,推動數字化轉型走深走實的過程中,出現了一批具有示范性商業實踐的應用落地。其中,上海交通大學“交我算”平臺openEuler集群作為教育行業的成功實踐,獲得由OpenAtom openEuler社區聯合國家工業信息安全發展研究中心,攜手業界專家最終評選的“2023年度openEuler領先商業實踐”殊榮。
“交我算”openEuler集群為教研計算平臺提供示范推廣價值
隨著信息通信技術的迅速發展,尤其是互聯網、大數據、人工智能等技術的廣泛應用,新的學習渠道和教學方式正在形成,教育要素也在發生深刻變革,教育行業正面臨著轉型課題與巨大的發展機遇,教育數字化轉型成為全球教育變革的重要戰略。黨的二十大將“推進教育數字化”首次寫進黨代會報告,提出“推進教育數字化,建設全民終身學習的學習型社會、學習型大國”。面向新一輪科技革命和產業變革,積極推進教育數字化轉型,適應新時代人才培養的需求,是推動教育強國的必然要求。
獲得“2023年度openEuler領先商業實踐”榮譽的上海交通大學“交我算”平臺openEuler集群從屬于校級高性能計算服務平臺“交我算”。校級計算平臺“交我算”由網絡信息中心負責建設及管理,全面支撐學校的教學、科研和管理的計算需求,重點支持校內高水平用戶科研,提供HPC+AI算力資源,覆蓋各學科門類,支撐海洋學、生物醫學、航空航天、機械制造、天體物理等領域的科學研究及工程應用。
“交我算”寓意師生的計算需求可以放心交給“我”來算,平臺從2013年開始建設,目前已發展成為國內高校頂尖的計算平臺,根據計算需求提供“思源一號”高性能計算平臺、π2.0超算平臺、AI 平臺、ARM平臺四種計算支持。“交我算”openEuler計算集群是國內高校首個基于ARM處理器的HPC集群,集群建設初期采用CentOS 7.6系統,2023年交大網絡信息中心開展了國產操作系統遷移專項工作,將ARM集群操作系統全面替換為openEuler22.03。
此前,在服務器操作系統居領先地位的CentOS操作系統于2020年開始停止維護,對高性能計算來說繼續使用CentOS將面臨重大安全隱患,同時我國信息技術的發展也對操作系統安全性能的要求進一步提高,這使得計算領域對安全穩定、自主可控、可替代CentOS的國產操作系統的需求更為迫切。
openEuler搭載了鯤鵬,相較CentOS擁有更好的性能與兼容性,然而在高性能計算領域還未有大規模應用。在openEuler系統的遷移準備過程中,交大網絡中心圍繞openEuler的兼容性、使用openEuler對于超算應用性能的影響,開展了一系列的測試與分析,具體包括:在搭載了鯤鵬的ARM架構超級計算機上成功部署了32個openEuler計算節點,為其部署了超算軟件棧,隨后安裝并成功運行了共計22個基準測試與超算應用;進行了操作系統層面的微基準測試、單節點的核函數測試,以及千核規模的超算應用測試,將評測結果與使用CentOS時的結果進行了對比與詳細的分析;過程中優化集合通信性能,使用MPI和OpenMP混合編程、調整OpenMPI 的集合通信算法、更換編譯器與通信庫等方法,提高了使用openEuler時的集合通信性能。
“交我算”ARM 架構超算平臺是國內首臺基于ARM處理器的校級超級計算機。交大網絡中心依托“交我算”平臺對openEuler開展的評測與分析工作,驗證了openEuler對于ARM架構超級計算機與多個典型科學計算應用具有良好的兼容性,并且發現openEuler相較于CentOS具有更低的操作系統噪聲和更優的內存管理能力。
交大網絡中心通過openEuler的遷移,定制了適用于“交我算”平臺的openEuler批量部署和集群配置管理方案,實現了國內高校首個基于ARM處理器的HPC集群在硬件和系統層面上均采用了全國產化解決方案,積極呼應了國家提升自主創新能力、推動國產化替代的政策大方向;同時在高性能計算領域集群評測、分析以及性能優化的工作,不僅判斷了ARM架構超級計算機上openEuler代替CentOS的可行性,也為國產操作系統在高性能計算領域的大規模應用和完善提供了應用先例和推廣經驗。
“交我算”openEuler集群建設為開源社區貢獻生態發展力量
2023年7月,“交我算”平臺正式上線了遷移完成后的openEuler計算集群。集群上線后面向上千個課題組共數千個用戶,提供了持續可靠的計算服務。到目前為止集群已穩定運行5個月,月平均資源利用率穩步上升,用戶對openEuler系統的易用性和穩定性受到了普遍認可。另一方面,“交我算”平臺openEuler計算集群的實踐也充分驗證了openEuler在HPC領域替代CentOS的可行性。
在“操作系統大會2023”上,openEuler的開源生態和中國開源走向國際成為與會專家和產業界代表們熱議的話題。據openEuler平臺最新數據,目前開源社區已吸引213萬開源用戶,匯聚17000多名開源貢獻者,1400多家頭部企業、研究機構和高校加入,成立104個特別興趣小組(SIG),這表示國產操作系統已經取得了里程碑式的重要進展。
openEuler委員會主席江大勇在“操作系統大會2023”上表示,openEule開源四年,歷經了1445天成為中國服務器操作系統新增第一份額,實現了跨越式的發展。在技術創新、行業應用、產業生態建立了完善的發展體系,形成了正循環。歐拉通過開源協作的社區模式,匯聚了從服務器、SV、ISV和萬千開發者的力量,以開放的產業生態賦能千行萬業的生產,支撐了智能化的升級。歐拉操作系統支持全球98%的開源軟件,致力于打造國際化的開源協作平臺,匯聚全球開源力量,為世界開源貢獻智慧。
江大勇在談到openEuler作為數據基礎設施的開源操作系統,解決以往操作系統在實際應用中面臨“一種操作系統對應一個應用、用戶需要進行一次適配”問題時說:“openEuler創造性地提出一套代碼、一套架構支持多樣性算力、支持全場景,openEuler的通用支持也包括對智能芯片的支持。openEuler不僅僅是替代者,更符合接下來共用共享、生態互通操作系統的技術趨勢。”
與openEuler生態的不斷發展同步而行的是,openEuler系統已經在通信、金融、能源、交通、政務、信息化等領域開展規模化商用,承載產業鏈各端力量,廣泛賦能實體經濟并創造了顯著的社會效益。
上海交通大學“交我算”openEuler集群在平臺建設和推廣過程中所集成的經驗給openEuler開源社區貢獻了生態發展力量。在系統遷移的前期測試中,交大網絡中心“交我算”團隊發現HPC領域廣泛使用的開源并行文件系統Lustre在openEuler系統上存在部分兼容性問題,如內核模塊編譯失敗。“交我算”團隊與openEuler社區、Linaro協作,共同推進了lustre并行文件系統在openEuler上的適配工作。目前經過適配的系統組件包和預編譯的lustre 2.12.5版本client端軟件包已被納入openEuler 22.03 SP2發行版本。由Linaro主導的server端適配工作也在繼續進行,計劃納入22.03 SP3發行版本。此項適配工作填補了openEuler在并行存儲領域支撐能力的一塊空白,增強了openEuler系統在高性能計算行業的競爭力。
上海交通大學網絡信息中心“交我算”平臺開發工程師張天陽回想起在openEuler集群應用推廣中OpenFOAM的應用案例移植給他留下了深刻的印象:“OpenFOAM是一個廣泛應用于工程領域的自由、開源的計算流體力學軟件,在交我算平臺上使用該軟件的用戶群體數量非常多。這本來是個較為復雜的程序,但openEuler系統提供了友好的開發環境和豐富的應用生態,使得我們能夠沿用CentOS環境的部署經驗,大大降低了移植難度。用戶使用角度來說,也能夠直接在openEuler集群上復用他們的工程項目,有助于迅速提升openEuler集群的利用率。”
接下來,上海交大網絡信息中心還將與openEuler社區展開深度合作,針對“交我算”openEuler集群系統中發現的問題,向社區直接提出改進需求并跟進相關優化和適配工作。張天陽相信這些從生產環境中挖掘出來、立足于實際業務的需求,和在實際操作過程中總結出的成熟經驗有助于推動openEuler開源生態的自我完善和發展。交大超算平臺團隊人員還將參與openEuler SIG組的工作會議和年度用戶大會,為openEuler開源社區貢獻交大計算支持。
openEuler開源生態立足數字技術關鍵期,服務國家現代化建設
自openEuler推廣社區開源生態至今,秉承“共建、共享、共治”的原則,四年生態發展歷程也是中國開源界在當前數字經濟技術自主創新的關鍵時期鼎立革新、奮力推進中國式現代化進程的縮影。openEuler計算生態和開源社區的崛起,表明國內操作系統扭轉了過往信息技術領域軟件生態建設不足的歷史,全面支持大數據、云計算、人工智能、算力基礎設施、工業互聯網等數字要素云邊端協同的發展體系,開啟了國產操作系統研發與推廣的新局面。
正如倪光南院士所述:在上萬名開發者的參與和貢獻下,openEuler已經從一粒種子成長為參天大樹,承擔起構建我國信息領域技術和數字經濟底座的重任。
與時俱進,守正創新。上海交通大學“交我算”平臺建于2013年,彼時已是當時國內高校最大超算系統,經過十年交大人的持續建設,目前發展成國內高校頂尖的算力中心,同時“交我算”團隊是目前國內最大的校級計算團隊。在校級計算平臺的探索與實踐上,“交我算”平臺openEuler集群既為交大全校科研創新的支撐升級計算服務模式,在國內高校計算平臺建設領域推出了與國產開源生態合作的先例,以積極響應新時期教育數字化轉型、高校教學科研對計算平臺和軟件生態支持升級以及國產化操作系統應用的需求,又推動了openEuler開源社區豐富應用生態、完善優化與適配、提升高性能計算性能的生態建設。
產教融合、產學實踐,持續推動國產操作系統與開源生態進步與創新。上海交通大學網絡中心“交我算”平臺開發工程師張天陽期望“交我算”openEuler集群的實踐經驗對于其他高校起到借鑒意義,同時期望openEuler能夠進一步完善系統的應用生態,吸引到更多用戶和機構,進一步擴大在國際上的知名度和影響力。
審核編輯:黃飛
-
處理器
+關注
關注
68文章
19259瀏覽量
229652 -
ARM
+關注
關注
134文章
9084瀏覽量
367384 -
云計算
+關注
關注
39文章
7774瀏覽量
137351 -
操作系統
+關注
關注
37文章
6801瀏覽量
123283 -
openEuler
+關注
關注
2文章
312瀏覽量
5860
原文標題:交大“交我算”計算集群:共建openEuler開源技術新生態
文章出處:【微信號:openEulercommunity,微信公眾號:openEuler】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論