人類第一次完整全基因組的測序花了13年,在新技術的加持下,這個時間已經降低到1天以內;沒有這項新技術加持,電影《阿凡達》的渲染可能需要上萬年;這項新技術還讓新藥的研發周期大幅縮短,讓衛星遙感定位精度大大提升——這項技術就是高性能計算HPC。
那么到底什么是HPC,這項技術對社會發展有什么深遠影響,答案盡在本期鵬友會客廳。
數據存儲承擔
文明傳承、生產生活改善、科技
創新三大重任
在數字化時代,數據存儲是政企運行的生命線,更是國之重器:通過文物數字化保護,大量珍貴的遺跡以圖片、視頻、VR等數字化形式保存了下來,讓文明得以傳承;另外,存儲對生產生活改善、科技創新方面的影響更加廣泛,尤其是科技創新領域,現在已經成為國家和企業間競相角逐的戰略高地。
HPC與大數據/AI結合快速增長
HPC產業走向數據密集型
HPC誕生的前半個世紀,其發展核心矛盾在于計算,也就是我們所說的“計算密集型”HPC。隨著技術發展及高性能數據分析的出現,數據量越來越大,數據重要性越來越高,HPC開始迎來“數據密集型”的新發展階段。
沒有高性能計算的加持,阿凡達的渲染可能需要上萬年,而隨著電影畫幅和體驗的提升,渲染量還會進一步增加,如2019年上映的《阿麗塔:戰斗天使》,它的渲染量就是阿凡達的三倍。
同樣的數據變化也發生在HPC領域的其他場景:
新藥研發領域:借助HPC可以加速藥物篩選和分子分析,使新藥的研發周期大幅縮短,如面對當前嚴重的疫情,更多的樣本集、更快的數據提煉,可以更快的研發生產出疫苗;
新車研發領域:隨著近年來自動駕駛的興起,新車研發利用HPC進行自動駕駛的車輛測試。上百臺的測試車輛,每臺測試車路測時長達2000小時左右,單輛測試車路測采集數據量最高可達64TB/天,通過HPC實現車輛碰撞的技術仿真,大幅降低了研發費用和周期;
能源勘探領域:利用高性能計算(HPC)技術,對地震勘探數據進行加工、計算,為能源勘探提供直觀的、可靠的依據。隨著勘探技術的進步,地震數據實現了從二維到三維的轉變,并且逐步向四維演進,數據量也向PB規模發展,中間過程數據的增加高達10~20倍,加上歷史資料的長期保存,整體數據量成幾十倍增長,呈現出數據密集型的特征;
衛星遙感領域:隨著大數據、AI等新技術在衛星遙感領域的應用,衛星遙感領域數據量增長了近70倍,衛星遙感的定位精度由以前的70米提升到了2米。
“數據密集型”HPC發展核心在于數據,
存儲扮演著更重要的角色
新的高性能計算應用不斷涌現,驅動了數據密集型HPC的高速發展,我們也稱為高性能數據分析(HPDA)。比如當下炙手可熱的自動駕駛,新車的研發需要對上百PB的數據進行訓練和仿真,對于存儲的性能、穩定性、安全性等都提出了新的挑戰,存儲更成為了鏈接計算、網絡的核心基礎設施。
政府應對“數據密集型”HPC趨勢
從超算向智算平臺演進,以數據為中心
牽引算力和存力均衡發展
政府在高性能計算/超算領域,一直扮演著舉足輕重的作用,可以通過公共力量,快速、規模化推進民生和經濟發展。作為新基建的重要組成部分,各地紛紛上馬超算國家中心/區域中心,然而,超算中心的建設確有一些偏科,呈現出了重建設輕應用、重計算輕數據的特點,造成了一些資源的閑置與浪費。
面向未來,我們認為加快數據密集型超算的建設會成為主要的方向,包括從超算向智算平臺的演進,用人工智能、大數據等新應用生態加持超算中心,實現以數據為中心牽引采、存、算、傳、用等多維度的均衡發展。
企業應對“數據密集型”HPC趨勢
建設數據湖,使用專業的存儲設備,
關注前沿科技
當前,對于企業來講,數據的價值已經得到了充分的認識,企業也愿意更多、更久的保存數據,而數據量也實現了從PB向EB級的跨越。想象一下,企業消耗巨額成本獲取的車輛路測數據、地震資料、粒子碰撞數據等一旦丟失,損失將是難以估量的,并且在長周期的數據分析過程中,任何的存儲故障,都可能導致分析過程的前功盡棄。
面對海量數據,企業在存儲選型上,應更加關注存儲性能、關注存儲本身的數據處理能力,以及AI應用結合、大數據等一些前沿科技發展,從一開始就樹立數據湖的意識,讓數據應存盡存、高效共享:
高密硬件架構、重刪壓縮、高效冗余算法、熱溫冷分級機制,以及藍光介質等,這些非常好的技術手段能讓海量數據更加經濟、高效、安全的存儲;人工智能/大數據技術的加持,能對更長遠的數據進行分析,獲得更準確、更有價值的分析結果。
高性能數據分析(HPDA)存儲
加速HPC向數據密集型演進
華為OceanStor Pacific系列下一代高性能數據分析(HPDA)存儲,可以高效應對HPC產業向數據密集型升級的關鍵挑戰:
超高密設計:通過系列化高密硬件和智能數據分級能力,實現成本優化,數據存得多、存得省;
面向混合負載:一套存儲同時支持高帶寬和高IOPS,應對復雜負載;
多協議互通:文件/大數據/對象多協議互通,讓不同應用的承載更高效。
作為HPC產業的重要數據底座,高性能數據分析存儲在探索知識邊界、服務國計民生、加速商業變現等領域發揮著著重要的作用。華為OceanStor Pacific下一代高性能數據分析(HPDA)存儲,以超高密設計、面向混合負載、多協議互通,全面加速HPC向數據密集型演進。目前已經成功應用于自動駕駛、基因測序、氣象預測、衛星遙感等眾多國內外高性能計算場景企業及機構。
原文標題:為何新藥研發、基因測序、衛星遙感的發展提速都需要它?
文章出處:【微信公眾號:華為】歡迎添加關注!文章轉載請注明出處。
責任編輯:haq
-
衛星
+關注
關注
18文章
1712瀏覽量
67007 -
HPC
+關注
關注
0文章
315瀏覽量
23754
原文標題:為何新藥研發、基因測序、衛星遙感的發展提速都需要它?
文章出處:【微信號:huaweicorp,微信公眾號:華為】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論