在 ChatGPT 的推動下,如今有越來越多的公司開始參與生成式 AI 的開發了,大模型領域也 “越來越卷”。英特爾是最新參與進來的玩家,并在近日公布了一個名為 Aurora genAI 的產品,它是一個主要用于科學領域的生成式 AI 模型。
英特爾 Aurora genAI 模型以 Megatron 和 DeepSpeed 為基礎,其規模達到了 1 萬億個參數(1 Trillion Parameters,上圖中有對應描述),相比之下 ChatGPT 的規模僅為 1750 億參數,Aurora genAI 在參數規模上增長了約 570%。 Aurora genAI 模型將在通用文本、科學文本、科學數據和與該領域相關的代碼上進行訓練。這將是一個純粹以科學為重點的生成式 AI 模型,其潛在的應用范圍是:
推動清潔能源聚變研究
催化劑研究
癌癥研究
航空航天研究
神經科學研究
宇宙學研究
擁有這么大的規模,那么驅動 Aurora genAI 模型背后的算力肯定也不容小覷。英特爾透露,他們使用的是名為 Aurora(歐若拉)的超級計算機,這是英特爾與阿貢國家實驗室和 HPE 合作開發的百萬兆級超級計算機。
Aurora 超級計算機采用了 21248 個 Sapphire Rapids 至強 CPU、63744 個 Xe 架構的 Ponte Vecchio GPU(英特爾表示 Ponte Vecchio GPU 的性能要優于英偉達的 H100)。Aurora 超級計算機還使用了 1024 個 DAOS 節點和 10.9 PB 的 DDR5 傲騰持久內存,所有這些組件通過 oneAPI 互相鏈接,實現了百萬兆級性能。 Aurora 超級計算機的浮點運算能力達到了 2 exaFLOPS,而目前 TOP 500 排名第一的超級計算機 Frontier 其浮點運算能力也才 1 exaFLOPS,Aurora 實現了性能翻倍,未來 Aurora 將存放于美國阿貢國家實驗室。
審核編輯 :李倩
-
英特爾
+關注
關注
61文章
9949瀏覽量
171693 -
超級計算機
+關注
關注
2文章
461瀏覽量
41942 -
模型
+關注
關注
1文章
3226瀏覽量
48807
原文標題:英特爾公布1萬億參數AI模型,比ChatGPT大570%
文章出處:【微信號:OSC開源社區,微信公眾號:OSC開源社區】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論