北京時間 5 月 9 日晚,ICLR 2024 會場,GLM大模型技術團隊受邀發表題為 The ChatGLM's Road to AGI 的主旨演講,全面闡述GLM大模型面向 AGI 三大技術趨勢。
第一,GLM-4的后續升級版本即GLM-4.5及其升級模型,應當基于超級認知(Superintelligence)和超級對齊(Superalignment)技術。
GLM大模型團隊認為,文本是構建大模型最關鍵的基礎,但下一步則應該把文本、圖像、視頻、音頻等多種模態混合在一起訓練,構建真正原生的多模態模型,同時超級對齊(Superalignment)技術將協助提升大模型的安全性。
第二,為解決更加復雜的問題,GLM大模型團隊提出GLM-OS概念,即以大模型為中心的通用計算系統。在ICLR現場,GLM大模型團隊詳細闡述了GLM-OS的實現方式:基于已有 All-Tools 能力加上內存記憶(memory)和自我反饋(self-reflection) 機制,GLM-OS 有望實現模仿人類的Plan-Do-Check-Act 循環。
首先做出計劃,然后初步嘗試形成反饋,基于反饋結果調整規劃,然后再行動以期達到更好的效果。大模型依靠PDCA循環機制形成自我反饋和自我提升——恰如人類自己所做一樣。
第三,GLM大模型團隊還在現場講解了自2019年以來團隊就一直在研究的名為GLM-zero的技術。GLM-zero旨在研究人類的“無意識”學習機制?!爱斎嗽谒X的時候,大腦依然在無意識地學習?!盙LM大模型團隊表示,“無意識”學習機制是人類認知能力的重要組成部分,包括自我學習(self-instruct)、自我反思(self-reflection)和自我批評(self-critics)。
人腦中存在著反饋 (feedback) 和決策 (decision-making) 兩個系統,分別對應著大模型和內存記憶兩大部分,GLM-zero的相關研究將進一步拓展人類對意識、知識、學習行為的理解,換而言之,盡管還處于非常早期的研究階段,但GLM-zero可以視為通向AGI的必經之路,這是GLM大模型團隊第一次向外界公開這一技術趨勢。
除了闡述GLM大模型面向AGI的三大技術趨勢,GLM大模型技術團隊在ICLR主旨演講中還回顧了國產自研大模型 ChatGLM 的演進之路,向現場近2000名與會嘉賓與學者介紹了GLM系列大模型多項前沿研究成果,涵蓋數學、文生圖、圖像理解、視覺UI理解、Agent智能體、涌現現象等領域。這是中國大模型團隊首度登上 ICLR 主旨演講環節。
ICLR 國際學習表征會議由深度學習巨頭、圖靈獎獲得者 Yoshua Bengio 和 Yann LeCun 在2013年牽頭舉辦,與ICML、NeurIPS 并稱為機器學習領域水平最高會議之一。5月7日,ICLR 2024 在奧地利維也納會展中心開幕,受新一波人工智能浪潮推動,本屆ICLR在參展人數、展覽規模、論文數量上均創新高。
審核編輯 黃宇
-
AI
+關注
關注
87文章
30985瀏覽量
269272 -
數據模型
+關注
關注
0文章
49瀏覽量
10032 -
Agi
+關注
關注
0文章
81瀏覽量
10209 -
大模型
+關注
關注
2文章
2475瀏覽量
2782
發布評論請先 登錄
相關推薦
評論