一、總體看法

1. 從人工智能發展角度看，這是認知智能發展的一個重要里程碑，其意義要高于7年前的AlphaGo。

AlphaGo是在人類智慧高強度體現的領域（圍棋），機器戰勝了人類，基于數據和算法，它刷新了普通大眾對人工智能技術的看法，但是其本身并不能廣泛應用，普通大眾也難以與其直接接觸。

ChatGPT則完全不同，它是在人類三歲小孩就逐步形成的語言智能方面有了重大突破。

過去，在人工智能領域，在人比較難做的事情上，比如數學定理證明、下象棋，機器表現很好；但是在人容易做到的事情上，比如說話，常識推理，機器表現反而很差，這些人類基本的智能對機器來說很難，是人工智能最難啃的硬骨頭。

這次的ChatGPT是在這方面有了一定的突破，因為是說話，不是下圍棋，所以普通大眾都可以成為ChatGPT的用戶，也就是說ChatGPT天生具有廣泛的用戶基礎，再加上其令人驚艷的表現，這些使得其發布后用戶量迅速增長，火出圈！

2. ChatGPT不僅僅是聊天，如果把它限制為聊天，那就顯著降低了它的價值和意義。

OpenAI根據自己同類產品API的調用分析，除了純聊天之外，用戶還把它用于文本生成、開放域問答、頭腦風暴、改寫、摘要、分類等。

ChatGPT是對話式AI邁向真正實現的第一步，從互聯網層面看，它可以作為信息入口，與搜索引擎相結合；從文案辦公方面看，它可以與辦公軟件相結合，增強人的辦公效率；從人機交互角度看，它體現的是一種基于語言的自然交互方式，可以與元宇宙、數字人結合。

除此之外，它還可以應用于機器人，充當機器人大腦。如果從人類信息發展的歷史尺度上看，它是在人與機器之間的信息接口上有了很大突破。

3. ChatGPT是近幾年技術快速發展和不斷更新迭代、多種技術疊加在一起形成質變的產物，是自然語言處理領域近年來研究的結晶。

其底層的技術，包括Transformer、自監督學習、微調、人類反饋強化學習、AI對齊等，在自然語言處理和人工智能領域都有廣泛的研究和應用。

但是ChatGPT將這些技術巧妙地結合在一起，有效規避了大模型的未對齊行為，利用了大模型規模帶來的智能突現能力，增強了大模型的指令學習能力和用戶意圖捕獲能力，解鎖了大模型的泛化能力，這些能力疊加在一起形成了ChatGPT的質變效果。

4. ChatGPT探索了一種使機器獲得語言智能的有效技術路線，但這個方向仍然需要在科學和技術上進一步探索。

技術上，其他的技術路線是否可以達到同樣效果？

近幾年，大模型研究技術架構上出現了同質化趨勢，Transformer獨步天下，GPT路線占據絕對統治地位，這對未來技術創新并不是好事；

科學上，ChatGPT一類技術體現了技術先行科學滯后的典型特點，為什么大模型有突現能力？對齊之后的泛化能力是如何形成的？語境學習的機制是什么？

這些問題目前都沒有明確的答案，科學回答這些問題，顯然可以進一步推動技術發展。

5. ChatGPT技術雖然取得了重要進展，但仍然面臨諸多挑戰。

第一，雖然采用了人類反饋強化學習（RLHF）AI對齊技術，但是生成的內容仍然存在未對齊行為，如不符合常識，存在偏見、歧視等內容，信息真實性有時存疑（即“一本正經地胡說八道”），未來在AI對齊技術上需要進一步研究和突破；

第二，以ChatGPT為代表的大模型技術通常被具有豐富算力和數據資源的企業壟斷，且不開源，不利于大模型技術研究和突破；

第三，目前大模型的算力消耗非常龐大，要實現大規模真實場景應用，模型輕量化技術需要進一步探索；

第四，要提升模型的可解釋性，要研制相關技術使得ChatGPT為代表的大模型技術可以自我追溯信息源頭，增強可信性；

第五，ChatGPT背后還存在很多科學問題未有明確答案，如大模型突現能力是如何形成的？語境學習機制是什么？AI對齊為什么使大模型具有指令泛化能力？這些科學問題的探索將會推動未來技術更好地發展。

二、ChatGPT技術發展

6. GPT-3之前的大模型技術路線和架構是多種多樣的，以BERT為代表的Encoder大模型、以GPT為代表的Decoder大模型、以T5為代表的Encoder-Decoder大模型等，但是從GPT-3之后，大模型技術路線趨于單一化。

包括Google的PaLM、LaMDA，Meta AI的Galactica、OPT，Nvidia/Microsoft的Megatron-Turing，AI21 Labs的Jurassic-1，DeepMind的Gopher、Chinchilla，Hugging Face的BLOOM，國內華為的Pangu-a，浪潮的Yuan-1.0等千億級參數規模的大模型，基本上都是采用GPT-3的Decoder架構，可能是因為訓練成本太高，采用其他未驗證的架構，試錯成本高，跟隨GPT-3成功路線進行微創新是最好的選擇。

7. GPT-3 2020年3月發布后，國內外研究機構相繼快速跟進，上述提到的大模型基本上都是在2021-2022期間研發出來，也就是說從技術路線上總體滯后GPT-3 1-2年時間。

8. GPT-3文本生成結果比之前的模型有大幅度提升，但同時也存在很多問題，如各種偏見、歧視、潛在的濫用等。

鑒于這些問題，大模型研究開始逐步重視AI對齊研究，即使得大模型輸出結果與人的意圖、價值觀等對齊。

一些瞄準通用人工智能的企業，如OpenAI、DeepMind紛紛成立專門的AI Alignment研究團隊，招兵買馬，將AI Alignment視為通向AGI之路必須要解決的問題。

來自這兩個團隊研究人員，甚至成立了一家非盈利研究機構：ARC（對齊研究中心）。

9. 基于大模型的對話agents紛紛在2021-2022期間開始研制，包括Google的 LaMDA、DeepMind的Sparrow、Anthropic的Claude等，這些dialogue agents無一例外都進行了AI對齊。

10. RLHF并不是唯一的AI對齊技術，面向language agents的對齊有很多方法、很多策略，需要更多探索。

11.模型編輯、稀疏模型、半參數檢索模型，這些技術，在大模型發展中同樣值得深入研究。大模型編碼的知識不應該是一成不變的，將知識全部編碼到模型鏈接和神經元中，可能也并不是最優選擇。

12. 除了AI對齊和大模型賦能ChatGPT之外，OpenAI在長文檔摘要、自然語言描述轉為代碼等方面也做了很多工作，這些工作同樣增強了ChatGPT相應能力。

三、國內同類技術

13. 2020年OpenAI發布1750億參數的GPT-3之后，國內企業和科研機構，同Google、微軟、DeepMind、Meta AI等一樣，于2021-2022年間，研制了類似于GPT-3架構的千億級大模型。

因此，在底層技術上我們不存在任何問題。

14. 但是要實現中國版的ChatGPT，需要在多個方面加強研究，壓實工作。

首先，在數據上，我們要使用與GPT-3相當的數據量和計算量訓練模型，目前中文缺乏像英文那樣的多個開源大規模數據集，各家企業使用的中文數據也很少開源，很多時候數據也未像OpenAI那樣進行精細處理以提升質量；

其次，國內在AI對齊研究上需要加強，尤其是在已經預訓練的大模型上，要進行對齊，要繼續優化和精調大模型；

再次，要充分調動以大模型為代表的新型AI技術的研發活力，鼓勵已經研制的大模型向大眾公開，接受廣大用戶檢測，同時也要積極培育專攻某一類核心技術（如大模型AI對齊技術）的初創企業，不求短期市場回報。

四、ChatGPT背后大模型技術的爭議

15. 大模型的優缺點在業內討論非常多，也非常激烈，大模型存在倫理問題、環保問題、資源壟斷不開源問題等等，這些問題學術界和產業界都在進行研究，尋找技術、策略、機制等方面的解決方案。

16. 個人認為，業內對大模型爭議最激烈的地方在于大模型是否是通向AGI之路、是否具備類人理解力、是否具有情緒/意識，這些問題已經不單純是在自然語言處理領域、人工智能領域討論了，一些爭論已經在哲學層面進行了，包括借助思想實驗等。

除此之外，這些問題涉及的AGI、意識等，對它們的定義，本身也沒有共識，存在爭議。

17.就大模型是否能像人一樣“理解”用戶輸入的句子以及自身生成的文本這個問題而言，從技術層面看，大模型本質上是根據單詞共現概率基于已生成的單詞序列預測下一個單詞，共現概率或依存關系是大模型從海量文本數據中建模學習而來。

由于大模型的數據都是符號，模型是無法像人一樣將意義、概念奠基到符號之外的物理世界，符號系統在語意上是不充分的。

符號系統本身并不能真正理解符號的意義，所有的意義都是被外部觀察者或設計者所賦予的，即使將視覺模態加入到大模型中，大模型學到的也只是符號和視覺元素之間的統計關聯關系，仍然不能奠基到真實的物理世界。

也就是說，大模型無法做到類人理解。這里涉及到人工智能圖靈測試、中文屋思想實驗、符號奠基問題等，感興趣者可以參考《神經機器翻譯：基礎、原理、實踐與進階》第19章短評“預訓練技術爭議與符號奠基問題”。

18. 自然語言處理和人工智能領域的研究者在學術論文中或者介紹AI模型時，經常使用擬人化的描述，如“理解”、“學習”等，主要是為了讓讀者或聽眾更容易理解模型或算法的原理，并不不代表機器、模型真的像人一樣思考、學習、理解。

五、未來趨勢

19. ChatGPT類技術其背后體現的，首先是預示著一種深層次的信息革命。

人類發明計算機和互聯網之后，獲取、存儲和使用信息的方式出現了翻天覆地的變化，但最近幾十年基本上沒有大的變動，主要以搜索引擎為主，呈現的信息通常需要用戶進行二次處理或再加工才能滿足要求。

ChatGPT呈現的信息則通常可以直接滿足用戶的需求，或通過交互方式逐步達到用戶的要求，雖然目前還存在信息可靠性問題，但相信未來這些問題會不斷得到改善。

其次是人和機器關系會出現重大轉變。

以ChatGPT為代表的一類技術在精準捕獲用戶的真實意圖方面邁出了一大步，一旦機器可以“理解”人類意圖并完成相應任務，人和機器的交互就不再需要翻譯成機器語言，而是直接使用人類語言作為交互載體。

再次是機器生成內容的能力大大增強。

一些文字內容類工作，機器可以輔助人類，人的工作效率會得到極大提升，一些“枯燥乏味”的文字工作則可交給機器完成，人專注于更高層次的內容、思想編輯工作，或通過人機交互方式協同生成更好的內容。

20. 基于以上趨勢，未來人類獲取信息的方式、與機器交互的方式都會出現變化。

與人類意圖、價值觀、倫理準則高度對齊的信息智能體會幫助我們高效獲取信息、生成信息和發布信息。

以ChatGPT為代表的大模型及其后續更新技術會逐步充當各種機器、設備、機器人的“大腦”，人機之間的交互會更加以人為中心，而不是以機器為中心。

相應的技術會對多個行業、領域產生影響，如教育（規范使用ChatGPT等類型技術，避免學生使用它們做作業，發揮新技術對教育的積極輔助作用，而不是成為作弊利器）、醫療（將大模型技術應用于醫療問答、藥物研發、DNA/蛋白質建模等）等，傳統的計算機軟件，如搜索引擎、辦公軟件等，也會受到影響和沖擊。

編輯：黃飛