ChatGPT 是一種專注于對話生成的語言模型。它能夠根據用戶的文本輸入，產生相應的智能回答。這個回答可以是簡短的詞語，也可以是長篇大論。其中GPT是Generative Pre-trained Transformer（生成型預訓練變換模型）的縮寫。

通過學習大量現成文本和對話集合（例如Wiki），ChatGPT能夠像人類那樣即時對話，流暢的回答各種問題。（當然回答速度比人還是慢一些）無論是英文還是其他語言（例如中文、韓語等），從回答歷史問題，到寫故事，甚至是撰寫商業計劃書和行業分析，“幾乎”無所不能。甚至有程序員貼出了ChatGPT進行程序修改的對話。

ChatGPT也可以與其他AIGC模型聯合使用，獲得更加炫酷實用的功能。例如上面通過對話生成客廳設計圖。這極大加強了AI應用與客戶對話的能力，使我們看到了AI大規模落地的曙光。

1、ChatGPT的傳承與特點

1.1 OpenAI家族

我們首先了解下OpenAI是哪路大神。

OpenAI總部位于舊金山，由特斯拉的馬斯克、Sam Altman及其他投資者在2015年共同創立，目標是開發造福全人類的AI技術。而馬斯克則在2018年時因公司發展方向分歧而離開。

此前，OpenAI 因推出 GPT系列自然語言處理模型而聞名。從2018年起，OpenAI就開始發布生成式預訓練語言模型GPT（Generative Pre-trained Transformer），可用于生成文章、代碼、機器翻譯、問答等各類內容。

每一代GPT模型的參數量都爆炸式增長，堪稱“越大越好”。2019年2月發布的GPT-2參數量為15億，而2020年5月的GPT-3，參數量達到了1750億。

GPT家族主要模型對比

1.2 ChatGPT的主要特點

ChatGPT 是基于GPT-3.5（Generative Pre-trained Transformer 3.5）架構開發的對話AI模型，是InstructGPT 的兄弟模型。ChatGPT很可能是OpenAI 在GPT-4 正式推出之前的演練，或用于收集大量對話數據。

ChatGPT的主要特點

OpenAI使用 RLHF（Reinforcement Learning from Human Feedbac，人類反饋強化學習） 技術對 ChatGPT 進行了訓練，且加入了更多人工監督進行微調。

此外，ChatGPT 還具有以下特征：

1）可以主動承認自身錯誤。若用戶指出其錯誤，模型會聽取意見并優化答案。

2）ChatGPT 可以質疑不正確的問題。例如被詢問 “哥倫布 2015 年來到美國的情景” 的問題時，機器人會說明哥倫布不屬于這一時代并調整輸出結果。

3）ChatGPT 可以承認自身的無知，承認對專業技術的不了解。

4）支持連續多輪對話。

與大家在生活中用到的各類智能音箱和“人工智障“不同，ChatGPT在對話過程中會記憶先前使用者的對話訊息，即上下文理解，以回答某些假設性的問題。ChatGPT可實現連續對話，極大的提升了對話交互模式下的用戶體驗。

對于準確翻譯來說（尤其是中文與人名音譯），ChatGPT離完美還有一段距離，不過在文字流暢度以及辨別特定人名來說，與其他網絡翻譯工具相近。

由于 ChatGPT是一個大型語言模型，目前還并不具備網絡搜索功能，因此它只能基于2021年所擁有的數據集進行回答。例如它不知道2022年世界杯的情況，也不會像蘋果的Siri那樣回答今天天氣如何、或幫你搜索信息。如果ChatGPT能上網自己尋找學習語料和搜索知識，估計又會有更大的突破。

即便學習的知識有限，ChatGPT 還是能回答腦洞大開的人類的許多奇葩問題。為了避免ChatGPT染上惡習， ChatGPT 通過算法屏蔽，減少有害和欺騙性的訓練輸入。，查詢通過適度 API 進行過濾，并駁回潛在的種族主義或性別歧視提示。

2、ChatGPT/GPT的原理

2.1 NLP

NLP/NLU領域已知局限包括對重復文本、對高度專業的主題的誤解，以及對上下文短語的誤解。

對于人類或AI，通常需接受多年的訓練才能正常對話。NLP類模型不僅要理解單詞的含義，還要理解如何造句和給出上下文有意義的回答，甚至使用合適的俚語和專業詞匯。

NLP技術的應用領域

本質上，作為ChatGPT基礎的GPT-3或GPT-3.5 是一個超大的統計語言模型或順序文本預測模型。

2.2 GPT v.s.BERT

與BERT模型類似，ChatGPT或GPT-3.5都是根據輸入語句，根據語言/語料概率來自動生成回答的每一個字（詞語）。從數學或從機器學習的角度來看，語言模型是對詞語序列的概率相關性分布的建模，即利用已經說過的語句（語句可以視為數學中的向量）作為輸入條件，預測下一個時刻不同語句甚至語言集合出現的概率分布。

ChatGPT 使用來自人類反饋的強化學習進行訓練，這種方法通過人類干預來增強機器學習以獲得更好的效果。在訓練過程中，人類訓練者扮演著用戶和人工智能助手的角色，并通過近端策略優化算法進行微調。

由于ChatGPT更強的性能和海量參數，它包含了更多的主題的數據，能夠處理更多小眾主題。ChatGPT現在可以進一步處理回答問題、撰寫文章、文本摘要、語言翻譯和生成計算機代碼等任務。

BERT與GPT的技術架構（圖中En為輸入的每個字，Tn為輸出回答的每個字）