最近ChatGPT火出圈了，它和前陣子的Stable Diffusion（AIGC）一樣成為社交媒體上人們津津樂(lè)道的話題。“ChatGPT要取代谷歌搜索了？”“ChatGPT要讓程 序員失業(yè)了嗎？”……類似的標(biāo)題又一次刺激了我們的神經(jīng)。作為一名碼農(nóng)，我對(duì)后一個(gè)標(biāo)題其實(shí)是嗤之以鼻的。無(wú)論ChatGPT是用了什么樣的“魔 法”，僅從目前展現(xiàn)的能力來(lái)看，它學(xué)會(huì)的頂多就是熟練使用編程語(yǔ)言的API，去實(shí)現(xiàn)某個(gè)函數(shù)完成人類給定的特定小任務(wù)。在真實(shí)的項(xiàng)目場(chǎng)景下，程序員 通常要接過(guò)一個(gè)含糊不清的需求，梳理其中的每個(gè)細(xì)節(jié)直至形成邏輯閉環(huán)，再將其抽象成一個(gè)個(gè)特定任務(wù)并實(shí)現(xiàn)功能，現(xiàn)有AI至多能幫上最后一個(gè)小階 段；更別提真正讓程序員頭大的往往是并發(fā)、事務(wù)一致性等問(wèn)題，這些都是現(xiàn)有AI無(wú)法解決的。

但是作為一名深度學(xué)習(xí)愛(ài)好者，我對(duì)ChatGPT表現(xiàn)出來(lái)的能力是驚嘆的。無(wú)論是OpenAI提供的示例還是社交媒體上的各路花活，都讓我更新了以往對(duì)AI語(yǔ) 言模型特有的“人工智障”的認(rèn)識(shí)。因此我其實(shí)十分好奇，ChatGPT的“魔法”原理是什么？遺憾的是，我在中文互聯(lián)網(wǎng)上并沒(méi)有找到對(duì)這個(gè)工作很好的解 讀文字，而直接看論文既費(fèi)事又不是特別能理解。在一些網(wǎng)上優(yōu)質(zhì)解讀視頻的幫助下，我逐漸理解了所謂的“魔法”究竟是什么，并嘗試梳理成如下的文 字。

ChatGPT的“魔法”原理
由于ChatGPT并沒(méi)有放出論文，我們沒(méi)法直接了解ChatGPT的設(shè)計(jì)細(xì)節(jié)。但它的blog中提到一個(gè)相似的工作InstructGPT，兩者的區(qū)別是ChatGPT在后者的基 礎(chǔ)上針對(duì)多輪對(duì)話的訓(xùn)練任務(wù)做了優(yōu)化，因此我們可以參考后者的論文去理解ChatGPT。

然而，InstructGPT的論文由25頁(yè)正文和43頁(yè)附錄組成，所以本文并不試圖去講清包括訓(xùn)練策略在內(nèi)的每個(gè)細(xì)節(jié)。為了保證梳理的完整性，本文將分為上下 兩個(gè)部分：第一部分參考了Youtube上的 李宏毅 和 陳蘊(yùn)儂 老師，旨在講清InstructGPT的改進(jìn)思路；第二部分參考了B站UP主弗蘭克甜，試圖轉(zhuǎn)述他對(duì) ChatGPT的深刻理解。