前 言 OpenAI這家公司又放大招了，繼發(fā)布GPT、GPT2和GPT3模型后，本月初發(fā)布了ChatGPT模型【也被稱為GPT3.5】，結(jié)合大家的測試效果來看，該模型效果確實很震撼，在人工智能圈子引起了不小的轟動。在AI發(fā)展相對處于低谷期的今天，如此震撼的模型發(fā)布出來，確實為該行業(yè)帶來一陣暖風，本文就詳細解讀一下該模型。

　　在“人工標注數(shù)據(jù)+強化學(xué)習(xí)”框架下，具體而言，InstructGPT的訓(xùn)練過程分為以下三個階段：

　　第一階段：冷啟動階段的監(jiān)督策略模型

　　靠GPT 3本身，盡管它很強，但是它很難理解人類不同類型指令中蘊含的不同意圖，也很難判斷生成內(nèi)容是否是高質(zhì)量的結(jié)果。為了讓GPT 3初步具備理解指令中蘊含的意圖，首先會從測試用戶提交的prompt（就是指令或問題）中隨機抽取一批，靠專業(yè)的標注人員，給出指定prompt的高質(zhì)量答案，然后用這些人工標注好的數(shù)據(jù)來Fine-tune GPT 3模型。經(jīng)過這個過程，我們可以認為 GPT 3初步具備了理解人類prompt中所包含意圖，并根據(jù)這個意圖給出相對高質(zhì)量回答的能力，但是很明顯，僅僅這樣做是不夠的。

　　第二階段：訓(xùn)練回報模型（RewardModel，RM）

　　這個階段的主要目的是通過人工標注訓(xùn)練數(shù)據(jù)，來訓(xùn)練回報模型。具體而言，隨機抽樣一批用戶提交的prompt（大部分和第一階段的相同），使用第一階段Fine-tune好的冷啟動模型，對于每個prompt，由冷啟動模型生成K個不同的回答，于是模型產(chǎn)生出了，…。數(shù)據(jù)。之后，標注人員對K個結(jié)果按照很多標準（上面提到的相關(guān)性、富含信息性、有害信息等諸多標準）綜合考慮進行排序，給出K個結(jié)果的排名順序，這就是此階段人工標注的數(shù)據(jù)。接下來，我們準備利用這個排序結(jié)果數(shù)據(jù)來訓(xùn)練回報模型，采取的訓(xùn)練模式其實就是平常經(jīng)常用到的pair-wiselearning to rank。對于K個排序結(jié)果，兩兩組合，形成 （ k 2 ） \binom{k}{2} （2k） 個訓(xùn)練數(shù)據(jù)對，ChatGPT采取pair-wiseloss來訓(xùn)練Reward Model。RM模型接受一個輸入，給出評價回答質(zhì)量高低的回報分數(shù)Score。對于一對訓(xùn)練數(shù)據(jù)，我們假設(shè)人工排序中answer1排在answer2前面，那么Loss函數(shù)則鼓勵RM模型對的打分要比 的打分要高。歸納下：在這個階段里，首先由冷啟動后的監(jiān)督策略模型為每個prompt產(chǎn)生K個結(jié)果，人工根據(jù)結(jié)果質(zhì)量由高到低排序，以此作為訓(xùn)練數(shù)據(jù)，通過pair-wiselearning to rank模式來訓(xùn)練回報模型。對于學(xué)好的RM模型來說，輸入，輸出結(jié)果的質(zhì)量得分，得分越高說明產(chǎn)生的回答質(zhì)量越高。