試著和 ChatGPT 聊了幾句，它把我的問題解決了。

當(dāng)每個人都在苦苦等待 GPT-4 發(fā)布時，OpenAI 卻一直遲遲沒有消息，仍在修復(fù)其前身。這家總部位于舊金山的公司于昨日發(fā)布了一個名為 ChatGPT 的新模型，它是 GPT-3 的衍生產(chǎn)品，它以對話的方式進行交互。

這種對話允許 ChatGPT 回答后續(xù)問題，承認錯誤，挑戰(zhàn)不正確的前提，并拒絕不適當(dāng)?shù)恼埱蟆２煌趧e的語言模型胡編亂造，例如 Meta 的語言模型 Galactica 因為不負責(zé)任的胡編亂造，上線幾天就下架了。ChatGPT 的不同之處在于，當(dāng)它不知道自己在說什么時，它承認不知道。此外，ChatGPT 拒絕回答它沒有受過訓(xùn)練的問題，例如，它不會試圖回答有關(guān) 2022 年之后發(fā)生的事件的問題。它也不會回答關(guān)于個人的問題。

這個模型到底有多智能？以前調(diào)試代碼的腦力活都得程序員親自動手，現(xiàn)在 ChatGPT 可以攬下這個苦差事。

用戶表示：這段代碼沒有像我期望的那樣運行，我該如何修改？

ChatGPT：你給的上下文信息太少了，很難說出代碼的問題。你能否提供更多關(guān)于代碼的信息，比如代碼用來干什么的，這是整個代碼還是其中的一部分?

用戶：這是代碼的一部分。我認為 channel 出現(xiàn)了問題。

ChatGPT：如果沒有更多信息來說明代碼應(yīng)該做什么、執(zhí)行時發(fā)生了什么，這個問題就很難說了。從你提供的信息可以看出，代碼的一個潛在問題是 resultWorkerErr channel 從未關(guān)閉，這意味著如果從未寫入 resultWorkerErr channel，代碼可能會掛起。如果 b.resultWorker 沒有返回錯誤或者它在有機會返回錯誤之前被取消，就會發(fā)生這種情況。

要解決此問題，你可以在寫入 resultWorkerErr channel 后將其關(guān)閉。例如，你可以在向 channel 發(fā)送錯誤的行之后添加以下代碼行：

這將確保 resultWorkerErr channel 總是關(guān)閉的，即使 b.c retworker 從未返回錯誤。同樣，如果沒有更多關(guān)于你所看到的問題的信息，很難判斷這是否是你正在經(jīng)歷的問題。你能提供更多關(guān)于運行代碼時發(fā)生的細節(jié)嗎?

以上就是 ChatGPT 修改 Bug 的一個過程，可以說是刨根問底了。

在下面的示例中，ChatGPT 提供了對后續(xù)指令的響應(yīng)。下圖大概意思是說，用戶要求 ChatGPT 幫自己寫個簡短的介紹，好與鄰居認識一下；ChatGPT 給出了一篇簡短文字介紹，但用戶嫌棄不夠正式，好脾氣的 ChatGPT 又來了一版正式一點的；之后用戶又提了一個要求，讓 ChatGPT 幫忙寄出去。最后 ChatGPT 回答：「很抱歉，我是一個基于文本的 AI 助手，沒有能力為你發(fā)送一封實體信件。我只能提供關(guān)于寫什么的建議。你可以接受該建議并自己發(fā)送這封信。」

看到這，你是不是也想嘗試一番。不錯，這個模型一經(jīng)發(fā)布，讓很多人沉迷而無法自拔，就連馬斯克都來了一句：「很多人陷入了該死瘋狂的 ChatGPT 循環(huán)中。」

ChatGPT新玩法：扮演Linux虛擬機，能管理文件&編程&開瀏覽器；ChatGPT的智能回答堪比雅思口語滿分案例、讓AI生成AI繪畫提示詞......有人喊出“ChatGPT出世，“谷歌要完蛋了？” 。OpenAI最新成果ChatGPT被網(wǎng)友玩壞了！

一時間，大家仿佛找到了一個新的樂子，紛紛和 ChatGPT 打開了對話模式。「要求它解釋一個沒有上下文的復(fù)雜的正則表達式……」這個問題真是夠難為人的，但是難不倒 ChatGPT。看這解釋的篇幅，應(yīng)該是解釋清楚了。

「ChatGPT 是一個很好的 debugging 伙伴，它不僅能解釋 bug，還能修復(fù) bug 并解釋修復(fù) bug 的方法。」網(wǎng)友表示。

更有網(wǎng)友不可思議道：「天吶，ChatGPT 竟然知道 AWS IAM 策略。」

「ChatGPT 可以生成數(shù)百行 Python 代碼，將 100 GB 的文件上傳到 AWS S3 bucket 中，只需編寫這樣一句話即可「Write Python code to upload a file to an AWS S3 bucket（編寫 Python 代碼，將文件上傳到 AWS S3 bucket 中）。」

由于大家太過熱情，試用網(wǎng)站已經(jīng)崩了：「我們的需求異常旺盛。請稍等，我們正在擴充我們的系統(tǒng)。」

試用地址：chat.openai.com

方法

ChatGPT 使用與 InstructGPT 相同的方法——用人類反饋強化學(xué)習(xí) (RLHF) 訓(xùn)練模型，但數(shù)據(jù)收集設(shè)置略有不同。ChatGPT 使用監(jiān)督微調(diào)訓(xùn)練了一個初始模型：人類 AI 訓(xùn)練員提供對話，他們在對話中扮演雙方——用戶和 AI 助手，AI 訓(xùn)練員可以訪問模型編寫的對話回復(fù)，以幫助 AI 調(diào)整回復(fù)內(nèi)容。

為了創(chuàng)建強化學(xué)習(xí)的獎勵模型，該研究需要收集比較數(shù)據(jù)，其中包含兩個或多個按質(zhì)量排序的模型回復(fù)。該研究收集了 AI 訓(xùn)練員與聊天機器人的對話，并隨機選擇一條模型編寫的消息，抽取幾個備選回復(fù)，讓 AI 訓(xùn)練員對這些回復(fù)進行排名。此外，該研究還使用近端策略優(yōu)化算法（PPO）微調(diào)模型，并對整個過程進行了幾次迭代。

ChatGPT 對 GPT-3.5 系列中的某個模型進行了微調(diào)，該模型于 2022 年初完成訓(xùn)練。ChatGPT 和 GPT 3.5 在 Azure AI 超級計算基礎(chǔ)設(shè)施上進行了訓(xùn)練。

局限性

1. ChatGPT 有時會寫出看似合理但不正確或荒謬的答案。解決這個問題非常具有挑戰(zhàn)性，因為：

RL 訓(xùn)練期間需要現(xiàn)實世界的數(shù)據(jù)，但目前沒有來源；

模型被訓(xùn)練得過于謹(jǐn)慎導(dǎo)致它拒絕回答可以正確回答的問題；(3) 監(jiān)督訓(xùn)練會影響模型的性能，因為理想情況是模型知道正確答案是什么，而不是人類演示者知道是什么。

ChatGPT 對調(diào)整輸入措辭或多次嘗試相同的 prompt 很敏感。例如，給定一個問題，模型可以聲稱不知道答案，但只要對問題稍作改寫，模型就就可以正確回答。

模型的回答通常過于冗長并過度使用某些短語，例如重申它是 OpenAI 訓(xùn)練的語言模型。這些問題源于訓(xùn)練數(shù)據(jù)（訓(xùn)練者喜歡看起來更全面的長答案）和過度優(yōu)化。

理想情況下，當(dāng)用戶提供模棱兩可的查詢時，模型會提出質(zhì)疑，然而 ChatGPT 目前是自行猜測用戶的意圖。

雖然該研究已努力使模型拒絕不當(dāng)請求，但它有時會回復(fù)有害指令或給出有偏見的回答。研究團隊正在使用 Moderation API 來警告模型或阻止某些類型的不安全內(nèi)容，并試圖收集用戶反饋來進一步改進該系統(tǒng)的工作。

相比于 GPT-3 和 Codex，ChatGPT 作為 OpenAI 最新發(fā)布的模型，已經(jīng)在安全性和可用性方面做出了諸多改進，汲取了先前模型的經(jīng)驗教訓(xùn)，并通過使用人類反饋強化學(xué)習(xí) (RLHF) 大幅減少了模型的有害和不真實輸出。

審核編輯 ：李倩