對于我個人來說，剛剛步入媒體圈，職業生涯就將遭遇一次非常嚴重的 AI 威脅。

因為 GPT-3 來了，而且在寫文章、編故事的能力上面比上一代更能打了。

已經得到微軟 Azure 算力加持的 OpenAI 放出了 GPT-3 這個巨型 NLP 模型怪獸，包含 1750 億參數，比 2 月份微軟剛推出的全球最大深度學習模型 Turing NLG 大上十倍，是其前身 GPT-2 參數的 100 倍。

我們可以用一張圖表來直觀感受下 GPT-3 所處在位置，是不是有點高處不勝寒的感覺？

同時，GPT-3 使用的訓練數據集也十分龐大，基于包含近 1 萬億單詞量的 CommonCrawl 數據集、網絡文本、數據、維基百科等數據，數據量達到了 45TB。其訓練費用也達到驚人的 1200 萬美元，這已經是個人開發者和小型 AI 開發團隊無法輕易染指的訓練規模和成本了。

在最近大量有關 GPT-3 的介紹文章里，很多人都注意到的是這個模型驚人的體量和各種各樣腦洞大開的文本生成能力，不僅是寫文章、編故事、搞翻譯，還包括多輪對話、寫代碼、做數學運算、表情包配文、做表格、生成圖標等等，幾乎是在文本方面為所欲為了。

有人驚呼“真正的 AI 已經到來”、“GPT-3 可以改變世界了”，也有人說“GPT-3 是一種形象工程”、“一種赤裸裸的炫富”。

無論評價如何，人們其實都并未過多注意到 OpenAI 現在發布 GPT-3 的 API 接口的一大原因是推動這一技術的商業化。現在，GPT-3 模型已經廣泛應用的領域當中，有哪些領域更好地進行商業化嘗試，又有哪些領域仍然差強人意，這些也許是更值得我們去探討的地方。

GPT-3 到底有多厲害？

相較于之前的 GPT-2，這次 GPT-3 有哪些明顯的進步呢？

從訓練方式來說，與之前版本并沒有什么不同，GPT-3 依舊延續之前的單向語言模型訓練方式，只不過就是訓練數據和參數有了幾個數量級的提升。但從實際的效果來看，GPT-3 的嘗試至少驗證了一點，就是將一個深度神經網絡不斷增大，它確實可以變得更加的聰明。

相較于當前的 BERT 模型，GPT-3 主要能夠解決兩個問題，一個是避免對各領域內的標注數據的過分依賴，一個是避免對各領域數據分布的過度擬合，從而調教出一個更通用、更泛化的 NLP 模型。GPT-3 的主要目標是用更少的領域數據，還有去掉微調步驟去解決問題。

（圖源：李宏毅《深度學習人類語言處理》）

直觀來理解就是如圖所示，GPT-3 就是要拿掉 Fine-tune（微調）這個環節，也拿到 Task-Specific 的示例資料，來直接對特殊的領域問題進行回答。

基于此，研究者們使用 GPT-3 在不同形式下進行了推理效果的測試，包括 Zero-shot、One-shot、Few-shot 三種，但是這三種形式都是不需要經過 Fine-tuning 的。因為 GPT-3 選擇的是單向 transformer，所以它在預測新的 token 時，會對之前的 examples 進行編碼。

那么，測試結果如何呢？

從各領域的 42 項基準測試中的平均表現來看，隨著參數量的不斷加大，其正確率在不斷提升（當然有人會質疑，模型提升了 10 倍參數量，正確率才提升不到 1 倍），其中 Few Shot 的表現是最好的。

而在封閉式的 Trivia QA 問答中，GPT-3 的 Few-Shot 的表現已經可以好過經過 Fine-tuned SOTA 的成績。此外在 SuperGLUE 測試上面也能達到超過當前 SOTA 的表現，以及生成非常逼真的文章，甚至能達到人類難以分辨是機器還是人類協作的程度。

那么，在當前人們調用 OpenAI 開放的 API 接口之后，我們已經可以看到 GPT-3 的一系列的有趣案例了。

GPT-3 現在能夠出色地完成翻譯、問答和完形填空任務，能夠很好執行兩位、三位的數學加減運算。還可以基于文本的描述生成代碼、網站。

（GPT-3 將自然語言生成了代碼和圖形按鈕）

可以為文本轉換不同文體樣式，比如把口語化變為書面語，把日常語言變為法律文書。或者把繁榮的法律語言變成日常語言，比如那些長長的“用戶協議”。

（GPT-3 將日常語言轉換為法律文書）

當然，GPT-3 的主業更在于生成文本內容，比如段子、新聞、小說，甚至給出主題和關鍵詞，都可以有模有樣地編出一篇完整的論文。

（僅給出標題和開頭，GPT-3 就完成了論文）

在和人類的多輪對話中，GPT-3 表現也相當出色。比如下面這個名為 Kosmopol 的程序員和 GPT-3 展開了一段關于人類、AI 與神的存在關系的“神秘”討論。

（聊到最后程序員表示，“我現在已經沒有任何疑問”）

從現在網絡上所發布出來的 GPT-3 的各項表現來看，GPT-3 似乎在任何文本生成相關的領域都能發揮作用了。

那么 GPT-3 在商業化方面的前途如何呢？

GPT-3 有哪些商業化前景？

我們記得，在 GPT-2 發布時，OpenAI 還不愿意一下子把 GPT2 的模型完整地放出來，而是選擇擠牙膏似的一點點公布完整版本，當時的理由是認為 GPT-2 太過危險，會被人用來制造假新聞，用來做郵件詐騙等壞事。當然，可怕的后果并沒有發生，也許是壞人的技術能力不夠，更主要可能是應用的成本門檻太高。

這一次，OpenAI 選擇了發布 API 接口邀請測試，而非直接開源模型的方式，同樣也有這方面的考慮。如果模型開源，一旦有人在此基礎上開發帶有危險性的應用程序，官方將很難制止。通過 API 方式就可以很好應對人們對技術的濫用。

與此同時，由于 GPT-3 如此龐大體量的基礎模型，除了少數大公司之外，很少有機構和個人能夠對其進行開發和部署，運行費用也將極其昂貴。

其實更重要一點則是，OpenAI 希望通過 API 方式來推動 GPT-3 的技術商業化，未來在安全可靠、政策合規的基礎上進行相關 AI 產品的開發，并實現商業化的盈利。

據目前 OpenAI 透露，在提供 API 之前，就已經與十幾家公司展開了初步的商用測試。具體開放功能話，GPT-3 可以在語義搜索、聊天機器人、生產力工具、文本生成、內容理解、機器翻譯等方面進行商業化應用。

比如，一家初創搜索公司 Algolia 正在使用 GPT-3 來進行自然語言的復雜搜索，具體表現在能夠將預測時間縮短到 100 毫秒左右，并以比 BERT 快 4 倍的速度準確地回答復雜的自然語言問題。

在生產力工具方面，GPT-3 的 API 可以提供更多元化的功能，比如將文本分解為圖表、表格、電子郵件匯總，可以從項目要點進行內容擴展。對于編程工作來說，程序員可以通過自然語言來與計算機進行對話，不必記住各種復雜命令，也能獲得自己想要的基礎代碼。

此外，像在文檔寫作中的拼寫建議、語法糾錯，以及像法律機構、律所相關工作中的判例索引，法律研究，模式化的訴訟申請撰寫，教育教學機構的教學材料輔助查找和示例，在線客服的聊天機器人等方面，都可以實現商業化應用。

這樣一看，好像 GPT-3 的橫空出世，不僅是讓媒體編輯（不久前微軟就開掉了一批人工編輯）直接遭遇職業危機，甚至看來很多機構的基礎文員、在線客服，甚至程序員也有下崗再就業的危險了？

不過，從目前 GPT-3 所公開展示的示例來看，這種擔憂還是有些大可不必。直接來講，GPT-3 作為企業的生產力工具，更多會起到輔助性提升效率工具的作用。在任何需要進行文本的生成、資料檢索和需要啟發性的內容生產方面，都可以使用 GPT-3 來作為輔助工具。

比如，作家可以使用關鍵詞來獲得 GPT-3 提供的創意思路，來獲取靈感。公司職員和機構的文員可以用會議紀要來生成相應專業性的報告、郵件和專業文書。

在這一過程中，我們不可能說完全去掉人類的審查和訂正就直接使用和發布。顯然，無論哪個機構或個人都不會讓 AI 模型來承擔其發布內容的責任。當然，當一些人能夠更好地與 GPT-3 這樣的人工智能工具進行高效協作，提升企業組織的生產效率，隨之而來的是企業對基礎職位人數需求的減少。從這個意義上，GPT-3 作為職位大殺器的作用會間接顯現。

不過，現在的 GPT-3 已經能堪當大任嗎？從一些開發者測試后的反饋和一些專家的評論來看，GPT-3 距離真正的商業化還有一定的距離，其中一些問題必須要解決。

GPT-3 的商業化難題

當外界對于 GPT-3 的能力表現發出更多贊譽的時候，OpenAI 聯合創始人 Sam Altman 則在 Twitter 站出來表示，“GPT-3 被吹捧得太過了”。

實際上，這一表態確實很實事求是。目前 GPT-3 在常識問答、事實性的文本生產問題上表現尚佳，但是一旦處在反事實的或者矛盾問題的問答上面，GPT-3 就會表現出一種“不懂裝懂”的幼稚化傾向。

比如，在上面這些反事實提問或者無意義的語言重復下，GPT-3 就開啟了“尬聊”模式。用紐約大學副教授 Julian Togelius 的話來說就是，“GPT-3 常常表現的像一個沒有完成閱讀的聰明學生，在考試中胡言亂語試圖蒙混過關。一些眾所周知的事實，一些半真半假的事，還有一些直接的謊言，串在一起乍一看像是流暢的敘事。”

GPT-3 在一些輸出上也會犯一些帶有偏向性的低級錯誤。比如有人在通過 GPT-3 與虛擬的喬布斯談話中，在問到喬幫主現在身處何處，GPT-3 給出的答案是“蘋果總部”，并且還報了地名。不過，大家都知道這個答案并不正確，回答說喬幫主現在活在我們心中，都比上面檢索來的答案更靠譜。

此外，OpenAI 對 GPT-3 帶有偏見內容的輸出上更為小心謹慎，因為 GPT-2 就有先例，在生成一篇文章中，就有冒犯黑人女性的歧視性描述。這可能源自于訓練數據中本身含有的各類歧視內容。但如果考慮到在整理數據中剔除這些內容，需要大量的人力成本，實際上既沒有操作性，也無必要性。最終只能在輸出端，對 GPT-3 的這類結果進行優化改進。

這些低級的、誤導性、偏見性的錯誤，仍然會讓企業的商業應用顧慮重重。如果一旦全權交給 AI 來行使工作溝通、客服等工作，難免會造成企業的利益損失，或者增加諸如審核之類的經營成本。

GPT-3 商業化更重要的一個難關是在性價比上面。如果 GPT-3 可以實現的一些自動化文本生成任務可以由更便宜、但專業性更好的 AI 軟件也可以辦到，那么 GPT-3 的商業價值將大打折扣。也就是，如果人們嘗試用 GPT-3 來替代谷歌的關鍵詞搜索，但總是無法得到更全面的信息，那人們為何不用回免費的谷歌和維基百科呢？

雖然 GPT-3 在通用性上面的能力表現出“大力出奇跡”的良好特性，但其如何能夠更有效地發揮商業價值，OPenAI 還任重道遠，這需要在此后的模型優化中“慢工出細活”。

現在，在接受微軟的 10 億美元的投資之后，OpenAI 的商業化進程已經提升比較急迫的日程了。依托巨大算力資源才能跑起來的 AI 模型必須推進商業化的腳步。

所以，GPT-3 首當其沖。

總體來說，GPT-3 的商業化開放有著非常積極的意義。由于這樣巨型的模型訓練是一般小企業和個人用戶根本無力承擔的，那么 API 的開放可以使得這些用戶用比較少的成本付費使用 AI 的功能。不過從另一個角度來看，AI 領域的科研壟斷也正在形成。當年在操作系統、搜索引擎等領域形成壟斷的巨頭，如今又通過算力霸權占據了 AI 領域的數據富礦的基礎開采權。

我們看到，GPT-3 一開始的商業化過程并不會那么順利。但是這樣的基礎性工程，無論本身的結果如何，其在完成項目的過程中，OpenAI 所取得的技術經驗和技術能力，其實是更重要的一筆財富。關鍵是 GPT-3 仍然是目前 AI 正確的前進方向。

當年，美國在阿波羅登月計劃的時候，也耗費了無數的人力和財富，其結果不過是在與當時蘇聯的“星球大戰”中贏得一個頭籌而已。不過這些浩大工程的一些副產品，諸如空間通信、材料科學、自動控制、集成電路、計算機科學方面，至今讓美國的科技和商業受益匪淺。

編輯：hfy