GPT-3 寫的論文及格了嗎？教育資源網站 EduRef 對此進行了一項測試，效果還行，及格水平。

2020 年 5 月，OpenAI 推出了具有 1750 億參數的史上最大 AI 模型 GPT-3，該模型不僅可以更好地答題、翻譯、寫文章，還帶有一些數學計算的能力。自推出以來，該模型就開始在不同的領域大顯身手，如基于問題的搜索引擎、與歷史人物對話、基于文本描述生成代碼以及繪圖和圖像補全等等。

但 GPT-3 的應用之路遠未結束…

近日，教育資源網站 EduRef 進行了一項測試，他們找了一組教授創建了一個寫作提示，然后讓應屆畢業生和本科生以及 GPT-3 同時根據該提示寫作，最后教授組對匿名提交的作文打分，并對作者進行追蹤調查。那么，究竟結果如何呢？GPT-3 的分數能夠超過人類作者嗎？未必！

GPT-3 通過了大部分課程的寫作測試

常言道：「評級為 C 就可以畢業（C’s get degrees）」。AI 遠遠達不到完美，GPT-3 的寫作水平大概相當于自由寫作者（freelance writer）。

結果顯示，在 COVID-19 疫苗效力的研究方法論文寫作上，人類作者可以得到 B 或者 D，而 GPT-3 往往只能得到 C。在美國歷史類的測試中，人類作者可以在美國例外主義論文中得到 B 或者 C+，而 GPT-3 只能得到 B-。最后，在法學課上的政策函寫作中，GPT-3 得到了 B-，而 3 個學生中只有 1 個能夠得到高分。

下圖為人類作者與 GPT-3 在不同學科寫作中的得分情況：

由此可見，GPT-3 的寫作技能主要體現在技術類文檔中。在創意寫作課程中的地點記敘文（place narrative）寫作中，GPT-3 僅得到了 F，沒有通過測試。作為對比，自由寫作者得到了 A、B + 和 D+。盡管在創意寫作教授的眼中，GPT-3 失敗了，但自然語言生成（NLG）軟件依然可以用于編寫各類內容，包括一部幾乎獲獎的小說《The Day a Computer Writes a Novel》。先前的成功也預示著以后的失敗，GPT-3 或許只需要一些調整即可以成為一名合格的創意作家。總的來說，AI 幾乎通過了所有的課程寫作測試。

GPT-3 20 分鐘完成論文

雖然每個教授打分都不一樣，但該評分小組包括兩名博士和一名醫學碩士。他們總共有超過 55 年的高中和各種大學水平的教學經驗。寫作者包括應屆畢業生和本科生，其中一些人在他們的研究領域寫了提示。平均來說，他們需要 3 天時間完成任務。

對于絕大多數學生來說，3 天內完成大學論文似乎是很難的事情，主要原因在于時間太短，但是 GPT-3 在 20 分鐘內就完成了這個任務。GPT-3 利用深度學習產生類似人類的文本，每項任務花費 3 到 20 分鐘完成，并且用最長的時間來編寫創造性的寫作敘述。為了避免人為干擾，GPT-3 只對輸出長度和重復文本進行了輕微的編輯，其生成的內容、真實信息和語法都沒有受到影響。

GPT-3 生成的美國歷史類作文示例如下：

GPT-3 可生成類似人類寫作的內容

即使沒有人為干擾，GPT-3 的任務也或多或少地收到了與人類作者相同的反饋。49.2% 的評論涉及語法和句法，26.2% 的評論涉及重點和細節，語氣與行文結構等也被提及，但分別只有 12.3% 和 10.8%。這與人類作家收到的評論比例幾乎相同，近 50% 的評論與語法和句法有關，25.4% 的評論與焦點和細節有關。超過 13% 的評論是關于人類專業知識，而 10.4% 的評論是關于整體風格等。

人類作者與 GPT-3 的寫作結果收到的評論反饋情況：

盡管收到了同樣風格的評論，GPT-3 生成的內容與人類作者并不那么相似。以排名靠前的兩個單詞組合為例，GPT-3 和人類作者只分享了排名靠前的組合：「of the」。「People who」、「it is」和「those who」常被 GPT-3 使用，而人類作者經常使用的是「to the」、「in the」和「on the」。總體來說，這些單詞是在英語中經常使用的，組合上的差異顯示出 AI 和人類在寫作結構上的一些差異。

人類作者與 GPT-3 在寫作用詞上的差異分析：

考慮到 GPT-3 超高的論文得分，搭配統計數據的差異表明，人類作者比 AI 產生的獨特內容明顯更多。

盡管 GPT-3 具有出色的產出，但其生成的論文在短期內還無法獨立獲得大學學位。當與人類作者競爭時，GPT-3 獲得了一些及格分數，但在創意寫作方面有所欠缺。盡管它在眾多領域的成功為 AI 的未來帶來了希望，但對大學教授來說，AI 依然存在不足。

責任編輯：lq