如今大型語(yǔ)言模型（如 ChatGPT）風(fēng)靡全球，其最重要的應(yīng)用之一就是輔助用戶完成各種日常寫作，如撰寫電子郵件，創(chuàng)作博客文章，都能得到它的有力支持。但是目前包括 ChatGPT 在內(nèi)的各種大語(yǔ)言模型在長(zhǎng)內(nèi)容創(chuàng)作領(lǐng)域，如小說，劇本，長(zhǎng)篇文案等領(lǐng)域卻顯得力不從心。

近期，來自蘇黎世聯(lián)邦理工和波形智能的團(tuán)隊(duì)發(fā)布了 RecurrentGPT，一種讓大語(yǔ)言模型 (如 ChatGPT 等) 能夠模擬 RNN/LSTM，通過 Recurrent Prompting 來實(shí)現(xiàn)交互式超長(zhǎng)文本生成，讓利用 ChatGPT 進(jìn)行長(zhǎng)篇小說創(chuàng)作成為了可能。

圖 1 RecurrentGPT 使用示意圖。

論文地址：https://arxiv.org/abs/2305.13304

項(xiàng)目地址：https://github.com/aiwaves-cn/RecurrentGPT

在線 Demo：https://www.aiwaves.org/recurrentgpt (長(zhǎng)篇小說寫作) https://www.aiwaves.org/interactivefiction (交互式小說)

基于 Transformer 的大語(yǔ)言模型最明顯的限制之一就是輸入和輸出的長(zhǎng)度限制。雖然輸入端的長(zhǎng)度限制可以通過 VectorDB 等方式緩解，輸出內(nèi)容的長(zhǎng)度限制始終是限制 ChatGPT 等大語(yǔ)言模型廣泛應(yīng)用于長(zhǎng)內(nèi)容生成的關(guān)鍵障礙。為解決這一問題，過去很多研究試圖使用基于向量化的 State 或 Memory 來讓 Transformer 可以進(jìn)行循環(huán)計(jì)算。這樣的方法雖然在長(zhǎng)文本建模上展現(xiàn)了一定的優(yōu)勢(shì)，但是卻要求使用者擁有并可以修改模型的結(jié)構(gòu)和參數(shù)，這在目前閉源模型遙遙領(lǐng)先的大語(yǔ)言模型時(shí)代中是不符合實(shí)際的。

RecurrentGPT 則另辟蹊徑，是利用大語(yǔ)言模型進(jìn)行交互式長(zhǎng)文本生成的首個(gè)成功實(shí)踐。它利用 ChatGPT 等大語(yǔ)言模型理解自然語(yǔ)言指令的能力，通過自然語(yǔ)言模擬了循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）的循環(huán)計(jì)算機(jī)制。

如圖 2 所示，在每一個(gè)時(shí)間步中，RecurrentGPT 會(huì)接收上一個(gè)時(shí)間步生成的內(nèi)容、最近生成內(nèi)容的摘要（短期記憶），歷史生成內(nèi)容中和當(dāng)前時(shí)間步最相關(guān)的內(nèi)容 (長(zhǎng)期記憶)，以及一個(gè)對(duì)下一步生成內(nèi)容的梗概。RecurrentGPT 根據(jù)這些內(nèi)容生成一段內(nèi)容，更新其長(zhǎng)短時(shí)記憶，并最后生成幾個(gè)對(duì)下一個(gè)時(shí)間步中生成內(nèi)容的規(guī)劃，并將當(dāng)前時(shí)間步的輸出作為下一個(gè)時(shí)間步的輸入。這樣的循環(huán)計(jì)算機(jī)制打破了常規(guī)Transformer 模型在生成長(zhǎng)篇文本方面的限制，從而實(shí)現(xiàn)任意長(zhǎng)度文本的生成，而不遺忘過去的信息。

圖 2 RecurrentGPT 基本結(jié)構(gòu)示意。

具體來講。作者們?cè)O(shè)計(jì)了如圖 2 所示的 prompt 去指導(dǎo)和規(guī)范循環(huán)的生成：

圖 3: RecurrentGPT Prompt 設(shè)計(jì)。

首先指明任務(wù)，比如寫小說，并說明在輸入部分會(huì)給出的內(nèi)容：上一步生成的段落（圖中 Ot-1）、當(dāng)前維持的近期生成內(nèi)容的摘要，即短期記憶（圖中 ht-1），所有生成內(nèi)容中和當(dāng)前時(shí)間步相關(guān)程度最高的幾個(gè)段落，即短期記憶（圖中 ct-1），以及對(duì)接下來生成內(nèi)容的規(guī)劃（圖中 xt-1）。

接著在 prompt 中給 ChatGPT 提出要求：首先基于當(dāng)前的輸入生成一個(gè)新的段落，接著對(duì)維護(hù)的短期記憶進(jìn)行修改，同時(shí)在對(duì)短期記憶修改時(shí)作者們指示大語(yǔ)言模型首先分析短期記憶中哪些內(nèi)容對(duì)于后續(xù)創(chuàng)作不再重要以及新生成的內(nèi)容中哪些會(huì)對(duì)后續(xù)生成有所影響，之后相應(yīng)地在地短期記憶庫(kù)中去去除無用的信息并增添新的信息，從而保持短期記憶不會(huì)因?yàn)榈妮啍?shù)增加而變得過長(zhǎng)。最后要求 ChatGPT 基于當(dāng)前的情節(jié)鋪設(shè)，給出三個(gè)邏輯順承又有趣的新的情節(jié)的規(guī)劃。

在提出要求后，作者在結(jié)尾再次精心設(shè)計(jì)了 prompt 來規(guī)范 ChatGPT 的輸出，并重申了當(dāng)前小說寫作的情景。這個(gè)好處是讓 ChatGPT 生成的內(nèi)容更具備像小說那樣的細(xì)節(jié)，而不是在每一輪的迭代中，快速地完成情節(jié)的敘述。

圖 4 RecurrentGPT Demo

在實(shí)際使用中，內(nèi)容創(chuàng)作者只需先選擇一個(gè)主題，然后簡(jiǎn)單地描述一下要生成的內(nèi)容的背景設(shè)定和大綱，剩下的工作就可以交給 RecurrentGPT。每一個(gè)它將自動(dòng)生成第一段，并提供幾個(gè)可能的選項(xiàng)（plan）供創(chuàng)作者繼續(xù)寫故事。創(chuàng)作者可以選擇一個(gè)選項(xiàng)、對(duì)某個(gè)選項(xiàng)進(jìn)行修改或者自己編輯一個(gè)新的選項(xiàng)。這個(gè)流程能顯著提高內(nèi)容創(chuàng)作者的效率。

這個(gè)新的長(zhǎng)文本生成范式將帶給所有內(nèi)容創(chuàng)作者和讀者一種全新的體驗(yàn)。首先，相比現(xiàn)有的方法，RecurrentGPT 有更強(qiáng)的可解釋性，因?yàn)橛脩艨梢杂^察和編輯自然語(yǔ)言記憶，這使得用戶可以更清晰地理解這個(gè)框架是如何工作的。其次，用戶可以直接影響生成內(nèi)容的方向，讓整個(gè)寫作過程變得更加有趣。

除了作為 AI 內(nèi)容生成 (AIGC) 的工具以外，RecurrentGPT 可以直接作為交互式小說，直接與消費(fèi)者互動(dòng)，跳過了內(nèi)容創(chuàng)作者使用 AI 進(jìn)行內(nèi)容創(chuàng)作的步驟。這讓消費(fèi)者的體驗(yàn)更直接有趣，并且?guī)砀S富的可能性。作者們將這樣的生成式 AI 的使用范式稱之為 (AI as Content, AIAC), 也就是 “AI 即內(nèi)容”。而 RecurrentGPT 則是通往這個(gè)范式的第一步。

在實(shí)驗(yàn)中，作者們將 RecurrentGPT 與之前的 SoTA 長(zhǎng)文本生成方法，在統(tǒng)一使用 ChatGPT 作為基座模型的情況下，在長(zhǎng)文本（6000 單詞）和較長(zhǎng)文本（3000 單詞）的設(shè)定下進(jìn)行 pair-wise 的人工比較。

圖 5 RecurrentGPT 實(shí)驗(yàn)結(jié)果。

在上述一系列測(cè)試中，RecurrentGPT 無論是在科幻、浪漫、幻想、恐怖、神秘還是驚悚小說的生成上，都被人類讀者認(rèn)為更有趣和連貫。

總結(jié)

研究人員提出了 RecurrentGPT，用基于自然語(yǔ)言的組件取代了 RNN 中向量化的結(jié)構(gòu)，并且用基于自然語(yǔ)言的 Prompt 模擬了 RNN 的循環(huán)計(jì)算圖，從而實(shí)現(xiàn) Recurrent Prompting，讓 ChatGPT 等大語(yǔ)言模型模擬 RNN 的循環(huán)計(jì)算機(jī)制，生成有趣并連貫的長(zhǎng)內(nèi)容。

該項(xiàng)目已經(jīng)在 GitHub 上開源，并提供了基于 Gradio 的網(wǎng)頁(yè) UI，方便每一個(gè)用戶去使用和調(diào)教自己的長(zhǎng)內(nèi)容創(chuàng)作助手。

審核編輯 ：李倩