檢索增強(qiáng)生成是一種使用從外部來(lái)源獲取的事實(shí)，來(lái)提高生成式 AI 模型準(zhǔn)確性和可靠性的技術(shù)。

為了理解這一生成式 AI 領(lǐng)域的最新進(jìn)展，讓我們以法庭為例。

法官通常根據(jù)對(duì)法律的一般理解來(lái)審理和判決案件。但有些案件需要用到特殊的專業(yè)知識(shí)，如醫(yī)療事故訴訟或勞資糾紛等，因此法官會(huì)派法庭書(shū)記員去圖書(shū)館尋找可以引用的先例和具體案例。

與優(yōu)秀的法官一樣，大語(yǔ)言模型（LLM）能夠響應(yīng)人類的各種查詢。但為了能夠提供引經(jīng)據(jù)典的權(quán)威答案，模型需要一個(gè)助手來(lái)做一些研究。

AI 的“法庭書(shū)記員”就是一個(gè)被稱為檢索增強(qiáng)生成（RAG）的過(guò)程。

名稱的由來(lái)

這個(gè)名稱來(lái)自 2020 年的一篇論文（https://arxiv.org/pdf/2005.11401.pdf），論文的第一作者 Patrick Lewis 對(duì) RAG 這個(gè)“不討喜”的縮寫詞表示了歉意，如今，這個(gè)詞被用來(lái)描述在數(shù)百篇論文和數(shù)十種商業(yè)服務(wù)中不斷發(fā)展壯大的某種方法，而在他看來(lái)，這些都代表著生成式 AI 的未來(lái)。

在一場(chǎng)于新加坡舉辦的數(shù)據(jù)庫(kù)開(kāi)發(fā)者區(qū)域會(huì)議中，Lewis 接受了采訪，他提到：“如果我們當(dāng)時(shí)知道研究成果會(huì)被如此廣泛地使用，肯定會(huì)在起名時(shí)多花些心思。”

圖 1：Partick Lewis

Lewis 現(xiàn)在是 AI 初創(chuàng)企業(yè) Cohere 的 RAG 團(tuán)隊(duì)負(fù)責(zé)人。他表示：“我們當(dāng)時(shí)一直想取一個(gè)好聽(tīng)的名字，但到了寫論文的時(shí)候，大家都想不出更好的了。”

什么是檢索增強(qiáng)生成？

檢索增強(qiáng)生成是一種使用從外部來(lái)源獲取的事實(shí)，來(lái)提高生成式 AI 模型準(zhǔn)確性和可靠性的技術(shù)。

換言之，它填補(bǔ)了 LLM 工作方式的缺口。LLM 其實(shí)是一種神經(jīng)網(wǎng)絡(luò)，以其所含參數(shù)數(shù)量來(lái)衡量，參數(shù)本質(zhì)上等同于人類一般的遣詞造句方式。

這種深度理解有時(shí)被稱為參數(shù)化知識(shí)，使 LLM 能夠在瞬間對(duì)一般的指令作出響應(yīng)。但如果用戶希望深入了解當(dāng)前或更加具體的主題，它就不夠用了。

結(jié)合內(nèi)部與外部資源

Lewis 與其同事所開(kāi)發(fā)的檢索增強(qiáng)生成技術(shù)能夠連接生成式 AI 服務(wù)與外部資源，尤其是那些具有最新技術(shù)細(xì)節(jié)的資源。

這篇論文的共同作者們來(lái)自前 Facebook AI Research（現(xiàn) Meta AI）、倫敦大學(xué)學(xué)院和紐約大學(xué)。由于 RAG 幾乎可以被任何 LLM 用于連接任意外部資源，因此他們把 RAG 稱為“通用的微調(diào)秘方”。

建立用戶信任

檢索增強(qiáng)生成為模型提供了可以引用的來(lái)源，就像研究論文中的腳注一樣。這樣用戶就可以對(duì)任何說(shuō)法進(jìn)行核實(shí)，從而建立起信任。

另外，這種技術(shù)還能幫助模型消除用戶查詢中的歧義，降低模型做出錯(cuò)誤猜測(cè)的可能性，該現(xiàn)象有時(shí)被稱為“幻覺(jué)”。

RAG 的另一大優(yōu)勢(shì)就是相對(duì)簡(jiǎn)單。Lewis 與該論文的其他三位共同作者在博客中表示，開(kāi)發(fā)者只需五行代碼就能實(shí)現(xiàn)這一流程。

這使得該方法比使用額外的數(shù)據(jù)集來(lái)重新訓(xùn)練模型更快、成本更低，而且還能讓用戶隨時(shí)更新新的來(lái)源。

如何使用檢索增強(qiáng)生成

借助檢索增強(qiáng)生成技術(shù)，用戶基本上可以實(shí)現(xiàn)與數(shù)據(jù)存儲(chǔ)庫(kù)對(duì)話，從而獲得全新的體驗(yàn)。這意味著用于 RAG 的應(yīng)用可能是可用數(shù)據(jù)集數(shù)量的數(shù)倍。

例如，一個(gè)帶有醫(yī)療數(shù)據(jù)索引的生成式 AI 模型可以成為醫(yī)生或護(hù)士的得力助手；金融分析師將受益于一個(gè)與市場(chǎng)數(shù)據(jù)連接的“助手”。

實(shí)際上，幾乎所有企業(yè)都可以將其技術(shù)或政策手冊(cè)、視頻或日志轉(zhuǎn)化為“知識(shí)庫(kù)”資源，以此增強(qiáng) LLM。這些資源可以啟用客戶或現(xiàn)場(chǎng)技術(shù)支持、員工培訓(xùn)、開(kāi)發(fā)者生產(chǎn)力等用例。

AWS、IBM、Glean、谷歌、微軟、NVIDIA、Oracle 和 Pinecone 等公司正是因?yàn)檫@一巨大的潛力而采用 RAG。

開(kāi)始使用檢索增強(qiáng)生成

為了幫助用戶入門，NVIDIA 開(kāi)發(fā)了檢索增強(qiáng)生成參考架構(gòu)（https://docs.nvidia.com/ai-enterprise/workflows-generative-ai/0.1.0/technical-brief.html）。該架構(gòu)包含一個(gè)聊天機(jī)器人示例和用戶使用這種新方法創(chuàng)建個(gè)人應(yīng)用所需的元素。

該工作流使用了專用于開(kāi)發(fā)和自定義生成式 AI 模型的框架NVIDIA NeMo，以及用于在生產(chǎn)中運(yùn)行生成式 AI 模型的軟件，例如NVIDIA Triton推理服務(wù)器和NVIDIA TensorRT-LLM等。

這些軟件組件均包含在NVIDIA AI Enterprise軟件平臺(tái)中，其可加速生產(chǎn)就緒型 AI 的開(kāi)發(fā)和部署，并提供企業(yè)所需的安全性、支持和穩(wěn)定性。

為了讓 RAG 工作流獲得最佳性能，需要大量?jī)?nèi)存和算力來(lái)移動(dòng)和處理數(shù)據(jù)。NVIDIA GH200 Grace Hopper 超級(jí)芯片配備 288 GB 高速 HBM3e 內(nèi)存和每秒 8 千萬(wàn)億次的算力，堪稱最佳的選擇，其速度相比使用 CPU 提升了 150 倍。

一旦企業(yè)熟悉了 RAG，就可以將各種現(xiàn)成或自定義的 LLM 與內(nèi)部或外部知識(shí)庫(kù)相結(jié)合，創(chuàng)造出各種能夠幫助其員工和客戶的助手。

RAG 不需要數(shù)據(jù)中心。在 Windows PC 上已可直接使用 LLM，其實(shí)這都要?dú)w功于 NVIDIA 軟件所提供的支持，使用戶可以在筆記本電腦上輕松訪問(wèn)各種應(yīng)用。

圖 2：一個(gè)在 PC 上的 RAG 示例應(yīng)用程序。

配備NVIDIA RTX GPU的 PC 如今可以在本地運(yùn)行一些 AI 模型。通過(guò)在 PC 上使用 RAG，用戶可以連接私人知識(shí)來(lái)源（無(wú)論是電子郵件、筆記還是文章），以改善響應(yīng)。這樣，用戶可以對(duì)其數(shù)據(jù)來(lái)源、指令和回答的私密性和安全性放心。

在最近的一篇博客（https://blogs.nvidia.com/blog/tensorrt-llm-windows-stable-diffusion-rtx/）中，就提供了一個(gè)在 Windows 上使用 TensorRT-LLM 加速的 RAG 以快速獲得更好結(jié)果的例子。

檢索增強(qiáng)生成的發(fā)展史

這項(xiàng)技術(shù)的起源至少可以追溯到 20 世紀(jì) 70 年代初。當(dāng)時(shí)，信息檢索領(lǐng)域的研究人員推出了所謂的問(wèn)答系統(tǒng)原型，即使用自然語(yǔ)言處理（NLP）訪問(wèn)文本的應(yīng)用程序，最初涵蓋的是棒球等狹隘的主題。

多年以來(lái)，這種文本挖掘背后的概念其實(shí)一直沒(méi)有改變。但驅(qū)動(dòng)它們的機(jī)器學(xué)習(xí)引擎卻有了顯著的發(fā)展，從而提高了實(shí)用性和受歡迎程度。

20 世紀(jì) 90 年代中期，Ask Jeeves 服務(wù)（即現(xiàn)在的 Ask.com）以一個(gè)穿著考究的男仆作為吉祥物，普及了問(wèn)答系統(tǒng)。2011 年，IBM 的 Watson 在《危險(xiǎn)邊緣》（Jeopardy!）節(jié)目中輕松擊敗兩位人類冠軍，成為電視名人。

如今，LLM 正在將問(wèn)答系統(tǒng)提升至全新的水平。

在一家倫敦實(shí)驗(yàn)室中迸發(fā)的靈感

在 2020 年發(fā)表這篇開(kāi)創(chuàng)性的論文時(shí)，Lewis 正在倫敦大學(xué)學(xué)院攻讀自然語(yǔ)言處理（NLP）博士學(xué)位，并在倫敦一家新成立的 AI 實(shí)驗(yàn)室中為 Meta 工作。當(dāng)時(shí)，該團(tuán)隊(duì)正在尋找將更多知識(shí)加入到 LLM 參數(shù)中的方法，并使用模型自己開(kāi)發(fā)的基準(zhǔn)來(lái)衡量進(jìn)展。

Lewis 回憶道，團(tuán)隊(duì)在早期方法的基礎(chǔ)上，受谷歌研究人員一篇論文的啟發(fā)，“產(chǎn)生了這一絕妙的想法——在一個(gè)經(jīng)過(guò)訓(xùn)練的系統(tǒng)中嵌入檢索索引，這樣它就能學(xué)習(xí)并生成你想要的任何文本輸出。”

圖 3：IBM Watson 問(wèn)答系統(tǒng)在電視節(jié)目《危險(xiǎn)邊緣》（Jeopardy!）中大獲全勝，一舉成名

Lewis 將這項(xiàng)正在開(kāi)發(fā)的工作與另一個(gè) Meta 團(tuán)隊(duì)的優(yōu)秀檢索系統(tǒng)連接，所產(chǎn)生的第一批結(jié)果令人大吃一驚。

“我把結(jié)果拿給主管看，他驚嘆道：‘哇，你們做到了。這可不是常有的事情’。因?yàn)檫@些工作流很難在第一次就被設(shè)置正確。”

Lewis 還贊揚(yáng)了團(tuán)隊(duì)成員 Ethan Perez 和 Douwe Kiela 的重要貢獻(xiàn)，兩人分別來(lái)自紐約大學(xué)和當(dāng)時(shí)的 Facebook AI 研究院。

這項(xiàng)在 NVIDIA GPU 集群上運(yùn)行并已完成的工作，展示了如何讓生成式 AI 模型更具權(quán)威性和可信度。此后，數(shù)百篇論文引用了這一研究成果，并在這一活躍的研究領(lǐng)域?qū)ο嚓P(guān)概念進(jìn)行了擴(kuò)展和延伸。

檢索增強(qiáng)生成如何工作

NVIDIA 技術(shù)簡(jiǎn)介（https://docs.nvidia.com/ai-enterprise/workflows-generative-ai/0.1.0/technical-brief.html）高度概括了 RAG 流程：

當(dāng)用戶向 LLM 提問(wèn)時(shí)，AI 模型會(huì)將查詢發(fā)送給另一個(gè)模型，后者會(huì)將查詢轉(zhuǎn)換成數(shù)字格式以便機(jī)器讀取。數(shù)字版本的查詢有時(shí)被稱為嵌入或向量。

圖 4：檢索增強(qiáng)生成將 LLM 與嵌入模型和向量數(shù)據(jù)庫(kù)相結(jié)合。

隨后，嵌入模型會(huì)將這些數(shù)值與可用知識(shí)庫(kù)的機(jī)器可讀索引中的向量進(jìn)行比較。當(dāng)發(fā)現(xiàn)存在一個(gè)或多個(gè)匹配項(xiàng)時(shí)，它會(huì)檢索相關(guān)數(shù)據(jù)，將其轉(zhuǎn)換為人類可讀的單詞并發(fā)送回 LLM。

最后，LLM 會(huì)將檢索到的單詞和它自己對(duì)查詢的響應(yīng)相結(jié)合，形成最終的答案并提交給用戶，其中可能會(huì)引用嵌入模型找到的來(lái)源。

始終使用最新的資源

在后臺(tái)，嵌入模型會(huì)不斷創(chuàng)建并更新機(jī)器可讀索引（有時(shí)被稱為向量數(shù)據(jù)庫(kù)），以獲得經(jīng)過(guò)更新的最新知識(shí)庫(kù)。

圖 5：LangChain 的示意圖從另一個(gè)角度描述了使用檢索流程的 LLM。

許多開(kāi)發(fā)者也發(fā)現(xiàn)，LangChain 這個(gè)開(kāi)源程序庫(kù)特別適合將 LLM、嵌入模型和知識(shí)庫(kù)串聯(lián)到一起。NVIDIA 在其檢索增強(qiáng)生成參考架構(gòu)中就是使用了 LangChain。

而在 LangChain 社群里，他們也提供了自己的 RAG 流程描述。（https://blog.langchain.dev/tutorial-chatgpt-over-your-data/）

展望未來(lái)，生成式 AI 的未來(lái)在于其創(chuàng)造性地串聯(lián)起各種 LLM 和知識(shí)庫(kù)，創(chuàng)造出各種新型助手，并將可以驗(yàn)證的權(quán)威結(jié)果提供給用戶。

也歡迎您訪問(wèn)NVIDIA LaunchPad（https://www.nvidia.com/en-us/launchpad/ai/generative-ai-knowledge-base-chatbot/）中的實(shí)驗(yàn)室，您可以通過(guò) AI 聊天機(jī)器人親身體驗(yàn)檢索增強(qiáng)生成。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國(guó)加州圣何塞會(huì)議中心舉行，線上大會(huì)也將同期開(kāi)放。點(diǎn)擊“閱讀原文”或掃描下方海報(bào)二維碼，立即注冊(cè) GTC 大會(huì)。