TaD：任務感知解碼技術（Task-aware Decoding，簡稱TaD），京東聯合清華大學針對大語言模型幻覺問題提出的一項技術，成果收錄于IJCAI2024。

RAG：檢索增強生成技術（Retrieval-augmented Generation，簡稱RAG），是業內解決LLM幻覺問題最有效的系統性方案。

1. 背景介紹

近來，以ChatGPT為代表的生成式大語言模型（Large Language Model，簡稱LLM）掀起了新一輪AI熱潮，并迅速席卷了整個社會的方方面面。得益于前所未有的模型規模、訓練數據，以及引入人類反饋的訓練新范式，LLM在一定程度上具備對人類意圖的理解和甄別能力，可實現生動逼真的類人對話互動，其回答的準確率、邏輯性、流暢度都已經無限接近人類水平。此外，LLM還出現了神奇的“智能涌現”現象，其產生的強大的邏輯推理、智能規劃等能力，已逐步應用到智能助理、輔助創作、科研啟發等領域。京東在諸多核心業務如AI搜索、智能客服、智能導購、創意聲稱、推薦/廣告、風控等場景下，均對LLM的落地應用進行了深入探索。這一舉措提升了業務效率，增強了用戶體驗。

盡管具備驚艷的類人對話能力，大語言模型的另外一面——不準確性，卻逐漸成為其大規模落地的制約和瓶頸。通俗地講，LLM生成不準確、誤導性或無意義的信息被稱為“幻覺”，也就是常說的“胡說八道”。當然也有學者，比如OpenAI的CEO Sam Altman，將LLM產生的“幻覺”視為“非凡的創造力”。但是在大多數場景下，模型提供正確回答的能力至關重要，因此幻覺常常被認為是一種缺陷；尤其是在一些對輸出內容準確性要求較高的場景下，比如醫療診斷、法律咨詢、工業制造、售后客服等，幻覺問題導致的后果往往是災難性的。

本文主要探索針對LLM幻覺問題的解決方案。

2. 相關調研

眾所周知，大語言模型的本質依然是語言模型（Language Model，簡稱LM），該模型可通過計算句子概率建模自然語言概率分布。具體而言，LM基于統計對大量語料進行分析，按順序預測下一個特定字/詞的概率。LLM的主要功能是根據輸入文本生成連貫且上下文恰當的回復，即生成與人類語言和寫作的模式結構極為一致的文本。注意到，LLM并不擅長真正理解或傳遞事實信息。故而其幻覺不可徹底消除。亞利桑那州立大學教授Subbarao Kambhampati認為：LLM所生成的全都是幻覺，只是有時幻覺碰巧和你的現實一致而已。新加坡國立大學計算學院的Ziwei Xu和Sanjay Jain等也認為LLM的幻覺無法完全消除[1]。

雖然幻覺問題無法徹底消除，但依然可以進行優化和緩解，業內也有不少相關的探索。有研究[2]總結了LLM產生幻覺的三大來源：數據、訓練和推理，并給出了對應的緩解策略。

2.1 數據引入的幻覺

“病從口入”，訓練數據是LLM的糧食，數據缺陷是使其致幻的一大原因。數據缺陷既包括數據錯誤、缺失、片面、過期等，也包括由于領域數據不足所導致的模型所捕獲的事實知識利用率較低等問題。以下是針對訓練數據類幻覺的一些技術方案：

數據清洗

針對數據相關的幻覺，最直接的方法就是收集更多高質量的事實數據，并進行數據清理。訓練數據量越大、質量越高，最終訓練得到的LLM出現幻覺的可能性就可能越小[3]。但是，訓練數據總有一定的覆蓋范圍和時間邊界，不可避免地形成知識邊界，單純從訓練數據角度解決幻覺問題，并不是一個高性價比的方案。

針對“知識邊界”問題，有兩種主流方案：一種是知識編輯，即直接編輯模型參數彌合知識鴻溝。另一種是檢索增強生成（Retrieval-augmented Generation，簡稱RAG），保持模型參數不變，引入第三方獨立的知識庫。

知識編輯

知識編輯有兩種方法：1）編輯模型參數的方法可以細粒度地調整模型的效果，但難以實現知識間泛化能力，且不合理的模型編輯可能會導致模型產生有害或不適當的輸出[4]；2）外部干預的方法（不編輯模型參數）對大模型通用能力影響較小，但需要引入一個單獨的模塊，且需要額外的資源訓練這個模塊。

如何保持原始LLM能力不受影響的前提下，實現知識的有效更新，是LLM研究中的重要挑戰[2]。鑒于知識編輯技術會給用戶帶來潛在風險，無論學術界還是業界都建議使用包含明確知識的方法，比如RAG。

檢索增強生成（RAG）

RAG引入信息檢索過程，通過第三方數據庫中檢索相關信息來增強LLM的生成過程，從而提高準確性和魯棒性，降低幻覺。由于接入外部實時動態數據，RAG在理論上沒有知識邊界的限制，且無需頻繁進行LLM的訓練，故已經成為LLM行業落地最佳實踐方案。下圖1為RAG的一個標準實現方案[11]，用戶的Query首先會經由信息檢索模塊處理并召回相關文檔；隨后RAG方法將Prompt、用戶query和召回文檔一起輸入LLM，最終由LLM生成最終的答案。

圖1. RAG架構圖

RAG借助信息檢索，引入第三方事實知識，大大緩解了單純依靠LLM生成答案而產生的幻覺，但由LLM生成的最終輸出仍然有較大概率產生幻覺。因此，緩解LLM本身的幻覺，對整個RAG意義重大。

2.2 模型訓練引入的幻覺

LLM的整個訓練過程，都可能會引入幻覺。首先，LLM通常是transformer結構的單向語言模型，通過自回歸的方式建模目標，天然存在單向表示不足、注意力缺陷[6]、曝光偏差[7]等問題；其次，在文本對齊階段，無論是監督微調（SFT）還是人類反饋的強化學習（RLHF），都有可能出現有標注數據超出LLM知識邊界、或者與LLM內在知識不一致的問題；這一系列對齊問題很可能放大LLM本身的幻覺風險[8]。

對于訓練過程引入的幻覺，可以通過優化模型結構、注意力機制、訓練目標、改進偏好模型等一系列手段進行緩解。但這些技術都缺乏通用性，難以在現有的LLM上進行遷移，實用性不高。

2.3 推理過程引入的幻覺

推理過程引入的幻覺，一方面源自于解碼策略的抽樣隨機性，它與幻覺風險的增加呈正相關，尤其是采樣溫度升高導致低頻token被采樣的概率提升，進一步加劇了幻覺風險[9]。另一方面，注意力缺陷如上下文注意力不足、Softmax瓶頸導致的不完美解碼都會引入幻覺風險。

層對比解碼（DoLa）

針對推理過程解碼策略存在的缺陷，一項具有代表性且較為有效的解決方案是層對比解碼（Decoding by Contrasting Layers, 簡稱DoLa）[9]。模型可解釋性研究發現，在基于Transformer的語言模型中，下層transformer編碼“低級”信息（詞性、語法），而上層中包含更加“高級”的信息（事實知識）[10]。DoLa主要通過強調較上層中的知識相對于下層中的知識的“進步”，減少語言模型的幻覺。具體地，DoLa通過計算上層與下層之間的logits差，獲得輸出下一個詞的概率。這種對比解碼方法可放大LLM中的事實知識，從而減少幻覺。

圖2. DoLa示意圖

上圖2是DoLa的一個簡單直觀的示例。“Seattle”在所有層上都保持著很高的概率，可能僅僅因為它是一個從語法角度上講比較合理的答案。當上層通過層對比解碼注入更多的事實知識后，正確答案“Olympia”的概率會增加。可見，層對比解碼（DoLa）技術可以揭示真正的答案，更好地解碼出LLM中的事實知識，而無需檢索外部知識或進行額外微調。此外，DoLa還有動態層選擇策略，保證最上層和中間層的輸出差別盡可能大。

可見，DoLa的核心思想是淡化下層語言/語法知識，盡可能放大事實性知識，但這可能導致生成內容存在語法問題；在實驗中還發現DoLa會傾向于生成重復的句子，尤其是長上下文推理場景。此外，DoLa不適用有監督微調，限制了LLM的微調優化。

3. 技術突破

通過以上分析，RAG無疑是治療LLM幻覺的一副妙方，它如同LLM的一個強大的外掛，讓其在處理事實性問題時如虎添翼。但RAG的最終輸出仍然由LLM生成，緩解LLM本身的幻覺也極為重要，而目前業內針對LLM本身幻覺的技術方案存在成本高、實用落地難、易引入潛在風險等問題。

鑒于此，京東零售聯合清華大學進行相關探索，提出任務感知解碼（Task-aware Decoding，簡稱TaD）技術[12]（成果收錄于IJCAI2024），可即插即用地應用到任何LLM上，通過對比有監督微調前后的輸出，緩解LLM本身的幻覺。該方法通用性強，在多種不同LLM結構、微調方法、下游任務和數據集上均有效，具有廣泛的適用場景。

任務感知解碼（TaD）技術

關于LLM知識獲取機制的一些研究表明，LLM的輸出并不能總是準確反映它們所擁有的知識，即使一個模型輸出錯誤，它仍然可能擁有正確的知識[13]。此項工作主要探索LLM在保留預訓練學到的公共知識的同時，如何更好地利用微調過程中習得的下游任務特定領域知識，進而提升其在具體任務中的效果，緩解LLM幻覺。

TaD的基本原理如圖3所示。微調前LLM和微調后LLM的輸出詞均為“engage”，但深入探究不難發現其相應的預測概率分布發生了明顯的改變，這反映了LLM在微調期間試圖將其固有知識盡可能地適應下游任務的特定領域知識。具體而言，經過微調，更加符合用戶輸入要求（“專業的”）的詞“catalyze”的預測概率明顯增加，而更通用的反映預訓練過程習得的知識卻不能更好滿足下游任務用戶需求的詞“engage”的預測概率有所降低。TaD巧妙利用微調后LLM與微調前LLM的輸出概率分布的差異來構建知識向量，得到更貼切的輸出詞“catalyze”，進而增強LLM的輸出質量，使其更符合下游任務偏好，改善幻覺。

圖3. TaD原理圖

知識向量

為了直觀理解LLM在微調階段學習到的特定領域知識，我們引入知識向量的概念，具體如圖4所示。微調前LLM的輸出條件概率分布為pθ，微調后LLM的輸出條件概率分布為 p?。知識向量反應了微調前后LLM輸出詞的條件概率分布變化，也代表著LLM的能力從公共知識到下游特定領域知識的適應。基于TaD技術構建的知識向量可強化LLM微調過程中習得的領域特定知識，進一步改善LLM幻覺。

圖4. 知識向量

特別地，當微調數據較少時，LLM的輸出條件概率分布遠遠達不到最終訓練目標。在此情形下，TaD技術增強后的知識向量可以加強知識對下游任務的適應，在訓練數據稀缺場景下帶來更顯著的效果提升。

實驗結果

1）針對不同的LLM，采用LoRA、AdapterP等方式、在不同的任務上進行微調，實驗結果如下表1和表2所示。注意到，TaD技術均取得了明顯的正向效果提升。

表1. Multiple Choices和CBQA任務結果

表2. 更具挑戰性的推理任務結果

2）相比較其他對比解碼技術，TaD技術在絕大部分場景下效果占優，具體如表3所示。需要特別強調的一點是，其他技術可能會導致LLM效果下降，TaD未表現上述風險。

表3. 不同對比解碼技術結果

3）針對不同比例的訓練樣本進行實驗，發現一個非常有趣的結果：訓練樣本越少，TaD技術帶來的收益越大，具體如表4所示。因此，即使在有限的訓練數據下，TaD技術也可以將LLM引導到正確的方向。由此可見，TaD技術能夠在一定程度上突破訓練數據有限情形下LLM的效果限制。

表4. 不同數據比例下的結果

可見，TaD可以即插即用，適用于不同LLM、不同微調方法、不同下游任務，突破了訓練數據有限的瓶頸，是一項實用且易用的改善LLM自身幻覺的技術。

4. 落地案例

自從以ChatGPT為代表的LLM誕生之后，針對其應用的探索一直如火如荼，然而其幻覺已然成為限制落地的最大缺陷。綜上分析，目前檢索增強生成（RAG）+低幻覺的LLM是緩解LLM幻覺的最佳組合療法。在京東通用知識問答系統的構建中，我們通過TaD技術實現低幻覺的LLM，系統層面基于RAG注入自有事實性知識，具體方案如圖5所示，最大程度緩解了LLM的生成幻覺 。

圖5. TaD+RAG的知識問答系統

目前知識問答系統已經接入京東6000+業務場景，為用戶提供準確、高效、便捷的知識性問答，大大節省了運營、運維等人力開銷。

5. 思考與展望

如果LLM依然按照語言模型的模式發展，那么其幻覺就無法徹底消除。目前業內還沒有一種超脫語言模型范疇，且可以高效完成自然語言相關的任務新的模型結構。因此，緩解LLM的生成幻覺，仍然是未來一段時期的探索路徑。以下是我們在系統、知識、LLM三個層面的一些簡單的思考，希望能夠拋磚引玉。

系統層面——RAG+Agent+More的復雜系統

RAG技術確實在一些常見的自然語言處理任務中發揮出色的作用，尤其是針對簡單問題和小型文檔集。但是遇到一些復雜的問題和大型文檔集時，RAG技術就顯得力不從心。近期有一些研究認為RAG+Agent才是未來的趨勢[14]，Agent能夠輔助理解并規劃復雜的任務。我們認為可能未來的系統可能不僅僅局限于Agent和RAG，可能還要需要多種多樣的內外工具調用、長短期記憶模塊、自我學習模塊......

知識層面——與LLM深度融合的注入方式

任何一個深度模型都會存在知識邊界的問題，LLM也不例外。RAG通過檢索的方式召回外部知識，以Prompt的形式送入LLM進行最終的理解和生成，一定程度上緩解LLM知識邊界問題。但是這種知識注入的方式和LLM生成的過程是相對割裂的。即便已經召回了正確的知識，LLM也可能因為本身知識邊界問題生成錯誤的回答。因此探索如何實現外部知識和LLM推理的深度融合，或許是未來的一個重要的課題。

LLM層面——低幻覺LLM

LLM本身的幻覺是問題的根本和瓶頸，我們認為隨著LLM更廣泛的應用，類似TaD可緩解LLM本身幻覺的探索一定會成為業內的更大的研究熱點。

6. 結語

緩解LLM幻覺一定是個復雜的系統問題，我們可以綜合不同的技術方案、從多個層級協同去降低LLM的幻覺。雖然現有方案無法保證從根本上解決幻覺，但隨著不斷探索，我們堅信業內終將找到限制LLM幻覺的更有效的方案，也期待屆時LLM相關應用的再次爆發式增長。

京東零售一直走在AI技術探索的前沿，隨著公司在AI領域的不斷投入和持續深耕，我們相信京東必將產出更多先進實用的技術成果，為行業乃至整個社會帶來深遠持久的影響。

【參考文獻】

[1] Hallucination is Inevitable: An Innate Limitation of Large Language Models

[2] A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions

[3] Unveiling the Causes of LLM Hallucination and Overcoming LLM Hallucination

[4] Editing Large Language Models: Problems, Methods, and Opportunities

[5] ACL 2023 Tutorial: Retrieval-based Language Models and Applications

[6] Theoretical Limitations of Self-Attention in Neural Sequence Models

[7] Sequence level training with recurrent neural networks.

[8] Discovering language model behaviors with model-written evaluations

[9] Dola: Decoding by contrasting layers improves factuality in large language models

[10] Bert rediscovers the classical nlp pipeline

[11] Retrieval-Augmented Generation for Large Language Models: A Survey

[12] TaD: A Plug-and-Play Task-Aware Decoding Method toBetter Adapt LLM on Downstream Tasks

[13] Inference-time intervention: Eliciting truthful answers from a language model

[14] Beyond RAG: Building Advanced Context-Augmented LLM Applications

審核編輯 黃宇