面對復雜多變的交通場景，基于學習的方法已成為了實現高級別自動駕駛系統的主流方案。然而，基于學習的自動駕駛系統仍面臨以下挑戰：

對復雜的規則和獎勵函數設計的需求使其在理解交通法規等高級信息上存在困難。

受限于數據量和采樣效率，處理罕見事件是其面臨的一大挑戰。

由于神經網絡的黑盒特性，現有基于學習的自動駕駛系統缺乏良好的可解釋性。

針對以上問題，我們提出將大語言模型（LLM）作為自動駕駛系統的決策核心，利用LLM像人一樣思考的能力，將人類常識和推理能力作為自動駕駛系統決策的指導。同時，我們開發了將LLM給出的高層決策轉化為具體駕駛行為的方法，將高層決策與底層控制器無縫結合。

在CVer微信公眾號后臺回復：MPC，可以下載本論文pdf，學起來！

LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving 論文：https://arxiv.org/abs/2310.03026 項目網站：https://sites.google.com/view/llm-mpc LanguageMPC：將大語言模型與模型預測控制無縫結合

LanguageMPC首次將LLM應用于駕駛場景，并設計了將文字形式高層決策轉化為可操作駕駛行為的方法。我們定量的證明了LanguageMPC在路口和環島等復雜交通場景中均優于現有基于學習和基于優化的自動駕駛系統。同時，我們還展示了LanguageMPC在應對多車協同控制、文字輔助駕駛等復雜任務時的強大性能。

LanguageMPC的技術核心在于以下兩點：

專用于駕駛場景的思維鏈框架。我們使用Langchain管理LLM，通過設計初始prompt和多種工具，指導LLM依次完成對周車的意圖判斷和注意力分配、判斷自車所處情景、給出駕駛動作指引等任務。我們將整個駕駛任務劃分為多個子任務，并重新設計了場景信息組織方式，通過確保信息的簡潔性來提升LLM的推理能力。

高層決策與模型預測控制銜接。我們設計了將文字形式的高層決策轉化為可操作的駕駛行為的方法。具體而言，我們根據LLM的選擇來重計算觀測矩陣，調整MPC的注意力分配；調整懲罰函數的參數矩陣，使用LLM給出的情景判斷指導MPC；將LLM的駕駛運動指引轉化為運動偏置，直接調整MPC的駕駛行為。

實驗結果

定量實驗

我們的方法在幾乎所有指標上都有明顯提升，并且顯著降低了碰撞幾率和總體Cost。

路口無保護左轉

在路口左轉時，LanguageMPC能根據交通規則讓行對向直行車輛。

路口直行和變道超車

路口直行時，LanguageMPC能遵守路口內不超車的規則，并在到達車道內后迅速超車。

多車聯合控制：窄路會車

LanguageMPC通過信息匯總和分別控制，實現了高效的多車聯合控制，完成窄路會車。

調控駕駛風格

LanguageMPC能根據文字指引，簡單直接的調控駕駛風格。

文字指導駕駛

LanguageMPC在文字指引下避開了維修路段。

LanguageMPC在關鍵指標上大大優于現有方法，并能處理復雜的真實世界駕駛場景，可在各種駕駛場景中實現與人類類似的性能，其推理能力和可解釋性有助于克服當前基于學習的駕駛輔助系統在適應性和透明度方面的局限性。