后 AIGC 時代，AI Agent 無疑是一個新沸點。AI Agent（人工智能體）是一種能夠感知環境、進行決策和執行動作的智能實體。不同于傳統的人工智能，AI Agent 具備通過獨立思考、調用工具去逐步完成給定目標的能力。

AI Agent 和大模型的區別在于，大模型與人類之間的交互是基于 Prompt 實現的，用戶 Prompt 是否清晰明確會影響大模型回答的效果。而 AI Agent 的工作僅需給定一個目標，它就能夠針對目標獨立思考并做出行動。

從原理上說，AI Agent 的核心驅動力是大模型，在此基礎上增加規劃（Planning）、記憶（Memory）和工具使用（Tool Use）三個關鍵組件。那么，這種 AI Agent 到底是什么？該如何定義？AI Agent 的發展現狀和技術難點是什么？將帶來哪些機遇和變革？帶著這些問題，我們邀請到了美國五百強公司高級數據科學家王元，與他一起探討 AI Agent 的發展現狀和技術難點。

以下為訪談實錄，經編輯。

InfoQ：大家晚上好，歡迎來到 InfoQ《極客有約》的直播間。在本期直播中，我們有幸邀請到了美國 500 強公司的高級數據科學家，王元老師，為我們分享他的專業見解。今天的直播主題聚焦于解析 AI agent 的發展現狀以及一些基礎難點?，F在，請讓我們熱烈歡迎王元老師，讓他為大家做一下自我介紹。

王元：大家好，我是王元，可能名字在一起是個“玩”字，所以對于流行的技術和項目，我一直充滿了好奇心，探尋它們的原因有一部分是因為我的工作需要，另一部分則是源于我個人對這個領域的熱愛。我已經從事人工智能領域將近 10 年了。近些年，AI 技術的迭代速度非?？?，基本上每 3 到 5 年就經歷一次全新的學習過程。我很高興收到 QCon 主辦方的邀請，能夠在這個平臺上與大家一同學習和交流。希望通過今天的分享，能夠為大家帶來一些有趣的見解。

InfoQ：王元老師也是我們QCon 大會上海站的特邀講師，大家可以關注大會官網了解詳情。我了解到王老師您您一直從事與 AI 相關的工作，想請問下您是如何看待最近兩年 AIGC 引發的技術變革的？

王元：首先要強調的是技術的變革非常大，特別是從去年到今年，大約一年到一年半的時間。從 AIGC 的角度來看，我認為可能存在兩個重要的方向。首先是圖生成和文生成，這涉及到從生成式模型如 VAE 一直發展到 GAN，現在又到了擴散模型，這個迭代速度非?？?。

有一個具有歷史意義的事件是在 2022 年 8 月，使用擴散模型創作的《太空歌劇院》，這件作品在美國科羅納州博覽會上獲得了數字藝術創作一等獎。這是第一次 AI 創作達到如此專業水平。這展示了在圖生成方向的擴展模型的潛力。

另一方面，從我們處理大語言模型的角度來看，可以想象從 2018 年開始，隨著 Bert 模型和 Transformer 架構的出現，這個領域變得一發不可收拾。今年是一個巨大的改變，GPT-3.5 和 GPT-4 的出現使以 OpenAI 為代表的這種架構的模型一夜之間風靡全球。如果你曾使用過 OpenAI 的 ChatGPT 產品，你應該能夠親身感受到其智能水平的逐漸提高。這是一個巨大的變化，因為從以前的 Bert 模型這種雙向的架構，到現在的 GPT 系列完全是解碼器結構，而且越來越出色。從模型結構的角度來看，這也是一個巨大的變化。

除了這兩個核心方向上的算法層面的變革，還有一些周邊技術的變化，這些變化也是由大模型算法引起的。例如，向量數據庫可能在大模型時代之前并不受重視，但現在對于從事數據庫工作的人來說，向量數據庫公司的融資額在今年顯著增加。這表明 AIGC 帶來的算法變革也引發了周邊技術的演進，帶來了許多新的機會。因此，我認為 AIGC 可能比我們想象的通用人工智能到來得更快。以前我們可能想象需要 30 年，但現在也許只需要十年，我們就能看到一些顯著變化。

AI Agent 到底是什么？

InfoQ：向量數據庫今年確實非常受關注，就連很多傳統的數據庫也增加了向量功能。那回到我們今天的話題 AI Agent，您能先跟我們聊聊到底什么是 AI Agent 嗎？它的定義是什么？

王元：AI Agent 這項技術可以說是建立在大語言模型之上的一種全新技術。我們擁有了大語言模型之后，大家發現除了微調之外，還可以進行所謂的上下文學習。于是，引入了一個新的概念，即在處理問題時的“提示工程”。AI Agent 將這個概念更抽象地引入了一個新的維度。在學術前沿，通常會認為 Agent 是一個可以感知環境并能夠基于當前場景做出決策的“智能體”。它是完全自動的，但我更愿意將其稱為“agent framework”，即一個框架。這個框架是抽象的，能夠根據具體的場景做出決策，然后執行，之后能夠保持自主狀態。

實際上，它將大語言模型從一個無狀態的 API 轉變為一個具有狀態的工具。我舉一個通俗易懂的例子，Agent 的本質是教大模型一些思考方法論，就好像你已經有了知識，但可能缺乏思考的方法。因此，Agent 通過一個框架傳授方法論，這個框架具有一些具體模塊，支持整個結構的運行。比如我們在初中、高中面臨考試時需要在規定的時間內盡量回答問題，取得高分是我們的目標。在這里，大語言模型相當于提供具體問題的真實知識。

例如，當你遇到選擇題時，讀完題目后，你確實能夠理解問題是什么，然后根據你的知識回答問題。這種思維方式可以被認為是大語言模型的正向思維。然而，在考試中我們可能會遇到一些復雜的問題，這些問題可能不容易立即解決。如果我們只有一種正向解題的思維方式，可能會陷入困境。這時，如果我們掌握了一些方法論，比如使用排除法，就能采用一種不同的思維方式，而非只依賴正向解題。通過排除法，我們或許能夠確定答案。這就是方法論的一種體現。另外，當面臨困難題時，我們可能會選擇暫時跳過，轉而解答后面的題目。這同樣是一種方法論的應用，而這在正向思維中是不常見的。將這些思維方式以某種方式交給大語言模型后，它就擁有了這種思維的方法論。因為有了這些方法論，它在解決具體問題時可能比正向推導更高效，可以處理更廣泛的問題。

InfoQ：這是否表明 AI Agent 更接近通用人工智能呢？

AI Agent 技術難點和應用場景

王元：可以這么理解。AI Agent 將大語言模型提升到一個更高的水平，使其更接近我們所謂的通用人工智能的目標方向。

InfoQ：AI Agent 技術難點有哪些？

王元：AI Agent 作為一項相對新的技術，正在迅速發展。估計今年到目前為止，AI Agent 相關的論文可能已經超過 100 篇。盡管技術仍在快速發展，但目前在學術界和行業界已經形成了一個共識，即該技術主要包括四個基本模塊。

第一個基本模塊是角色設定。這意味著 AI Agent 希望在執行任務時，需要像人一樣關注相關的背景信息和任務的要求。這可以被視為一種角色設定的數據組。

第二個模塊是內存，用于獲取信息，分為短期和長期內存。短期內存類似于模型的上下文，而長期內存則可能是通過向量數據庫等外部來源獲取的信息。

第三個模塊是規劃，它類似于人在解決問題時將其分解為子問題并逐個解決的方法。這可以被理解為一個專門的規劃模塊，用于將問題分解成可解決的子問題或子目標。

最后一個模塊是執行，涉及到與環境的交互。這可以包括調用 API、調用其他模塊或執行具體的動作，具體取決于任務的性質。

AI Agent 作為基于大語言模型的技術，面臨一些難點。首要難點是底層技術，因為它繼承了大語言模型的一些問題，比如“幻覺”問題。此外，對于底層基礎模塊的質量和性能，包括調用圖像識別等模型，也會直接影響到上層建筑的性能。其次，Agnet 各個模塊之間的交互和運行可能會產生許多中間結果和狀態，這也帶來了一些技術挑戰。例如，處理中間結果的魯棒性是一個問題，下層模塊的性能和質量會直接影響上層模塊的執行。最后，從應用層角度看，雖然 AI Agent 的能力得到了提升，但這也伴隨著一些代價，比如用戶與大語言模型進行多次交互可能引入時間和成本的問題等。

InfoQ：目前，AI Agent 的應用場景普遍集中在哪里，為什么是這些場景？

王元：關于 AI Agent 的發展，我認為可以從兩個場景來考慮。首先，如果我們關注用戶場景，我們會發現有一些場景是具有交互性質的。例如，智能機器人和問答式交互，這與 AI Agent 的迭代性質天生匹配。在這種情境下，對于一些簡單的任務，比如購買火車票或解決企業內部 IT 服務的問題，任務型機器人的應用效果較好。這種機器人專注于解決用戶的具體任務，其場景相對較為集中。在這種簡單場景下，使用 AI Agent 是明智的選擇，并且相對容易維護。

另一種場景是用戶感覺是線性執行的，例如文檔智能類的應用。比如，一家支付公司要求用戶在開戶時提交身份證明，這是一個局限性的任務，不需要與用戶進行過多的交互。在這種場景下，前臺是單向的，但后臺可以利用 AI Agent 更好地執行，這種情況相較于原有的流水線，AI Agnet 更為高效。因為在 AI Agent 中，有一些特定的分類方法，比如來自 Multipath Agent 的應用。Multipath Agent 采用多通道的方式，可以在多個階段或通道上執行操作，而不僅僅是在單一樣本上執行。這種多通道的設計有助于提高性能，因為它允許 Agent 在處理任務時進行更深入和全面的分析，通過多個步驟逐漸提煉信息，從而更有效地完成復雜的任務。

總的來說，對于這些場景，如果不考慮成本，特別是對延時要求相對較低的情況，AI Agent 是可以應用的。然而，在實際商業上應用時可能由于其成本較高，需要企業權衡利弊，綜合考慮技術優勢和商業投入產出比，確保使用 AI Agent 是合理而有吸引力的選擇。

InfoQ：您提到 AI Agent 是一個相對較新的概念，對于如何評估這項技術的好壞，業內是否存在用于判斷 AI Agent 效果的標準呢？

王元：當評估 AI Agent 的效果時，可以從多個角度考慮，業界通常采用以下幾種方法進行評測。每個公司或研究機構可能使用的方法略有不同，但總體來說有以下幾個方向。

1. 主觀評估：在沒有數據和人工標注的情況下，初始階段可能需要進行主觀評估。這包括請專家對 AI 的回答進行人工評分，或者將問題設計成圖靈測試，讓專家分辨 AI 生成的答案和人類的答案。這種評估方法以人類能力作為基線，但由于涉及人工評分，成本相對較高。

2. 端到端任務評估：如果有一定的數據，可以基于端到端任務的指標來評估 AI Agent 的性能。例如，在文檔智能領域，可以關注 OCR 提取的準確率等具體任務指標。這種方法側重于任務的具體要求，更注重 AI Agent 在特定領域的表現。

3. 通用數據集評估：目前常用的是一些通用數據集，如 ALFWorld、HotPotQA 和 HumanEval 等，用于測試 AI Agent 在決策、問答和編程等多個方向的性能。這種方法強調綜合性能，但可能無法完全覆蓋所有應用場景。

4. Benchmark 形式數據集評估：新興的評估方法包括一些綜合多個領域的 Benchmark 形式的數據集，如清華發布的 AgentBench 等。這些數據集跨足多個領域，對 AI Agent 進行全面評測，使評估更具廣度。

5. 工程層面評估：從工程層面考慮，可以評估系統的穩健性，包括平均報錯率、與底層 API 交互的次數等。這種評估方法關注 AI Agent 的工程實現，有助于了解系統的魯棒性和效率。

6. 系統層面評估：最終還需要考慮整個系統的性能，包括端到端的運行效率、時延、成本等。這可以通過評估相同任務下不同 AI Agent 的迭代次數、交互次數和整體耗時來實現。

綜合而言，對 AI Agent 的評估可以從主觀和客觀兩個方面進行，包括人工評估、數據指標評估、Benchmark 形式的全面評估以及工程和系統層面的性能評估。每個方向都有其獨特的優勢和適用場景，綜合考慮可以更全面地了解 AI Agent 的效果。

InfoQ：目前業內一些觀點認為，AI Agent 代表了生成式 AI 下一代的新技術棧。您對這一說法的理解是什么？您是否同意這個觀點？

王元：我認為，隨著大模型的興起，確實涌現了一些新的技術棧，而 AI Agent 是其中一個關鍵的技術棧，盡管并非唯一的。要想成功構建下一代技術，僅僅擁有 AI Agent 可能是不夠的，因為它會受到許多周邊技術棧的直接或間接影響，從而影響整個系統的性能。

我認為 AI Agent 最顯著的特征之一是為群體智能提供了一種相對統一的機制。在人類社會中，一家公司可能擁有工程師、產品經理、財務、管理人員和法規專家等各種不同的角色，而每個角色都是不可或缺的。在 AI 領域，這種多樣性可以通過設定不同的 AI Agent 角色來體現，它們可以進行交互，執行各種任務，實現群體智能。從這個角度來看，AI Agent 提供了一個橋梁。以前，想象如何實現群體智能可能沒有一個較好的方式，但現在有了 AI Agent 的框架，似乎在群體智能方面提供了更多的可能性?；?AI Agent 的思維方式和框架，我們可以更好地構建，這在實踐和系統架構上都提供了許多手段。

AI Agent 未來趨勢展望

InfoQ：根據您的觀察，哪些行業目前在 AI Agent 商業化落地的大模型？

王元：關于實際應用方面，我之前提到了一些簡單場景的交互型任務型機器人。以前在智能客服領域，我們可能會手寫有線狀態機與用戶進行交互，例如詢問用戶購買火車票的相關信息。在這樣的典型場景中，用 AI Agent 替代以前的技術是可行的。

另一方面，對于一些線性場景，與用戶沒有直接交互但在背后有一些交互的情況，比如文檔智能中的分類，我們也嘗試使用大語言模型進行分類，然后結合 Agent 進行投票，以提高性能。

然而，在一些復雜場景，比如金融領域，想要通過 AI Agent 完全執行用戶開戶等業務流程可能受到一定限制。現在的技術可能只能做到輔助，而無法完全實現自動執行，盡管這樣的應用在吸引力上有優勢，因為減少了人的介入，但技術目前可能仍然無法做到完全的自動執行。

最后，成本也是一個考慮因素。目前，從個人角度看，AI 技術的成本可能仍然相對較高。

InfoQ：隨著大模型多模態能力的提升，您認為多模態會為 Agent 帶來什么？

王元：多模態技術現在看來是一個不可避免的趨勢。國內外都在積極研究多模態技術。從邏輯分析來看，當大語言模型底層的操作系統能力提升時，AI Agent 的能力也會相應提升。具體來說，多模態的原生大模型有幾個關鍵點。

首先，如果現有原生的多模態大模型，AI Agent 內部執行多模態任務的復雜性將指數級下降，這意味著它的交互減少，出錯的概率也會顯著降低。原生大模型直接可以進行圖像識別，而不需要調用單獨的模型并將中間結果轉換為文字，然后再讓大模型能夠理解其含義。

其次，從成本的角度來看，原生多模態大模型可以降低交互的繁雜性，從而降低了成本。盡管調用的多模態大模型可能是開源的，但開源模型并不代表沒有成本。企業作為一個要托管多模型的實體，需要去管理這些模型的版本、生命周期等，這也是需要投入資金的。因此，擁有原生多模態大模型可以將管理多個模型的復雜性轉變為管理一個模型，從而大幅降低運營成本。

InfoQ：AI Agent 的倫理和隱私問題如何解決？我們應該如何規范和引導 AI Agent 的發展？

王元：我們看到行業的一些領軍研究機構和研究人員，如深度學習領域的教父——Geoffrey Hinton 和楊立昆等，對 AI 的深度學習倫理問題進行了深入思考。在 AI Agent 的語境中，我認為這一問題變得更為重要。因為 AI Agent 賦予了一種基于回歸的大模型方法論，其思維層次實際上得到了提升。隨著思維層次的提高，我認為 AI 可能會產生自我意識等問題。在這方面，通過向 AI Agent 傳達一些方法論，我們或許可以慢慢引導它的行為。

在引入 AI Agent 之后，我認為安全問題可能變得更加緊迫。因為 AI Agent 不僅僅是一個機器，它往往被賦予一些角色，這些角色能力需要監控。為了讓 AI Agent 表現得更好，我們往往需要賦予它創建、執行和解決子任務的權限。這也是一個復雜的問題，因為在給定宏觀任務后，AI Agent 可能在完全自主的情況下創建許多子任務，而這些子任務可能與宏觀任務或指導發生沖突，難以監測。

在倫理方面，有了 AI Agent 之后，我們必須思考的一個問題是如何處理權限問題。給予 AI Agent 足夠的權限使其更加智能，但這也帶來了監測和控制的難題，這也是深度學習教父們所強調的問題。而在 AI Agent 這個層面上，這一問題可能變得更加復雜。雖然我對這個問題尚未有確切的解決方案，但我認為這是一個需要深入思考的事情。

InfoQ：未來，AI Agent 的發展趨勢和前景是什么？您看好 AI Agent 未來的發展嗎？您認為多久我們會迎來 AI Agent 的大規模落地？

王元：我認為 AI Agent 未來的發展有幾個前提條件。首先，如果底層的大語言模型在多模態方面取得顯著進展，包括視覺和音頻多模態，那么將這些技術應用于 AI Agent 會顯著提升其性能。其次，如果我們將這些技術應用于機器人環境，由于機器人能夠直接影響物理世界，這可能會帶來巨大的潛力。

我個人對這項技術的前景感到樂觀，我認為在未來 3 到 5 年內，我們可能會看到一個相對智能、具備方法論的 AI 體。當然，隨著其變得越來越智能，關于 AI 監管、倫理和安全方面的討論聲音可能會不斷增加。我認為這些問題可能會與大語言大模型的監管問題緊密相連，因為 AI Agent 畢竟是大語言模型的一個衍生和集成，監管方面可能需要在相同的程度上進行考慮。

InfoQ：對于想要進入這個領域的公司或個人來說，需要了解哪些相關知識？您有什么意見給到這些人嗎？

王元：技術的發展變得非常迅速。我還清楚記得 2018 年，NLP 領域的 Bert 模型發布，被認為是一個新的高峰。然而，到了 2022 年底和 2023 年，GPT 系列模型又創造了一個新的方向或者說一個分支。

我個人認為，無論是從事相關技術的老手還是新進者，每隔 3 到 5 年都會經歷一次重大的重新學習過程。學習能力可能是最為寶貴的技能之一。具體而言，我建議關注一些行業中具有影響力的論壇，比如 QCon。這些論壇每年都會帶給聽眾一些新的知識點，因為在行業內，每個同行都可能接觸到一些新的技術點。通過這種大會的交流，這些新知識可以傳播給整個行業，提供一個非常好的學習機會。

另外，歡迎大家參加我在 12 月份的 QCon 上的演講。在演講中，我將不僅僅討論 AI Agent，還會探討新一代所謂的 AI 2.0 技術，以及涉及的周邊技術棧。對于進入這個行業的人，我的建議是要多讀論文，因為論文代表著行業最新的研究方向?？赡苊恐芑蛎刻扉喿x最新的論文，至少了解一下行業內大牛們在研究什么方向，這是一個非常好的實踐。

InfoQ：我看到有觀眾提問：“現在已經在做大模型 +RPA 的公司已經在做 Agent 方面了，這類 RPA 公司會走在前面嗎？”請王老師說說您的看法。

王元：我認為結合大型模型和 AI Agent，在 RPA 應用方面具有巨大的前景。如果目前的大型模型能夠在多模態方面取得更強的表現，那么在 RPA 領域將會更具競爭優勢。