NeurIPS 2023 | AI Agents先行者CAMEL：首個基于大模型的多智能體框架
AI Agents 是當下大模型領域備受關注的話題，用戶可以引入多個扮演不同角色的 LLM Agents 參與到實際的任務中，Agents 之間會進行競爭和協作等多種形式的動態交互，進而產生驚人的群體智能效果。本文介紹了來自 KAUST 研究團隊的大模型心智交互 CAMEL 框架（“駱駝”），CAMEL 框架是最早基于 ChatGPT 的 autonomous agents 知名項目，目前已被頂級人工智能會議 NeurIPS 2023 錄用。
論文題目：
CAMEL: Communicative Agents for “Mind” Exploration of Large Scale Language Model Society論文鏈接：https://ghli.org/camel.pdf代碼鏈接：
https://github.com/camel-ai/camel項目主頁：https://www.camel-ai.org/“什么神奇的技巧讓我們變得智能？竅門就是沒有竅門。智慧的力量源于我們巨大的多樣性，而不是任何單一的、完美的原則。”
——人工智能先驅 馬文·明斯基（Marvin Minsky）[1]
目前來看，在機器通向高級智能的道路上，以 ChatGPT 為代表的大模型（LLMs）應該是必須經過的里程碑之一，它們以聊天對話的人機交互方式在多個領域的復雜任務解決方面取得了非常耀眼的成就。
隨著 LLMs 的發展，AI Agents（AI 智能體）之間的交互框架也逐漸興起，尤其是在一些復雜的專業領域，以角色扮演等模式預置的智能體完全有能力代替人類用戶在任務中扮演的角色，同時，智能體之間通過以協作和競爭形式的動態交互往往能夠帶來意想不到的效果，這就是被 OpenAI 人工智能專家 Andrej Karpathy 等人看作是“通向 AGI 最重要的前沿研究方向”的 AI Agents。該領域發展的時間線如下 [2]：- “CAMEL”（駱駝：大模型心智交互框架）- 發布于 2023.3.21
- “AutoGPT” - 發布于 2023.3.30
- “BabyGPT” - 發布于 2023.4.3
- “Westworld” simulation（斯坦福西部世界小鎮） — 發布于 2023.4.7
作為最早基于 ChatGPT 的 autonomous agents 知名項目，CAMEL 重點探索了一種稱為角色扮演（role-playing）的新型合作代理框架，該框架可以有效緩解智能體對話過程中出現的錯誤現象，從而有效引導智能體完成各種復雜的任務，人類用戶只需要輸入一個初步的想法就可以啟動整個過程。目前，CAMEL 已經被國際人工智能頂級會議 NeurIPS 2023 錄用。
CAMEL框架
下圖展示了 CAMEL 中的 role-playing 框架，人類用戶需要首先制定一個想要實現的想法或目標，例如：開發一個用于股票市場的交易機器人。這項任務涉及的角色是 AI 助理智能體（使其扮演 Python 程序員角色）和 AI 用戶智能體（使其扮演股票交易員角色）。
作者首先為 CAMEL 設置了一個任務細化器（Task Specifier），該細化器會根據輸入的想法來制定一個較為詳細的實現步驟，隨后 AI 助理智能體（AI Assistant）和 AI 用戶智能體（AI User）通過聊天的方式來進行協作通信，各自一步步完成指定的任務。
其中協作通信通過系統級的消息傳遞機制來實現，令為傳遞給 AI 助理智能體的系統消息，為傳遞給 AI 用戶智能體的系統消息。隨后為 AI 助理智能體和 AI 用戶智能體分別實例化為兩個 ChatGPT 模型和，相應得到 AI 助理智能體和 AI 用戶智能體。角色分配完成后，AI 助理智能體和 AI 用戶智能體會按照指令跟隨的方式協作完成任務，令為時間時刻獲得的用戶指令消息，為 AI 助理智能體給出的解決方案，因而時刻得到的對話消息集為：
CAMEL使用示例
2.1 協作角色扮演（cooperate role-playing）
CAMEL 內置的協作式 role-playing 框架可以在人類用戶不具備專業知識的情況下，通過 Agents 之間的協作方式完成復雜任務，下圖展示了 CAMEL 開發股票市場交易機器人的例子，其中 AI 助理智能體的扮演的角色是一名 Python 程序員，而 AI 用戶智能體扮演的角色為一名股票交易員。
在 role-playing 框架中，AI 智能體都具有特定領域的專業知識，此時我們只需要指定一個原始想法的 Prompt，隨后兩個AI智能體就會圍繞著這一想法展開工作，在上圖中，用戶智能體提出交易機器人需要有對股票評論的情緒分析功能，隨后助理智能體直接給出了安裝情緒分析和股票交易所需的 python 庫的腳本。
上圖展示了 CAMEL 通過使用 embodied agent 調用 HuggingFace 提供的 Stable Diffusion 工具鏈生成駱駝科圖像的樣例，在這一過程中，embodied agent 首先會推理出駱駝科所包含的所有動物，隨后調用擴散模型生成圖像并進行保存。
2.3 critic在環（critic-in-the-loop）
為了增強 role-playing 框架的可控性，作者團隊還為 CAMEL 設計了一種 critic-in-the-loop，這種機制受到了蒙特卡洛樹搜索（MTCS）方法的啟發，它可以結合人類偏好實現樹搜索的決策邏輯來解決任務，CAMEL 可以設置一個中間評價智能體（critic）來根據用戶智能體和助理智能體出的各種觀點進行決策來完成最終任務，整體流程如下圖所示。
考慮這樣一個場景，我們讓 CAMEL 主持一場很具體的科研項目討論會，而科研項目的主題“大型語言模型”，CAMEL 可以將用戶智能體的角色設置為一個博士后，將助理智能體的角色設置為博士生，而中間評價智能體的角色設置為教授。任務指示博士生來幫助博士后制定研究計劃，需要圍繞大模型的倫理展開研究。
在接到任務后，博士后智能體首先拋出了關于這一項目的三個觀點，表明項目應該首先從調研大模型倫理方面的相關工作著手。隨后教授智能體會根據這三個觀點給出自己的看法。并且認為觀點 2 最為合理的，即研究大模型歧視性算法。同時還會給出另外兩個觀點的缺陷，例如觀點 1 缺乏更加清晰的結構，觀點 3 的研究范圍太窄等等。
在教授發言之后，博士生智能體會進行更加具體的項目規劃，例如直接列出一些大模型倫理安全方向的相關文獻，并且討論如何開展具體的研究。
實驗效果
本文的性能評估主要從三個方面進行，并且采用兩個 gpt-3.5-turbo 作為實驗智能體，實驗的數據集使用 CAMEL 框架生成的四個 AI 數據集，其中 AI Society 和 AI Code 側重于智能體的對話效果，而 AI Math 和 AI Science 側重于智能體的問題解決能力。3.1 Agent評估在這一部分，作者從 AI Society 和 AI Code 數據集中分別隨機選擇 100 個任務進行評估，然后使用 CAMEL 框架和單個 gpt-3.5-turbo 進行對比實驗，結果評估方面分為兩部分，一方面由人類受試者對兩種方法給出的解決方案給出 453 份投票數據，來決定哪種方案更加可行。另一方面，作者提示 GPT4 模型對兩種方案直接給出評分，具體的對比數據如下表所示。
作者首先從 AI Society 數據集開始，讓模型了解人類的互動常識和社會動態，隨后 AI Code 和其他數據集的注入，模型獲得了編程邏輯和語法的知識，同時拓寬了模型對科學理論、經驗觀察和實驗方法的理解。
為了進一步評估 CAMEL 框架的代碼編寫任務解決能力，作者在 HumanEval 和 HumanEval+ 兩個評估基準上進行了實驗，實驗結果如下表所示。
參考文獻
?[1]Minsky M. Society of mind[M]. Simon and Schuster, 1988.
[2] https://towardsdatascience.com/4-autonomous-ai-agents-you-need-to-know-d612a643fa92
原文標題：NeurIPS 2023 | AI Agents先行者CAMEL：首個基于大模型的多智能體框架
文章出處：【微信公眾號：智能感知與物聯網技術研究所】歡迎添加關注！文章轉載請注明出處。
-
物聯網
+關注
關注
2909文章
44569瀏覽量
372830
原文標題：NeurIPS 2023 | AI Agents先行者CAMEL：首個基于大模型的多智能體框架
文章出處：【微信號：tyutcsplab，微信公眾號：智能感知與物聯網技術研究所】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
商湯發布國內首個病理大模型，開啟病理診斷新篇章
啟明智顯：深度融合AI技術，引領硬件產品全面智能化升級
AI算法/模型/框架/模型庫的含義、區別與聯系
螞蟻集團發布首個開源金融場景多智能體框架
華為云攜手樂聚機器人，探索人形機器人大模型開發
華為發布通信行業首個大模型
雷軍稱造車時便登門拜訪各家車企 向所有中國新能源汽車先行者致敬
Ignite China | 兩周后，來這里搶先看AI先行者們創造新增長
工商網監
評論