如何讓AI依照人類的意圖行事？這是將AI應(yīng)用于現(xiàn)實(shí)世界復(fù)雜問題的最大障礙之一。DeepMind將這個(gè)問題定義為“智能體對(duì)齊問題”，并提出了新的解決方案。

如何讓AI符合人類的意圖？

這個(gè)問題是將AI系統(tǒng)部署到真實(shí)世界、幫助人類解決復(fù)雜問題的最大障礙之一。

DeepMind將這個(gè)問題定義為“智能體對(duì)齊問題”（agent alignment problem），并提出依賴于獎(jiǎng)勵(lì)建模，正面解決agent alignment問題的研究方向。

這篇文章基于DeepMind的新論文Scalable agent alignment via reward modeling: a research direction，概述了解決agent alignment問題的研究方向。所提出的方法依賴于獎(jiǎng)勵(lì)建模的遞歸應(yīng)用，以符合用戶意圖的方式解決復(fù)雜的現(xiàn)實(shí)世界問題。

近年來，強(qiáng)化學(xué)習(xí)在許多復(fù)雜游戲環(huán)境中取得了令人矚目的成績(jī)，從Atari游戲、圍棋、象棋到Dota 2和星際爭(zhēng)霸II，AI智能體在越來越復(fù)雜的領(lǐng)域迅速超越了人類水平。游戲是開發(fā)和測(cè)試機(jī)器學(xué)習(xí)算法的理想平臺(tái)。它們提出了需要多種認(rèn)知能力才能完成的具有挑戰(zhàn)性的任務(wù)，反映出解決現(xiàn)實(shí)世界問題所需的技能。機(jī)器學(xué)習(xí)研究人員可以在云上并行運(yùn)行數(shù)千個(gè)模擬實(shí)驗(yàn)，生成系統(tǒng)學(xué)習(xí)所需的訓(xùn)練數(shù)據(jù)。

至關(guān)重要的是，游戲通常都有一個(gè)明確的目標(biāo)，以及一個(gè)近似于實(shí)現(xiàn)該目標(biāo)的進(jìn)展的分?jǐn)?shù)。這個(gè)分?jǐn)?shù)為強(qiáng)化學(xué)習(xí)智能體提供了有用的獎(jiǎng)勵(lì)信號(hào)，使我們能夠得到關(guān)于哪些算法和架構(gòu)選擇最有效的快速反饋。

智能體對(duì)齊問題

AI發(fā)展的終極目標(biāo)是讓人類受益，讓我們能夠應(yīng)對(duì)現(xiàn)實(shí)世界中日益復(fù)雜的挑戰(zhàn)。但現(xiàn)實(shí)世界并沒有內(nèi)置的獎(jiǎng)勵(lì)機(jī)制。這就帶來了挑戰(zhàn)，因?yàn)楝F(xiàn)實(shí)世界任務(wù)的表現(xiàn)不容易定義。我們需要一種好的方式來提供反饋，并使AI能夠可靠地理解我們想要什么，以幫助我們實(shí)現(xiàn)目的。

換句話說，我們想用人類反饋的方式訓(xùn)練AI系統(tǒng)，使AI的行為與我們的意圖一致。為了達(dá)到這個(gè)目的，我們將智能體對(duì)齊問題（agent alignment problem）定義如下:

如何創(chuàng)建符合用戶意圖的智能體？

對(duì)齊問題可以在強(qiáng)化學(xué)習(xí)框架中構(gòu)建，不同之處是，智能體可以通過交互協(xié)議與用戶交互，而不是接收數(shù)字獎(jiǎng)勵(lì)信號(hào)。這個(gè)交互協(xié)議允許用戶向智能體傳達(dá)他們的意圖。協(xié)議可以采用多種形式：例如，用戶可以提供演示、偏好、最佳操作或傳達(dá)獎(jiǎng)勵(lì)函數(shù)。Agent alignment問題的解決方案之一是根據(jù)用戶的意圖行事的策略。

DeepMind的新論文概述了正面解決agent alignment問題的研究方向。基于我們之前對(duì)AI安全問題分類的研究，以及對(duì)眾多AI安全問題的論述，我們描繪了這些領(lǐng)域的進(jìn)展如何能夠產(chǎn)生一個(gè)解決agent alignment問題的方案。這將為構(gòu)建能夠更好地理解如何與用戶交互、如何從用戶的反饋中學(xué)習(xí)、以及如何預(yù)測(cè)用戶偏好的系統(tǒng)打開大門。

通過獎(jiǎng)勵(lì)模型進(jìn)行對(duì)齊

我們研究方向的要點(diǎn)是基于獎(jiǎng)勵(lì)建模（reward modeling）：訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型，其中包含來自用戶的反饋，從而捕捉他們的意圖。與此同時(shí)，我們通過強(qiáng)化學(xué)習(xí)訓(xùn)練一個(gè)策略，使獎(jiǎng)勵(lì)模型的獎(jiǎng)勵(lì)最大化。換句話說，我們把學(xué)習(xí)做什么(獎(jiǎng)勵(lì)模型)和學(xué)習(xí)怎么做(策略)區(qū)分開來。

獎(jiǎng)勵(lì)建模的示意圖：根據(jù)用戶的反饋訓(xùn)練獎(jiǎng)勵(lì)模型，以獲取用戶的意圖；這個(gè)獎(jiǎng)勵(lì)模型為經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的智能體提供獎(jiǎng)勵(lì)。

例如，在以前的工作中，我們教智能體根據(jù)用戶偏好做一個(gè)后空翻，根據(jù)目標(biāo)狀態(tài)示例將對(duì)象排列成特定形狀，以及根據(jù)用戶偏好和專家演示玩Atari游戲。未來，我們希望設(shè)計(jì)能夠?qū)W習(xí)適應(yīng)用戶提供反饋的方式(例如使用自然語(yǔ)言)的算法。

擴(kuò)大獎(jiǎng)勵(lì)模型的規(guī)模

從長(zhǎng)遠(yuǎn)來看，我們希望將獎(jiǎng)勵(lì)模型的規(guī)模擴(kuò)大到人類無(wú)法直接評(píng)估的過于復(fù)雜的領(lǐng)域。要做到這一點(diǎn)，我們需要提高用戶評(píng)估結(jié)果的能力。我們將討論如何遞歸地應(yīng)用獎(jiǎng)勵(lì)建模：可以使用獎(jiǎng)勵(lì)建建模來訓(xùn)練agent，讓agent幫助用戶進(jìn)行評(píng)估過程。如果評(píng)估比行為更容易，就可以從簡(jiǎn)單的任務(wù)過渡到更加普遍、更加復(fù)雜的任務(wù)。這可以看作是一個(gè)迭代擴(kuò)增（iterated amplification）的實(shí)例。

遞歸獎(jiǎng)勵(lì)建模的示意圖：使用遞歸獎(jiǎng)勵(lì)建模訓(xùn)練的agent(右邊的小圓圈)幫助用戶評(píng)估當(dāng)前正在訓(xùn)練的agent(大圓圈)產(chǎn)生的結(jié)果。

例如，假設(shè)我們想訓(xùn)練一個(gè)agent來設(shè)計(jì)計(jì)算機(jī)芯片。為了評(píng)估某個(gè)提議的芯片設(shè)計(jì)，我們使用獎(jiǎng)勵(lì)建模訓(xùn)練其他的“helper”智能體，以對(duì)芯片的模擬性能進(jìn)行基準(zhǔn)測(cè)試、計(jì)算散熱、估計(jì)芯片的壽命、查找安全漏洞，等等。總的來說，這些helper agents的輸出使用戶能夠通過協(xié)助評(píng)估所提議的芯片設(shè)計(jì)來訓(xùn)練芯片設(shè)計(jì)agent。雖然helper agent必須解決一系列非常困難的任務(wù)，但這些任務(wù)總比直接設(shè)計(jì)一個(gè)芯片更容易執(zhí)行：要設(shè)計(jì)一個(gè)計(jì)算機(jī)芯片，你必須理解每一項(xiàng)評(píng)估任務(wù)，但反過來則不然。從這個(gè)意義上說，遞歸獎(jiǎng)勵(lì)建模可以讓我們“支持”agent來解決越來越難的任務(wù)，同時(shí)保持與用戶意圖一致。

研究挑戰(zhàn)

為了對(duì)這些復(fù)雜的問題進(jìn)行獎(jiǎng)勵(lì)建模，需要解決幾個(gè)挑戰(zhàn)性問題。下面列出了其中的五項(xiàng)挑戰(zhàn)，論文中對(duì)這些挑戰(zhàn)及其解決辦法進(jìn)行了更深入的描述。

我們希望擴(kuò)大獎(jiǎng)勵(lì)建模時(shí)遇到的挑戰(zhàn)(左)和有前景的解決方法(右)。

那么就來到了agent alignment的最后一個(gè)重要組成部分：在現(xiàn)實(shí)世界中部署AI智能體時(shí)，我們需要向用戶提供證據(jù)，證明我們的智能體確實(shí)已經(jīng)充分對(duì)齊了。

本文討論了五種不同的研究途徑，可以幫助增加對(duì)agent的信任：設(shè)計(jì)選擇、測(cè)試、可解釋性、形式驗(yàn)證和理論保證。

我們的一個(gè)雄心勃勃的目標(biāo)是制作安全證書（safety certificates）：可以用來證明負(fù)責(zé)任的技術(shù)開發(fā)工作，并讓用戶對(duì)依賴訓(xùn)練好的智能體有信心。

未來研究方向

雖然我們相信遞歸獎(jiǎng)勵(lì)建模是訓(xùn)練對(duì)齊智能體的一個(gè)非常有前景的方向，但目前還不知道它可以如何擴(kuò)展（需要更多的研究）。幸運(yùn)的是，追求agent alignment還有其他一些研究方向：

模仿學(xué)習(xí)

短視強(qiáng)化學(xué)習(xí)（Myopic reinforcement learning）

逆強(qiáng)化學(xué)習(xí)（Inverse reinforcement learning）

合作逆強(qiáng)化學(xué)習(xí)

迭代擴(kuò)增

Debate

Agent foundations

本文進(jìn)一步探討它們的異同。

正如對(duì)計(jì)算機(jī)視覺系統(tǒng)相對(duì)對(duì)抗性輸入的魯棒性的積極研究對(duì)于當(dāng)今的ML應(yīng)用程序是至關(guān)重要的一樣，對(duì)齊研究對(duì)于在復(fù)雜的現(xiàn)實(shí)世界中部署ML系統(tǒng)也是至關(guān)重要的。我們有理由保持樂觀：雖然我們希望在擴(kuò)大獎(jiǎng)勵(lì)模型時(shí)面對(duì)挑戰(zhàn)，但這些挑戰(zhàn)是我們可以取得進(jìn)展的具體技術(shù)研究問題。從這個(gè)意義上說，我們的研究方向已經(jīng)準(zhǔn)備就緒，可以對(duì)深度強(qiáng)化學(xué)習(xí)智能體進(jìn)行實(shí)證研究。