Sam Altman@OpenAI, February 24, 2023

OpenAI的使命是確保AGI（通用人工智能）——通常來說是比人類更聰明的人工智能系統(tǒng)——造福全人類。

如果AGI被成功創(chuàng)造，此技術(shù)可提升人類能力、增加社會財富、推動全球經(jīng)濟(jì)增長、發(fā)現(xiàn)全新科學(xué)知識進(jìn)而追求無限可能。

AGI有潛力為每個人提供難以置信的新能力，可以想象這樣一個世界，任何人都可以在幾乎任何認(rèn)知任務(wù)中獲得幫助，為人類的聰明才智和創(chuàng)造力提供巨大的能力放大器。

另一方面，AGI也會帶來嚴(yán)重濫用、重大事故和社會混亂的風(fēng)險。由于AGI的優(yōu)勢是如此之大，我們認(rèn)為社會不可能或者不希望永遠(yuǎn)阻止它的發(fā)展，相反，社會和AGI的創(chuàng)造者們必須弄清楚如何把它做好。盡管我們無法準(zhǔn)確預(yù)測未來，當(dāng)前的進(jìn)展也可能陷入瓶頸，但我們還是要清楚地說明我們最關(guān)心的原則：

我們希望AGI能讓人類在宇宙中最大限度地繁榮。我們不期望未來變成糟糕的烏托邦，我們希望把有利因素的最大化，把不利因素的最小化，讓AGI成為人性良知的放大器。

我們希望AGI的益處、使用和治理能夠被廣泛和公平地共享。

我們希望成功應(yīng)對巨大的風(fēng)險。

在面對這些風(fēng)險時，我們承認(rèn)，理論上看似正確的事情，在實踐中往往表現(xiàn)得比預(yù)期的更奇怪。我們相信，我們必須不斷地學(xué)習(xí)和適應(yīng)，部署功能較弱的技術(shù)版本，以盡量減少追求“一次做對”的場景。

短期

為迎接AGI的到來，我們認(rèn)為有幾件事很重要，需要提前做好準(zhǔn)備。

首先，隨著我們不斷創(chuàng)建更強(qiáng)大的系統(tǒng)，我們希望部署它們并獲得在現(xiàn)實世界中操作它們的經(jīng)驗。我們相信這是小心管理AGI的最佳方式——逐步過渡到一個有AGI的世界總比突然發(fā)生要好。我們期待強(qiáng)大的人工智能使世界的進(jìn)步速度更快，所以我們最好逐步適應(yīng)這一點。

循序漸進(jìn)的過渡讓人們、政策制定者和機(jī)構(gòu)有時間了解正在發(fā)生的事情，親身體驗這些系統(tǒng)的優(yōu)劣，調(diào)整我們的經(jīng)濟(jì)結(jié)構(gòu)，并實施監(jiān)管。這使得社會和人工智能可以共同進(jìn)化，并讓人們一起找出他們想要的東西，從而使風(fēng)險降到較低水平。

我們目前認(rèn)為，成功應(yīng)對AI應(yīng)用挑戰(zhàn)的最佳方式就是快速學(xué)習(xí)和小心迭代的緊密反饋循環(huán)。社會將面臨重大問題，包括允許人工智能系統(tǒng)做什么，如何對抗偏見，如何處理大規(guī)模失業(yè)等。最佳決策將取決于技術(shù)的發(fā)展道路，像任何新領(lǐng)域一樣，到目前為止，大多數(shù)專家的預(yù)測都是錯的。這使得在真空中進(jìn)行計劃非常困難。

一般來說，我們認(rèn)為在世界上更多地使用人工智能將帶來好處，并希望推廣它(通過將模型放在我們的API中，開源等)。我們相信，AI的平民化還將帶來更多更好的研究、分散權(quán)力、帶來更多福利，也會有更多的人可以貢獻(xiàn)新的想法。

隨著我們的系統(tǒng)越來越接近AGI，我們對模型的創(chuàng)建和部署變得越來越謹(jǐn)慎。我們的決策將需要比社會通常應(yīng)用于新技術(shù)時更加謹(jǐn)慎，也比許多用戶希望的更加謹(jǐn)慎。人工智能領(lǐng)域的一些人認(rèn)為AGI及其衍生系統(tǒng)的風(fēng)險是虛構(gòu)的，如果真是這樣，我們當(dāng)然會很高興，但我們還是要將這些風(fēng)險視為存在。

在某一時刻，部署的利弊（例如給予惡人以權(quán)力將造成社會和經(jīng)濟(jì)混亂，加速不安全的競賽）之間的平衡可能會發(fā)生變化，在這種情況下，我們將大幅改變圍繞持續(xù)部署的計劃。

其次，我們正在努力創(chuàng)建越來越和人類價值觀對齊（align）、可操控的模型。從第一個版本的GPT-3到InstructGPT和ChatGPT的轉(zhuǎn)變就是一個這樣的例子。

特別是，我們認(rèn)為重要的是，就如何使用人工智能全社會能在最廣闊的邊界上使用達(dá)成一致，但在這些邊界內(nèi)，個人有很大的決定權(quán)。我們的最終希望是，世界各地的機(jī)構(gòu)可以就這些廣闊的邊界是什么達(dá)成共識，短期內(nèi)，我們計劃對一些外部輸入的做些實驗。各地的機(jī)構(gòu)都需要增加額外的能力和經(jīng)驗以為針對AGI的復(fù)雜決策做好準(zhǔn)備。

我們產(chǎn)品的“默認(rèn)配置”可能會受到很大限制，但我們計劃讓用戶更容易改變他們使用AI的行為。我們堅持賦予人自主決策的能力，堅信思想多樣性的內(nèi)在力量。

隨著我們的模型變得更強(qiáng)大，我們將開發(fā)新的對齊技術(shù)（并通過測試來了解我們當(dāng)前的技術(shù)何時失敗）。我們的短期計劃是使用人工智能來幫助人類評估更復(fù)雜模型的輸出并監(jiān)控復(fù)雜系統(tǒng)，而長期計劃是使用人工智能來幫助我們提出更好的對齊技術(shù)的新想法。

重要的是，我們認(rèn)為我們經(jīng)常必須在人工智能安全和能力方面共同取得進(jìn)展。分開討論它們是錯誤的，它們在很多方面都是相關(guān)的。我們最好的安全工作來自于與我們最有能力的模型合作。也就是說，安全進(jìn)程與能力進(jìn)程的同時成比例提高是很重要的。

再者，我們希望就三個關(guān)鍵問題展開全球性對話：如何管理這些系統(tǒng)，如何公平分配收益，以及如何公平使用。

除了這三個方面，我們還試圖構(gòu)建一個架構(gòu)使我們的激勵與良好的結(jié)果相匹配。在我們的章程中有一項條款是幫助其他組織提高安全性，而不是在AGI開發(fā)后期彼此競賽。我們對股東能夠獲得的回報規(guī)定了一個上限，這樣我們就不會受到激勵，不會試圖在沒有上限的情況為了追求高回報冒著高風(fēng)險去部署一些可能導(dǎo)致災(zāi)難性危險的東西（當(dāng)然，這也是一種與社會分享利益的方式）。我們有一個非營利組織來管理我們，讓我們?yōu)槿祟惖睦娑\作（可以凌駕于任何營利性利益之上），包括讓我們在安全需要時取消對股東的股權(quán)義務(wù)，并贊助世界上最全面的UBI實驗。

我們認(rèn)為，在發(fā)布新系統(tǒng)之前，像我們這樣的項目必須接受獨立審計，這一點很重要，我們將在今年晚些時候更詳細(xì)地討論這個問題。在某種程度上，在開始訓(xùn)練未來系統(tǒng)之前進(jìn)行獨立審查可能是很重要的，并且對于最先進(jìn)的工作來說，應(yīng)該限制用于創(chuàng)建新模型的計算機(jī)的增長速度。我們認(rèn)為關(guān)于AGI工作何時應(yīng)該停止訓(xùn)練運行、確定發(fā)布模型是安全的，或者從生產(chǎn)使用中提取模型的公共標(biāo)準(zhǔn)是重要的。最后，我們認(rèn)為重要的是，世界主要國家的政府應(yīng)該對一定規(guī)模以上的模型訓(xùn)練有所掌握。

長期

我們相信人類的未來應(yīng)由人類決定，與公眾分享相關(guān)進(jìn)展至關(guān)重要，應(yīng)對所有試圖建立AGI的行為進(jìn)行嚴(yán)格審查，并對重大決策進(jìn)行公眾咨詢。

第一個AGI僅僅是智能發(fā)展進(jìn)程的一個點，它會繼續(xù)進(jìn)步，可能會在很長一段時間保持過去10年發(fā)展速度。如果這是真的，世界可能會變得與今天截然不同，風(fēng)險可能會非常大。一個與人類相悖的超級智能可能會對世界造成嚴(yán)重的傷害，由超級智能領(lǐng)導(dǎo)的專制政權(quán)也會如此。

能夠加速科學(xué)進(jìn)展的人工智能是一個值得研究的特例，可能比其他任何事情都更有影響力。有能力加速自身進(jìn)程的AGI可能會導(dǎo)致重大變化出人意料地快速發(fā)生（過渡初期雖然發(fā)展很慢，到我們認(rèn)為它也會在最后階段迅速進(jìn)步）。我們認(rèn)為更慢的起航更易保證安全，協(xié)調(diào)所有AGI相關(guān)工作在關(guān)鍵節(jié)點時減速可能是非常重要的（即使不需要解決技術(shù)與人類價值觀對齊問題，減速可能也是重要的，因為社會需要足夠的時間來適應(yīng)）。

成功平穩(wěn)過渡到一個擁有超級智能的世界也許是人類歷史上最為重要、最充滿希望、也是最可怕的工程。成功遠(yuǎn)不能保證，唯有希望這場豪賭（無窮的利弊）將全世界人民團(tuán)結(jié)起來。

我們可以想象這樣一個世界，在這個世界里，人類的繁榮超乎想象。我們惟愿為世界貢獻(xiàn)與這種繁榮相稱的AGI。

腳注：

1. 基于先前的預(yù)期，我們似乎得到了很多禮物：例如，似乎創(chuàng)建AGI需要大量的計算，這樣世界就知道誰在研究它，像超進(jìn)化的RL代理相互競爭這樣的原始概念，以一種我們無法真正觀察到的方式進(jìn)化出智能的可能性比最初看起來要小，幾乎無人預(yù)測到我們會在預(yù)先訓(xùn)練的語言模型上取得如此大的進(jìn)展，這些模型可以從人類的集體偏好和人性輸出等方面學(xué)習(xí)。

AGI可能在不久的將來發(fā)生，從初始AGI到更強(qiáng)大的后續(xù)系統(tǒng)的起飛速度可能很慢或更快。我們中的許多人認(rèn)為這個2乘2矩陣中最安全的象限是短時間線和緩慢的起飛速度，較短的時間線似乎更易于協(xié)調(diào)，并且由于計算力緊缺，更有可能導(dǎo)致起飛速度變慢，而較慢的起飛讓我們有更多時間憑經(jīng)驗弄清楚如何解決安全問題以及如何適應(yīng)。?

2. 例如，當(dāng)我們第一次啟動OpenAI時，我們并沒有想到擴(kuò)展會像現(xiàn)在這樣重要。當(dāng)我們意識到這將是至關(guān)重要的時，我們也意識到我們原來的架構(gòu)是行不通的——我們根本無法籌集到足夠的資金來完成我們作為一個非營利組織的使命——所以我們提出了一個新的架構(gòu)。

再舉一個例子，我們現(xiàn)在認(rèn)為我們最初對開放性的看法是錯誤的，并且已經(jīng)從認(rèn)為我們應(yīng)該發(fā)布所有內(nèi)容（盡管我們開源了一些東西，并期望在未來開源更令人興奮的東西！）轉(zhuǎn)向認(rèn)為我們應(yīng)該弄清楚如何安全地共享系統(tǒng)的訪問和好處。我們?nèi)匀幌嘈派鐣斫庹诎l(fā)生的事情的好處是巨大的，并且實現(xiàn)這種理解是確保所建立的東西是社會集體想要的最好方法（顯然這里有很多細(xì)微差別和沖突）。

審核編輯：黃飛

?