5月31日（當(dāng)?shù)貢r(shí)間），openai宣布其開始對(duì)抗人工智能的“錯(cuò)覺”，并采用新的方法來訓(xùn)練人工智能模型。

據(jù)說，如果open ai開發(fā)的chatgpt和谷歌開發(fā)的bard等模型完全捏造信息，就像羅列事實(shí)一樣，顯示ai的“幻覺（hallucination）”。例如，在谷歌今年2月公開的bard宣傳視頻中，聊天機(jī)器人對(duì)詹姆斯-韋伯太空望遠(yuǎn)鏡進(jìn)行了虛假說明。chatgpt最近在紐約聯(lián)邦法院寫了一份引用虛假案件的文件，涉及此案的紐約律師可能會(huì)受到處罰。

目前，openai提出了一種新的方法——來緩解chatgpt中的“幻覺”，并讓激情變得更好，這是通過“過程監(jiān)督”來提高大ai模型的數(shù)學(xué)推理能力。

openai研究組在報(bào)告書中表示：“最先進(jìn)的模型也可能生成虛假信息——，有在不確定的瞬間捏造事實(shí)的傾向。”“這種幻想在需要多個(gè)層次推論的領(lǐng)域尤其有問題，因?yàn)檫壿嬪e(cuò)誤可能會(huì)破壞更大的解決方案。”

openai對(duì)抗ai“幻覺”的新戰(zhàn)略不是單純地因?yàn)檎_答案而給予補(bǔ)償，而是因?yàn)椴聦?duì)正確的推理過程而給予補(bǔ)償。據(jù)研究者稱，這種方法被稱為“過程監(jiān)測(cè)”，而不是“結(jié)果監(jiān)測(cè)”。

這一策略也可能會(huì)導(dǎo)致更具描述性的人工智能，因?yàn)樗膭?lì)模型更多地遵循人類“思想”之類的方法鏈。除了結(jié)果監(jiān)控以外，過程監(jiān)控也有助于解決排序問題。

openai的研究人員還不知道這些結(jié)果是否適用于數(shù)學(xué)以外的領(lǐng)域，但他們認(rèn)為在其他領(lǐng)域探索“過程監(jiān)督”的影響也很重要。