Google研究人員在GECCO 2020會議上,發布具有自注意力(Self-attention)瓶頸的人工智能代理AttentionAgent,研究人員運用不注意視盲(Inattentional Blindness),讓AttentionAgent具有選擇性注意力,能夠忽略不重要的細節,相較于傳統方法,代理泛化學習參數少了1,000倍,可以更好地處理復雜的計算機視覺任務。
不注意視盲是一種人類心理現象,由于選擇性注意力,因此人們會漏看視野里部分東西,Google提到,這種選擇性注意機制,讓人們可以專注于重要的事物上,而不分心于無關緊要的細節,他們相信這種機制可以讓人們濃縮感官信息,成為一種夠簡潔的形式,用于未來的決策上。
盡管選擇性注意力看起來像是種限制,但Google認為,從自然界觀察到的這種瓶頸,可用于改善機器學習設計,通過模仿讓人工智能學習,生物能夠高性能解決任務的方法。過去的深度增強學習,都讓人工智能代理能夠訪問完整的視覺輸入,而Google現在以注意力限制,來減少人工智能代理訪問視覺輸入,以提高系統性能,不只可以大幅減少需要的參數,而且因為代理看不見部分視覺輸入,因此剛好能避掉那些可能造成混淆的內容,而且查看代理把注意力集中在什么部分,還可以為其決策提供視覺的可解釋性。
過去也有類似的研究,利用稀疏性來限制輸入內容,而AttentionAgent則是從人類的不注意視盲獲得靈感,當大腦付出努力參與任務時,大部分的注意力會集中在與任務相關的元素上,暫時對其他信號視而不見。為了要實現這件事,Google將輸入的圖像分割成幾個小區塊,然后修改自注意力架構來模擬小區塊間的投票,選出重要的子集,AttentionAgent會忽略不重要的部分,僅利用重要區塊做決策。
關鍵要素除了視覺輸入的截取之外,關聯這些要素隨時間變化的能力也很重要,像是棒球比賽中的打者,必須利用視覺信號來連續關注棒球的位置,以預測能夠打擊到球的位置,AttentionAgent則會利用長短期記憶(LSTM)模型,從重要的視覺區塊中截取信息,并在每個時步決定一個行動,LSTM會關注輸入串行變化,并利用這項信息關注關鍵要素在不同時的演變。
重要區塊的可視化,可讓研究人員知道人工智能下決策的方法,并說明大多數的選擇,是合理且符合人類主動,可作為系統開發階段,好用的分析和調試工具,另外,Google提到,人工智能代理學會忽略非關核心任務的信息,因此經修改還可以推廣應用到小環境任務。
Google的這項研究,證明僅讓人工智能代理訪問重要的區塊,無視場景其余的部分,可以提升代理泛化(Generalize),用于解決其他任務能力,像是在VizDoom TakeCover環境接受訓練的人工智能代理,也能夠在其他墻壁較高、地板貼圖不同,或是更多令人分心標志的環境下生存。
這樣的成果可以被應用在自動駕駛上,應用晴天資料集學習駕駛的代理,也能夠將駕駛技能轉移到晚上或是下雨天,AttentionAgent不僅能夠解決CarRacing-v0任務,在其他惡劣環境中,也能達到相近的性能,泛化需要的參數比慣用的方法少1,000倍。
不過,即便AttentionAgent能夠適應環境修改,仍有其限制,像是原本周圍都是綠地的賽車背景,一旦換成YouTube視頻便會失效,又或是更換成均勻的噪聲時,人工智能代理的注意力模塊便會失效,Google提到,他們用于選擇重要視覺區塊的方法仍不夠強健,不足以應對更復雜的任務,因此他們接下來會發展,能從視覺輸入截取有意義特征的方法。
責任編輯:tzh
-
人工智能
+關注
關注
1792文章
47425瀏覽量
238965 -
計算機視覺
+關注
關注
8文章
1698瀏覽量
46032 -
自動駕駛
+關注
關注
784文章
13867瀏覽量
166604
發布評論請先 登錄
相關推薦
評論