現(xiàn)有的大多數(shù)人工智能模型和方法仍屬于窄人工智能,也被稱為弱人工智能(weak artificial intelligence)。相對(duì)而言,強(qiáng)人工智能(strong artificial intelligence)期望機(jī)器能像人一樣思考、推理,能處理各種任務(wù),比肩人類的智能水平(human-like or human-level intelligence)。與強(qiáng)人工智能相比,現(xiàn)有通用人工智能更加強(qiáng)調(diào)機(jī)器的“泛 化”能力,包括場(chǎng)景泛化(即模型從單一場(chǎng)景泛化 至多個(gè)場(chǎng)景)、模態(tài)泛化(即一個(gè)模型適用于多種 模態(tài)的任務(wù))、任務(wù)泛化(即一個(gè)模型可以處理多種類型的任務(wù))等。
通用人工智能目前仍然處于發(fā)展初期,是對(duì)現(xiàn)有窄/弱人工智能的反思、補(bǔ)充和改進(jìn),也是通往強(qiáng)人工智能道路上的重要路線。通用人工智能所研究的是一個(gè)智能系統(tǒng)應(yīng)該具備哪些能力,并且運(yùn)用這些能力解決各式各樣的復(fù)雜問題。
通用人工智能的多模態(tài)通用技術(shù)
現(xiàn)實(shí)生活中,人類接收的信息模態(tài)多種多樣,如視覺、聲音、文字、嗅覺、觸覺等。人類可以綜合運(yùn)用多種模態(tài)的信息對(duì)事物進(jìn)行理解和推理。多模態(tài)學(xué)習(xí)是通用智能需要解決的關(guān)鍵問題之一,其任務(wù)可以歸結(jié)為兩個(gè)基本類:多模態(tài)表征學(xué)習(xí)和模態(tài)轉(zhuǎn)換。需要指出的是,這兩個(gè)問題并非不相關(guān),比如表征可以用來做模態(tài)轉(zhuǎn)換。下面介紹幾種典型的多模態(tài)學(xué)習(xí)任務(wù)。
多模態(tài)表征學(xué)習(xí)和融合
多模態(tài)表征學(xué)習(xí)指的是學(xué)習(xí)包含多個(gè)模態(tài)的樣本表征,比如視頻里可能包含的視覺信息、聲音信息等,使得表征能夠反映所包含的多個(gè)模態(tài)信息,以幫助理解識(shí)別等任務(wù)。最直接的方法是分別處理各個(gè)模態(tài),得到每個(gè)模態(tài)的表征,再將其直接拼接起來作為最后的表征;也可以最終只產(chǎn)生一個(gè)表征,把不同模態(tài)的表征融合成一個(gè)表征;也可以繼續(xù)把融合的表征做進(jìn)一步處理,以生成更強(qiáng)的表征;還可以在產(chǎn)生表征的過程中,不停地進(jìn)行模態(tài)之間的信息交互或者融合,以增強(qiáng)每個(gè)模態(tài)的表征。
多模態(tài)協(xié)同學(xué)習(xí)
多模態(tài)協(xié)同學(xué)習(xí)指的是利用模態(tài)之間的關(guān)聯(lián),借助其他一個(gè)或者多個(gè)模態(tài),來幫助某一模態(tài)或者多個(gè)模態(tài)建模和學(xué)習(xí)。模態(tài)之間的關(guān)聯(lián)信息非常常見,比如人在說話的時(shí)候,既有聲音模態(tài),也有視覺(唇語)模態(tài),如人臉表情或者行為動(dòng)作;比如互聯(lián)網(wǎng)上的圖片,通常有文件名等;比如在視頻中,視頻幀可能有相應(yīng)的聲音(語音或者音樂),也可能有文字腳本。人類對(duì)單一模態(tài)的理解,也是通過聯(lián)合其他模態(tài)信息進(jìn)行分析的。多模態(tài)協(xié)同學(xué)習(xí)的要領(lǐng)在于把關(guān)聯(lián)轉(zhuǎn)換成合適的約束,以及從各個(gè)模態(tài)獲取合適的信息形成約束。例如圖像和文本(比如圖像及其文件名)有一一對(duì)應(yīng)關(guān)系。
借助于物體的屬性描述來幫助圖像識(shí)別建模,在某種意義上也是多模態(tài)協(xié)同學(xué)習(xí)。例如,對(duì)狗的識(shí)別,我們都清楚地了解狗是由哪些部分組成的,具有怎樣的屬性特征,比如它有4條腿、尾巴、毛發(fā)等。但是在目前主流的物體識(shí)別中,這種信息沒有被加進(jìn)去,“狗”只是作為一個(gè)標(biāo)簽。而人類從圖像里識(shí)別狗的時(shí)候,頭腦中有很多狗的圖像認(rèn)知信息,同時(shí)也從別的渠道獲得狗的其他知識(shí),如組成方式等。所以,建模時(shí)需要把關(guān)于狗的額外知識(shí)信息加進(jìn)去,來提升建模識(shí)別性能,也會(huì)提升模型的魯棒性。
多模態(tài)統(tǒng)一表征學(xué)習(xí)
多模態(tài)統(tǒng)一表征學(xué)習(xí)指的是把不同模態(tài)映射到 同一個(gè)特征空間,使得不同模態(tài)在這個(gè)特征空間里可以直接比較(比如歐氏距離),比較的時(shí)候不用 區(qū)分特征來自什么模態(tài)。多模態(tài)任務(wù)可以是把一幅圖片轉(zhuǎn)變成一段文字或者一首詩,或者將文字轉(zhuǎn)化成一幅圖像;以及在文字、圖片或者視頻搜索中,如果圖像和文本的特征都轉(zhuǎn)換到同一個(gè)空間中,那我們就可以進(jìn)行統(tǒng)一的搜索,而不再區(qū)分不同的模態(tài)。
人類具有在不同模態(tài)之間快速映射的能力,比如看到一個(gè)場(chǎng)景,我們的頭腦會(huì)快速“搜索”到應(yīng)景的一首歌、一段文字或者一首詩。多模態(tài)統(tǒng)一表示是模擬人類這個(gè)能力的一種實(shí)現(xiàn)方法。多模態(tài)統(tǒng)一表征問題的主要研究點(diǎn)在于如何定義關(guān)系保持和尋找合適的映射,以及對(duì)大規(guī)模數(shù)據(jù)和實(shí)際問題的探索。目前已經(jīng)有了實(shí)際系統(tǒng)的探索,如“小冰寫詩”。
責(zé)任編輯:YYX
-
人工智能
+關(guān)注
關(guān)注
1791文章
47208瀏覽量
238295 -
通用技術(shù)
+關(guān)注
關(guān)注
0文章
7瀏覽量
7223
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論