你能想象某一天打開深度學(xué)習(xí)的詞條,發(fā)現(xiàn):
深度學(xué)習(xí)的江湖已經(jīng)能夠被統(tǒng)一了嗎?
幾何學(xué)上的對(duì)稱性可以玩轉(zhuǎn)整個(gè)深度學(xué)習(xí)嗎?
通過對(duì)稱性和的變換,可以提煉出覆蓋CNNs, GNNs, LSTMs, Transformers, DeepSets, mesh CNN等一切你所需構(gòu)建的架構(gòu)嗎?
不要驚訝,不要懷疑。
一百多年前埃爾蘭根大學(xué)一位23歲的小伙就給出了答案。
他僅憑一己之力開創(chuàng)的“埃爾蘭根計(jì)劃”,從而在幾何學(xué)上做出了一項(xiàng)開創(chuàng)性的工作,改變了數(shù)學(xué)史。
幾何學(xué)對(duì)稱問題的源起
在1872年10月,德國的埃爾蘭根大學(xué)任命了一位新的年輕教授。按照慣例,他被要求提供一個(gè)就職研究計(jì)劃,他以長而乏味的標(biāo)題Vergleichende Betrachtungen über neuere geometrische Forschungen(“對(duì)幾何學(xué)最新研究的比較評(píng)論”)進(jìn)行了發(fā)表。
這位就是菲利克斯·克萊因(Felix Klein),當(dāng)時(shí)他只有23歲,他的開創(chuàng)性工作被稱為“埃爾蘭根計(jì)劃”,在數(shù)學(xué)史上有濃墨重彩的一筆。
十九世紀(jì)簡直就是幾何學(xué)的大爆發(fā)時(shí)代。歐幾里得之后的近兩千年來,龐塞萊特(Poncelet)構(gòu)造了投影幾何,高斯(Gauss)、波利亞伊(Galys)和洛巴切夫斯基(Lobachevsky)構(gòu)造了雙曲線幾何,而黎曼(Riemann)構(gòu)造了橢圓幾何。
克萊因的Erlangen program(埃爾蘭根綱領(lǐng))的突破性體現(xiàn)在研究幾何學(xué)時(shí)運(yùn)用了結(jié)構(gòu)的對(duì)稱性。克萊因采用群論的形式來定義此類轉(zhuǎn)換,并采用群及其子群的層次結(jié)構(gòu)來分類由此產(chǎn)生的不同幾何形狀。
因此,剛性運(yùn)動(dòng)會(huì)產(chǎn)生傳統(tǒng)的歐幾里得幾何,而仿射或投影變換分別產(chǎn)生仿射和投影幾何。
Erlangen program不僅對(duì)幾何和數(shù)學(xué)影響非常深遠(yuǎn),同時(shí)也影響了物理領(lǐng)域,對(duì)稱性可以從第一原理推導(dǎo)守恒律,即Noether定理。
經(jīng)過幾十年的發(fā)展,直到楊振寧和米爾斯在1954年提出的規(guī)范不變性的概念的廣義形式證明了這一基本原理,成功地統(tǒng)一了除重力以外的所有自然基本力。
這種標(biāo)準(zhǔn)模型已經(jīng)描述了我們目前所知道的所有物理學(xué)知識(shí)。
所以啊,還是諾貝爾獎(jiǎng)得主物理學(xué)家菲利普·安德森(Philip Anderson)的話說得好:
“it is only slightly overstating the case to say that physics is the study of symmetry.”
“說物理學(xué)本質(zhì)上就是研究對(duì)稱性的,這只是有點(diǎn)夸大其詞了。”
目前深度學(xué)習(xí)領(lǐng)的現(xiàn)狀和19世紀(jì)的幾何情況驚人的類似:
一方面,在過去的十年中,深度學(xué)習(xí)帶來了數(shù)據(jù)科學(xué)的一場革命,并完成了許多以前被認(rèn)為無法實(shí)現(xiàn)的任務(wù):無論是計(jì)算機(jī)視覺,語音識(shí)別,自然語言翻譯,還是下圍棋。
另一方面,現(xiàn)在存在一個(gè)針對(duì)不同類型數(shù)據(jù)的不同神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的“動(dòng)物園”,但統(tǒng)一的原理很少。這樣很難理解不同方法之間的關(guān)系,也導(dǎo)致相同概念的多次發(fā)明和資源的浪費(fèi)。
在機(jī)器學(xué)習(xí)中,對(duì)稱性的重要性實(shí)際上早已得到認(rèn)可。
尤其是在模式識(shí)別和計(jì)算機(jī)視覺的應(yīng)用中,有關(guān)等變特征檢測的早期工作可以追溯到Shunichi Amari和Reiner Lenz。
在神經(jīng)網(wǎng)絡(luò)文獻(xiàn)中,Marvin Minsky和Seymour Papert提出的感知器的群不變性定理對(duì)(單層)感知器學(xué)習(xí)不變性的能力提出了基本限制。
幾何深度學(xué)習(xí)
具體怎么個(gè)“統(tǒng)一”,請(qǐng)看采用的“幾何深度學(xué)習(xí)”:
幾何深度學(xué)習(xí)是Michael M. Bronstein,Joan Bruna,Taco Cohen,Petar Veli?kovi? 等人中引入的一個(gè)籠統(tǒng)術(shù)語,指的是類似于Klein的Erlangen program,在幾何機(jī)器學(xué)習(xí)上統(tǒng)一的嘗試的總稱。
它有兩個(gè)目的:首先,提供一個(gè)通用的數(shù)學(xué)框架以推導(dǎo)最成功的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu);其次,給出一個(gè)建設(shè)性的過程,并以有原則的方式構(gòu)建未來的體系結(jié)構(gòu)。
在最簡單的情況下,有監(jiān)督的機(jī)器學(xué)習(xí)本質(zhì)上是一個(gè)函數(shù)估計(jì)問題:給定訓(xùn)練集上某些未知函數(shù)的輸出(例如標(biāo)記的狗和貓圖像),人們?cè)噲D從某個(gè)假設(shè)函數(shù)類別中找到一個(gè)適合訓(xùn)練的函數(shù)f ,并可以預(yù)測以前看不見的輸入的輸出。
在過去的十年中,大型的、高質(zhì)量的數(shù)據(jù)集(如ImageNet)的可用性與不斷增長的計(jì)算資源(GPU)吻合,從而可以設(shè)計(jì)功能豐富的類,這些類可以內(nèi)插此類大型數(shù)據(jù)集。
神經(jīng)網(wǎng)絡(luò)似乎是表征功能的合適選擇,因?yàn)榧词故亲詈唵蔚捏w系結(jié)構(gòu)(如Perceptron),僅使用兩層時(shí)也可以生成密集類的功能,從而可以將任何連續(xù)函數(shù)近似為任何所需的精度,這種特性稱為“通用逼近”(Universal Approximation)。
低維問題的設(shè)置是逼近理論中的經(jīng)典問題,該問題已得到廣泛研究,并通過精確的數(shù)學(xué)方法控制估算誤差。但是,在高維度上情況卻完全不同:人們可以很快地看到,即使近似一類簡單的Lipschitz連續(xù)函數(shù),樣本數(shù)量也隨維度呈指數(shù)增長,這種現(xiàn)象俗稱“維數(shù)詛咒”。
由于現(xiàn)代機(jī)器學(xué)習(xí)方法需要處理成千上萬甚至數(shù)百萬個(gè)維度的數(shù)據(jù),因此維度的詛咒總是在幕后出現(xiàn),使得我們無法通過樸素的方式進(jìn)行學(xué)習(xí)。
△維度詛咒的圖示:為了近似由高斯核構(gòu)成的Lipschitz連續(xù)函數(shù),該函數(shù)位于誤差為ε的d維單位超立方體(藍(lán)色)的象限中,需要
在計(jì)算機(jī)視覺問題(例如圖像分類)中可能最好地看到了這一點(diǎn)。即使是很小的圖像也往往具有很高的尺寸,但是從直觀上講,當(dāng)人們將圖像解析為向量以將其饋反饋送到感知器時(shí),很多圖像的結(jié)構(gòu)會(huì)被破壞并丟棄。如果現(xiàn)在僅將圖像移位一個(gè)像素,則向量化的輸入將有很大的不同,并且神經(jīng)網(wǎng)絡(luò)將需要顯示很多示例,因此必須以相同的方式對(duì)移位的輸入進(jìn)行分類。
原理簡介
通過對(duì)稱性,不變性和群的視角,包含兩大原理:
“先驗(yàn)對(duì)稱性”
在許多高維ML問題的情況下,我們可以采用一個(gè)附加結(jié)構(gòu)信息,它來自輸入信號(hào)的幾何形狀。我們稱這種結(jié)構(gòu)為“先驗(yàn)對(duì)稱性”,它是一種普遍有效的原理,它使我們對(duì)由維數(shù)引起的問題感到樂觀。在我們的圖像分類示例中,輸入圖像x不僅是d維向量,而且是在某個(gè)域Ω上定義的信號(hào),在這種情況下,該信號(hào)是二維網(wǎng)格。
域的結(jié)構(gòu)由對(duì)稱群變換????(在我們的示例中為一組二位變換-作用于域上的點(diǎn)。在信號(hào)????(Ω)的空間中,底層域上的群動(dòng)作(群元素,????∈????)通過所謂的群表征ρ(????)來表示,在我們的例子中,上述操作是平移操作,即一個(gè)作用于d維向量的d×d矩陣。
輸入信號(hào)底層的域的幾何結(jié)構(gòu)為我們?cè)噲D學(xué)習(xí)的函數(shù) f 的類別施加了架構(gòu)信息。一個(gè)不變函數(shù)可以不受群的操作作用的影響,即對(duì)于任何????∈????和x,f(ρ(????)x)= f(x)。另一方面,函數(shù)可能具有相同的輸入和輸出結(jié)構(gòu),并且以與輸入相同的方式進(jìn)行轉(zhuǎn)換,這種函數(shù)稱為等變函數(shù),即滿足f(ρ(????)x)= ρ(???? )f(x)。
在計(jì)算機(jī)視覺領(lǐng)域中,圖像分類是一種典型的人們希望得到不變函數(shù)的任務(wù)(例如,無論貓位于圖像的什么位置,我們都希望將該圖分類為貓);而圖像分割任務(wù)的輸出是一個(gè)像素級(jí)別的標(biāo)簽掩模,這是一種等變函數(shù)(分割掩模需要遵循輸入圖像的變化)。
“尺度分離”
另一個(gè)強(qiáng)大的幾何先驗(yàn)是“尺度分離”。在某些情況下,我們可以通過“同化”附近的點(diǎn)并產(chǎn)生與粗粒度算子P相關(guān)的信號(hào)空間的層次結(jié)構(gòu),來構(gòu)建域的多尺度層次結(jié)構(gòu)(下圖中的Ω和Ω’)。
在這些粗尺度上,我們可以應(yīng)用粗尺度函數(shù)。我們分析出,如果一個(gè)函數(shù) f 可以被近似為粗粒度算子 P 和粗尺度函數(shù)的組合 f≈f’°P,則 f 是局部穩(wěn)定的。盡管 f 可能取決于長距離依賴,如果 f 是局部穩(wěn)定的,它們可以被分解為局部交互,然后向著粗尺度傳播。
這兩個(gè)原理為他們提供了一個(gè)非常通用的深度學(xué)習(xí)藍(lán)圖,可以在大多數(shù)用于表示學(xué)習(xí)的流行深度神經(jīng)體系結(jié)構(gòu)中得到認(rèn)可:一個(gè)典型設(shè)計(jì)由一系列等變層(例如,CNN中的卷積層)組成,可能遵循通過不變的全局池層將所有內(nèi)容聚合到一個(gè)輸出中。在某些情況下,也可以通過一些采用局部池化形式的粗化過程(coarsening procedure)來創(chuàng)建域的層次結(jié)構(gòu)。
這是一種非常通用的設(shè)計(jì),可以應(yīng)用于不同類型的幾何結(jié)構(gòu),包括幾何深度學(xué)習(xí)的“ 5G”(Grid,Groups,Graphs,Geodesics & Gauges):網(wǎng)格(具有全局轉(zhuǎn)換群的齊次空間),圖形(以及特殊情況下的集合)和流形,幾何先驗(yàn)通過全局等距不變性表示(可以使用測地學(xué)表示) 和局部規(guī)范的對(duì)稱性。
這些原則的實(shí)現(xiàn)導(dǎo)致了深度學(xué)習(xí)中當(dāng)今存在的一些最流行的體系結(jié)構(gòu):從平移對(duì)稱導(dǎo)出的卷積網(wǎng)絡(luò)(CNN)、圖神經(jīng)網(wǎng)絡(luò)、DeepSets和Transformers,實(shí)現(xiàn)了置換不變性, 時(shí)間扭曲不變導(dǎo)出的門控RNN(例如LSTM網(wǎng)絡(luò)),以及由規(guī)范對(duì)稱性導(dǎo)出的計(jì)算機(jī)圖形和視覺中使用的 Intrinsic Mesh CNN。
下一步他們還打算在“ 5G”上繼續(xù)“幾何深度學(xué)習(xí)”藍(lán)圖。
貌似高深的理論,用到了群論、微分幾何和各類機(jī)器學(xué)習(xí)高級(jí)算法,期待有更多研究人員參與并開展進(jìn)一步深入研究。
未來,也許整個(gè)深度學(xué)習(xí)“動(dòng)物園”的在原理上的統(tǒng)一真的不是夢。
責(zé)任編輯:haq
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4771瀏覽量
100719 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5500瀏覽量
121113
原文標(biāo)題:收藏 | 從“幾何深度學(xué)習(xí)”看深度學(xué)習(xí)江湖的統(tǒng)一
文章出處:【微信號(hào):vision263com,微信公眾號(hào):新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論