一般來(lái)說(shuō)，這些體系結(jié)構(gòu)可以分為以下三類：

1 - 前饋神經(jīng)網(wǎng)絡(luò)

這是在實(shí)際應(yīng)用中最常見(jiàn)的一種神經(jīng)網(wǎng)絡(luò)類型。第一層是輸入，最后一層是輸出。如果有多個(gè)隱藏層，我們稱之為“深度”神經(jīng)網(wǎng)絡(luò)。它們計(jì)算出一系列改變案例之間相似性的轉(zhuǎn)換。各層后緊接著的非線性函數(shù)用于各層神經(jīng)元的激活。

2 - 循環(huán)神經(jīng)網(wǎng)絡(luò)

在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的連接圖中決定了循環(huán)的方向。這意味著你有時(shí)可以按照箭頭回到你開始的地方。循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)更接近生物的實(shí)際情況，其結(jié)構(gòu)有很復(fù)雜的動(dòng)態(tài)過(guò)程，這使得這種神經(jīng)網(wǎng)絡(luò)有時(shí)候難以訓(xùn)練。但是，目前已經(jīng)有大量有趣的研究已經(jīng)找到一些有效的方式來(lái)訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

循環(huán)神經(jīng)網(wǎng)絡(luò)是一種非常自然地模擬連續(xù)數(shù)據(jù)的方式，類似每個(gè)時(shí)間片都具有一個(gè)隱藏層的深層神經(jīng)網(wǎng)絡(luò)。除了能在每個(gè)時(shí)間片上獲得輸入并使用相同的權(quán)重進(jìn)行訓(xùn)練外，循環(huán)神經(jīng)網(wǎng)絡(luò)還能長(zhǎng)時(shí)間地記住隱藏狀態(tài)的信息。但目前還很難訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)使用這些隱藏的狀態(tài)信息。

3 - 對(duì)稱連接網(wǎng)絡(luò)

對(duì)稱連接網(wǎng)絡(luò)是一種類似循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，但是其單元之間的連接是對(duì)稱的（它們?cè)趦蓚€(gè)方向上具有相同的權(quán)重）。對(duì)稱連接網(wǎng)絡(luò)的結(jié)構(gòu)比循環(huán)神經(jīng)網(wǎng)絡(luò)更容易分析，因?yàn)槠渥裱芰亢瘮?shù)。

沒(méi)有隱藏單元的對(duì)稱連接網(wǎng)絡(luò)被稱為“Hopfield網(wǎng)絡(luò)”。有隱藏單元的對(duì)稱連接網(wǎng)絡(luò)被稱為“Boltzmann機(jī)”。

1. 感知器

感知器作為第一代神經(jīng)網(wǎng)絡(luò)，還只是單個(gè)神經(jīng)元的計(jì)算模型。它們?cè)诙兰o(jì)六十年代初被 Frank Rosenblatt 推廣。1969年，Minsky和Papert出版了一本名為“感知器”的書，分析了這種神經(jīng)網(wǎng)絡(luò)模型可以做什么，并提到了它的局限性。許多人認(rèn)為這些局限性限制了所有的神經(jīng)網(wǎng)絡(luò)模型。然而，目前感知器的學(xué)習(xí)過(guò)程仍然被廣泛應(yīng)用于具有包含數(shù)百萬(wàn)特征的巨大特征向量任務(wù)。

在統(tǒng)計(jì)與模式識(shí)別的標(biāo)準(zhǔn)樣例中，我們首先將原始輸入向量轉(zhuǎn)換為特征的激活向量。然后，基于常識(shí)的手寫程序，我們?yōu)槠涠x特征。接下來(lái)，我們學(xué)習(xí)如何對(duì)每個(gè)特征激活向量進(jìn)行加權(quán)計(jì)算以獲得單個(gè)標(biāo)量值。

如果這個(gè)數(shù)值高于某個(gè)閾值，我們認(rèn)為輸入向量是屬于目標(biāo)類的一個(gè)正樣本。標(biāo)準(zhǔn)的感知器體系結(jié)構(gòu)遵循前饋神經(jīng)網(wǎng)絡(luò)模型，這意味著輸入被饋送到神經(jīng)元，被處理，并產(chǎn)生輸出。

在下圖中，可以看到網(wǎng)絡(luò)自下而上讀取：輸入從底部輸入，輸出從頂部輸出：

然而，感知器確實(shí)有局限性。如果你遵循手動(dòng)選擇特征的原則，并且使用了足夠多的特征，則幾乎可以做任何事情。對(duì)于二進(jìn)制輸入向量，我們可以為每個(gè)指數(shù)級(jí)的二進(jìn)制向量分別設(shè)置一個(gè)特征單元，因此我們可以對(duì)二進(jìn)制輸入向量進(jìn)行任何可能的區(qū)分。但是一旦確定了手工編碼的特征，感知器所能學(xué)習(xí)的東西將會(huì)受到很多的限制。

這個(gè)結(jié)論對(duì)于感知器是毀滅性的，因?yàn)檎麄€(gè)模式識(shí)別的重點(diǎn)是識(shí)別模式。Minsky and Papert 研究組提出的“群體不變定理”說(shuō)明，一部分感知器的學(xué)習(xí)，如果轉(zhuǎn)換形成一個(gè)群體，那么感知器將無(wú)法學(xué)習(xí)。為了處理這種轉(zhuǎn)換，感知器需要使用多個(gè)特征單元來(lái)識(shí)別信息子模式的轉(zhuǎn)換。所以模式識(shí)別的棘手部分必須由手工編碼的特征檢測(cè)器來(lái)解決，而不是學(xué)習(xí)過(guò)程。

沒(méi)有隱藏單元的網(wǎng)絡(luò)是非常受限的，因?yàn)樗鼈冎荒軐W(xué)習(xí)輸入到輸出的映射。由于網(wǎng)絡(luò)結(jié)構(gòu)仍然是線性的，更多的線性單位層不會(huì)幫助也無(wú)法改善這個(gè)問(wèn)題。固定輸出的非線性也是不夠的。因此，我們需要多層自適應(yīng)非線性隱藏單元。

但是我們要如何訓(xùn)練這樣的網(wǎng)絡(luò)呢？

我們需要一種能夠適應(yīng)所有層權(quán)重的有效方式，而不僅僅是最后一層。這很難，因?yàn)閷W(xué)習(xí)隱藏單元的權(quán)重等同于學(xué)習(xí)特征，但沒(méi)有人能直接告訴我們隱藏單元應(yīng)該做什么。