神經(jīng)網(wǎng)絡(luò)中的遺忘

兩種遺忘方式的對(duì)比

查找記憶的刪除是一條一條的刪，而網(wǎng)絡(luò)記憶的刪除是斷開(kāi)連接。

學(xué)習(xí)中的遺忘

學(xué)習(xí)的過(guò)程是尋找符合所有情況的規(guī)律的過(guò)程

在這個(gè)過(guò)程中，有時(shí)候我們的大腦會(huì)斷開(kāi)連接，有時(shí)候又會(huì)重塑連接

假設(shè)猜想：如果我們的大腦不會(huì)斷開(kāi)連接，那么我們便會(huì)，只知道解決學(xué)習(xí)時(shí)已見(jiàn)過(guò)的情況，而不會(huì)解決未見(jiàn)過(guò)的情況。這樣的“學(xué)習(xí)”只能是記憶，記憶所有信息，卻不能找到共同的規(guī)律。（網(wǎng)絡(luò)的過(guò)擬合）

案例驗(yàn)證：比如現(xiàn)實(shí)生活中的雨人，他看完了一本書(shū)記住了里面的所有內(nèi)容，但他日常生活能力低下，四歲才會(huì)走路，現(xiàn)在都還不會(huì)系扣子，智力測(cè)試也只有87分。

學(xué)習(xí)后的遺忘

為什么已經(jīng)被記住的內(nèi)容還是會(huì)遺忘？

生存困難：尋找到普遍性的規(guī)律的生物，有大概率能存活，而只尋找到局部規(guī)律的生物，存活的概率變便很小。

演化結(jié)果：所以，大腦演化出一種該規(guī)律多次出現(xiàn)就強(qiáng)化該連接，出現(xiàn)次數(shù)少便弱化該連接的機(jī)制。這并不是為了忘記痛苦的記憶，或者節(jié)省能量，而是為了抑制局部規(guī)律形成的過(guò)擬合。

“ 你忘記所有的招式，就練成太極拳了”

原文：“太極拳只重其義，不重其招。你忘記所有的招式，就練成太極拳了。”

解釋：“忘記”并非字面意思，而是意為不要僅記住個(gè)別招式，而失去了應(yīng)對(duì)無(wú)限情況的能力。這里的招式是“已知”，“情況”是指任何情況，包括已知，也包括未知。由于人腦的長(zhǎng)期記憶也不是查找記憶，并不會(huì)去記憶每個(gè)情況，所以練太極拳的過(guò)程并不是記憶的過(guò)程，而是學(xué)習(xí)的過(guò)程。讓大腦的神經(jīng)網(wǎng)絡(luò)從這些有限的招式中泛化出普遍規(guī)律，便可自動(dòng)應(yīng)對(duì)無(wú)限情況。

翻譯：”情況無(wú)限，招式有限，需泛化有限招式，來(lái)應(yīng)對(duì)無(wú)限情況。”

總結(jié)

學(xué)習(xí)中的遺忘：由于尋找規(guī)律（學(xué)習(xí)）的過(guò)程中需要不斷的斷開(kāi)連接，重塑連接（不斷調(diào)整權(quán)重，構(gòu)建模型）

學(xué)習(xí)后的遺忘：為了提高泛化能力，防止模型的過(guò)擬合，根據(jù)連接的使用頻率，強(qiáng)化或弱化該連接的一種模型篩選機(jī)制。