大腦通過識別音節來分析口語。日內瓦大學(UNIGE)和不斷發展的語言國家能力研究中心(NCCR)的科學家設計了一種計算模型,該模型再現了中樞神經系統執行此操作所采用的復雜機制。該模型匯集了兩個獨立的理論框架,使用等效于大腦活動產生的神經元振動來處理關聯語音的連續聲音流。
該模型根據稱為預測編碼的理論起作用,從而大腦通過不斷嘗試基于候選假設(此模型中的音節)來預測感覺信號來優化感知。結果模型在《自然通訊》雜志上進行了描述,該模型有助于實時識別以自然語言說出的數百個句子中包含的數千個音節。這證實了神經元振動可以用來協調我們聽到的音節流與大腦預測的想法。
UNIGE醫學院基礎神經科學系教授,不斷發展的語言NCCR聯合主任Anne-Lise Giraud說:“腦部活動會產生可通過腦電圖測量的神經元振蕩。”這些是電磁波,是由整個神經元網絡的相干電活動產生的。有幾種類型,根據它們的頻率定義。它們被稱為α,β,θ,δ或γ波。這些節奏單獨或疊加在一起,與不同的認知功能相關,例如感知,記憶,注意力,機敏性等。
但是,神經科學家尚不知道他們是否對這些功能做出積極貢獻以及如何發揮作用。在2015年發表的一項較早研究中,Giraud教授的團隊表明,theta波(低頻)和gamma波(高頻)相互配合,對音節中的音流進行排序,并分析其內容,以便對其進行識別。
總部位于日內瓦的科學家根據這些生理節律開發了一種突跳的神經網絡計算機模型,該模型在現場(在線)音節排序方面的性能優于傳統的自動語音識別系統。
在他們的第一個模型中,theta波(介于4赫茲與8赫茲之間)使跟隨系統感知的音節節奏成為可能。伽馬波(大約30赫茲)用于將聽覺信號切成較小的切片并進行編碼。這會產生一個鏈接到每個聲音序列的“音素”配置文件,可以將其與后一個音節進行比較,并與已知音節庫進行比較。這種類型的模型的優點之一是,它可以自發地適應語音速度,語音速度可能因人而異。
在這篇新文章中,為了更接近生物學現實,Giraud教授和她的團隊開發了一種新模型,其中結合了來自另一個理論框架的元素,而與神經元振蕩無關:“預測編碼”。
“該理論認為,大腦的功能是如此之好,因為它一直在使用外界事件如何產生感官信號的學習模型來不斷嘗試預測和解釋環境中正在發生的事情。就口語而言,它試圖找到最有效的方法。根據已學到的,并且正在不斷更新的一組心理表征,可能會隨著聲音的發展而使耳朵感知到的聲音的可能原因。” Giraud小組的計算神經科學家Itsaso Olasagasti博士說。模型實施。
“我們開發了一種模擬這種預測編碼的計算機模型,”基礎神經科學系研究員,該論文的第一作者Sevada Hovsepyan解釋說。“而且我們通過引入振蕩機制來實現它。”
進入系統的聲音首先由類似于神經元種群產生的θ(慢)波調制。這樣就可以發信號通知音節的輪廓。然后,(快速)伽馬波序列有助于在音節被感知時對音節進行編碼。在此過程中,系統會建議可能的音節,并在必要時更正選擇。在兩個級別之間來回幾次后,它會發現正確的音節。隨后,系統在每個音節結束時將其重置為零。
該模型已成功使用220個句子中的2888個不同音節以英語自然語言進行了測試。Giraud教授說:“一方面,我們成功地將兩個非常不同的理論框架整合到一個計算機模型中。”“另一方面,我們已經表明,神經元振蕩很可能在節奏上使大腦的內源性功能與通過感覺器官從外部傳入的信號對齊。如果將其放回預測編碼理論中,則意味著這些振蕩可能使大腦大腦在正確的時機做出正確的假設。”
-
神經網絡
+關注
關注
42文章
4773瀏覽量
100876 -
計算模型
+關注
關注
0文章
29瀏覽量
9866 -
自然語言
+關注
關注
1文章
288瀏覽量
13359
發布評論請先 登錄
相關推薦
評論