老的書寫藝術(shù)將腦-機(jī)接口（BCI）領(lǐng)域推向了一個(gè)新的高度。研究人員設(shè)計(jì)了一個(gè)系統(tǒng)，通過想象創(chuàng)造手寫信息，一個(gè)人可以從大腦中直接與計(jì)算機(jī)通信。這種方法使交流的速度比以前通過大腦實(shí)驗(yàn)打字的速度快一倍多。

斯坦福大學(xué)的研究人員對(duì)一名65歲的脊髓損傷患者進(jìn)行了這項(xiàng)研究，該患者的大腦中植入了一個(gè)電極陣列。科學(xué)家們最近在《自然》雜志上描述了這項(xiàng)實(shí)驗(yàn)。

密歇根大學(xué)生物醫(yī)學(xué)工程師Cynthia Cheste沒有參與這項(xiàng)研究，但她表示：“這篇論文的重大突破是它的速度非常快。這至少是健全人的打字速度的一半，這就是為什么這篇論文可以發(fā)表在Nature上面。”

多年來，研究人員一直在試驗(yàn)一種方法，使人們能夠直接與計(jì)算機(jī)溝通，只通過思想，而不是口頭命令，手的運(yùn)動(dòng)，或眼球運(yùn)動(dòng)。這種技術(shù)為那些因腦中風(fēng)或疾病“被困”而不能說話的人提供了一種賦予生命的交流方式。

到目前為止，成功的腦機(jī)接口打字方法通常包括人們通過想象在數(shù)字鍵盤上移動(dòng)光標(biāo)來選擇字母。與此同時(shí)，電極記錄大腦活動(dòng)，機(jī)器學(xué)習(xí)算法破譯與這些想法相關(guān)的模式，將它們翻譯成鍵入的單詞。以前的大腦打字實(shí)驗(yàn)中，速度最快的一次實(shí)現(xiàn)了人們每分鐘打字40個(gè)字符，即8個(gè)單詞。

能做到這一點(diǎn)令人印象深刻，但在現(xiàn)實(shí)生活中，這種溝通的速度還是相當(dāng)慢。斯坦福大學(xué)的研究人員通過一個(gè)解碼與筆跡相關(guān)的大腦活動(dòng)的系統(tǒng)，能夠?qū)⑦@一速度提高一倍以上。在這個(gè)新系統(tǒng)中，癱瘓了大約10年的參與者可以想象他寫句子時(shí)手的動(dòng)作來進(jìn)行“打字”。斯坦福大學(xué)的研究人員Frank Willett參與了這項(xiàng)實(shí)驗(yàn)。

植入受試者大腦運(yùn)動(dòng)皮層的微電極陣列記錄了他試圖寫字時(shí)單個(gè)神經(jīng)元的電活動(dòng)。Willett表示：“受試者已經(jīng)十多年沒動(dòng)過手，也沒試過寫字了，我們?nèi)匀辉O(shè)定了這些漂亮的神經(jīng)活動(dòng)模式。”

在實(shí)驗(yàn)中，一名受試者可以每分鐘輸入 90 個(gè)字符（即18個(gè)單詞），這是此前使用腦機(jī)接口打字紀(jì)錄的兩倍多，接近同齡健全人每分鐘 115 個(gè)字符的智能手機(jī)打字速度，而且在線原始準(zhǔn)確率為 94.1%，離線自動(dòng)校正的準(zhǔn)確率超過 99%。

斯坦福大學(xué)的研究人員通過重新利用最初為語音識(shí)別開發(fā)的機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)了這一壯舉。這種被稱為遞歸神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法，經(jīng)過幾個(gè)小時(shí)的訓(xùn)練，可以識(shí)別參與者在想象英文手寫句子時(shí)的神經(jīng)活動(dòng)。Willett說，神經(jīng)網(wǎng)絡(luò)通常被訓(xùn)練成使用數(shù)萬小時(shí)的音頻數(shù)據(jù)和數(shù)百萬張圖像來識(shí)別語音和圖像。因此，筆跡實(shí)驗(yàn)面臨的挑戰(zhàn)是在有限的數(shù)據(jù)量下實(shí)現(xiàn)高精度。

同時(shí)，Willett表示：“為了克服這個(gè)問題，研究小組采用了數(shù)據(jù)增強(qiáng)技術(shù)。我們只有機(jī)會(huì)收集大約100-500個(gè)不同的句子，我們可以讓參與者寫。所以我們把這些句子切碎成單獨(dú)的字母，重新排列成無數(shù)不同的句子，我們發(fā)現(xiàn)這確實(shí)有助于這些算法準(zhǔn)確性的提高。”

研究人員發(fā)現(xiàn)，由于神經(jīng)活動(dòng)的高峰和低谷因時(shí)間有所不同，可能由于書寫速度的波動(dòng)，神經(jīng)活動(dòng)似乎是強(qiáng)烈和可重復(fù)的。為了直觀地觀察筆跡嘗試過程中記錄的神經(jīng)活動(dòng)，他們使用時(shí)間比對(duì)技術(shù)來消除時(shí)間變異性，這揭示了每個(gè)字符特有的顯著一致的神經(jīng)活動(dòng)模式。

為了確定神經(jīng)活動(dòng)是否編碼繪制了每個(gè)形狀所需的筆尖運(yùn)動(dòng)，研究人員通過從試驗(yàn)平均神經(jīng)活動(dòng)中線性解碼筆尖速度來重建每個(gè)字符，容易辨認(rèn)的字母形狀證實(shí)了筆尖速度是可靠編碼的，代表筆尖速度的神經(jīng)維度占總神經(jīng)方差的 30%。

其次，研究人員采用非線性降維方法（t-SNE），對(duì)每個(gè)試驗(yàn)的神經(jīng)活動(dòng)進(jìn)行二維（2D）可視化，在對(duì)受試者給出 “go” 的提示后記錄相關(guān)信息。

t-SNE 方法顯示了每個(gè)字符的神經(jīng)活動(dòng)緊密簇和一種主導(dǎo)運(yùn)動(dòng)編碼，在這種編碼中，書寫相似的字符更接近，將近鄰分類器離線應(yīng)用到神經(jīng)活動(dòng)中，可以對(duì)字符進(jìn)行分類，準(zhǔn)確率為 94.1%。

于是，研究人員得出結(jié)論，即使在癱瘓多年后，運(yùn)動(dòng)皮層中筆跡的神經(jīng)表征可能仍足夠強(qiáng)大，可以通過腦機(jī)接口技術(shù)表達(dá)出來。研究人員經(jīng)對(duì)比分析，手寫字母可能比點(diǎn)對(duì)點(diǎn)運(yùn)動(dòng)更容易區(qū)分，因?yàn)槭謱懽帜傅纳窠?jīng)活動(dòng)時(shí)空模式比直線運(yùn)動(dòng)更為多樣，而隨時(shí)間變化的運(yùn)動(dòng)模式，從根本上說比點(diǎn)對(duì)點(diǎn)運(yùn)動(dòng)更容易解碼。

雖然，當(dāng)前的實(shí)驗(yàn)結(jié)果證明了高性能 “手寫” 腦機(jī)接口是可能的，但它目前還不是一個(gè)完整的、臨床上的商用系統(tǒng)。接下來還有更多工作值得探索，比如進(jìn)一步提高打字性能，擴(kuò)展字符集、啟用文本編輯和刪除等操作。密歇根大學(xué)的Chestek表示：“實(shí)驗(yàn)中提出的技術(shù)和算法適用于其他研究領(lǐng)域，例如將大腦連接到假手。不管這是否是最好的溝通方式，總體上來說，這種方法對(duì)于電機(jī)控制來說是很有前途的。”

目前的算法必須針對(duì)每個(gè)參與者進(jìn)行培訓(xùn)和定制。它們還必須隨著時(shí)間的推移重新校準(zhǔn)，因?yàn)樯窠?jīng)元往往會(huì)隨著時(shí)間的推移而改變，電極陣列可能會(huì)稍微移動(dòng)。Willett表示，下一步他希望減少初始訓(xùn)練時(shí)間，并想出一種算法自動(dòng)重新校準(zhǔn)的方法。

原文標(biāo)題：腦機(jī)接口打破以往打字速度紀(jì)錄

文章出處：【微信公眾號(hào)：IEEE電氣電子工程師】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq