色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

華裔教授成功解碼腦電波并合成語音

電子工程師 ? 來源:fqj ? 2019-04-29 15:24 ? 次閱讀

許多患有神經(jīng)疾病的患者因喪失語言能力,需要依賴特定的通訊設(shè)備進行溝通,這類設(shè)備利用腦機接口或者頭部、眼睛的動作來控制光標選擇字母,從而說出他們想說的話。但是,這個過程比人類的正常語速慢得多,往往是在蹦單詞。

4 月 25 日,Nature 雜志發(fā)表了加州大學舊金山分校(University of California San Francisco)的一項最新成果,該校神經(jīng)外科華裔教授 Edward Chang 及同事開發(fā)出一種可以將腦活動轉(zhuǎn)化為語音的解碼器。這套人類語音合成系統(tǒng),通過解碼與人類下頜、喉頭、嘴唇和舌頭動作相關(guān)的腦信號,并合成出受試者想要表達的語音。

視頻 | 神經(jīng)解碼的語音合成演示

研究人員表示,腦機接口正迅速成為恢復(fù)功能喪失的臨床可行手段,這項最新的研究成果解決了癱瘓和失語患者所面臨的重大挑戰(zhàn),并可能是讓他們恢復(fù)“說話”能力的重要一步。

在 Nature 雜志同時配發(fā)的評論文章中,埃默里大學和佐治亞理工學院的 Chethan Pandarinath 和 Yahia Ali 認為,這種使用控制嘴唇、舌頭、喉部和下頜運動的神經(jīng)信號合成語音的腦機接口設(shè)備,可以成為在失語者中恢復(fù)語音功能的奠基性工作。

解讀大腦的意圖

說話似乎是一件毫不費力的事,但實際上說話卻是人類執(zhí)行的最復(fù)雜的活動之一。它需要精確、動態(tài)地協(xié)調(diào)聲道咬合結(jié)構(gòu)中的肌肉、嘴唇、舌頭、喉部和下頜。

當一個人因中風、肌萎縮側(cè)索硬化(霍金即患此病)或其他神經(jīng)系統(tǒng)疾病而喪失語言功能和溝通能力時,對他的影響和打擊可能是毀滅性的。

如果有一種技術(shù),能將神經(jīng)活動轉(zhuǎn)化為言語,那對于因神經(jīng)損傷而無法溝通的人來說將具有變革性。理論上說,腦機接口技術(shù)可以通過直接從大腦“讀取”人的意圖,并使用該信息來控制外部設(shè)備或移動癱瘓的肢體,來幫助癱瘓的人完成說話或運動。

在科幻世界里,意念控制的實現(xiàn)可以順手拈來、輕而易舉。而在現(xiàn)實世界中,其背后的腦機接口技術(shù)已有近百年的歷史。科學家們也一直希望在該領(lǐng)域?qū)崿F(xiàn)科學研究與應(yīng)用技術(shù)的突破,為許多當前仍無法解答的難題提供更好的探索工具,幫助人類進一步了解自己的大腦,進而預(yù)防、診斷、治療腦部疾病及其他重大疾病,并將這一技術(shù)廣泛應(yīng)用于睡眠管理、智能生活和殘疾人康復(fù)等領(lǐng)域。

圖 | 使用特制語音合成器的史蒂芬·霍金

目前一些用于大腦控制打字的腦機接口技術(shù),依賴于測量頭部或眼睛的殘余非語言運動,或者依賴于控制光標以逐個選擇字母并拼出單詞,已經(jīng)可以幫助癱瘓的人通過設(shè)備每分鐘輸出多達 8 個單詞。

這些技術(shù)已經(jīng)給有嚴重溝通障礙的患者帶來了巨大的生活改善,但與自然語音每分鐘 150 個單詞的平均速度比起來,現(xiàn)有技術(shù)的輸出速度還是太慢了,距離通過腦機接口實現(xiàn)自然語音的流暢交流還有很大差距。

直接通過大腦活動信號來合成語音,是一種頗有前景的替代方案。拼寫只是離散字母的連續(xù)串聯(lián),而語音則是一種高效的通信形式。與基于拼寫的方法相比,直接語音合成具有幾個主要優(yōu)點。除了以自然語速傳遞無約束詞匯的能力之外,直接語音合成還能捕獲語音的韻律元素,例如音調(diào)、語調(diào),這些是文本輸出所不具備的。

此外,當前替代通信設(shè)備的實際限制是學習和使用它們所需的認知努力。因此,對于由肌萎縮性側(cè)索硬化或腦干中風引起的癱瘓患者,通過直接記錄來自大腦皮層的神經(jīng)控制信號來合成語音,是實現(xiàn)自然語言高通信速率的唯一手段,也是最直觀的方法。

2017 年, 本文作者 Edward Chang 以及他的研究生 Claire Tang 就曾在 Science雜志發(fā)表論文,闡述大腦皮層顳上回神經(jīng)元在語言中的重要性。研究發(fā)現(xiàn)了人類大腦中用于辨別相對聲調(diào)變化的神經(jīng)元,這種神經(jīng)元可以幫助人類在語言中明確表達感情、交流思想。

圖 | Edward Chang 教授

但揭示大腦信號如何控制聲道發(fā)音部位的運動仍具有挑戰(zhàn)性。因為說話這一過程需要對聲道咬合部位進行非常精確和快速的多維控制。而且,語音合成還存在一個與以往完全不同的挑戰(zhàn),就是解碼聲道運動和聲音之間復(fù)雜的對應(yīng)關(guān)系。自然語音產(chǎn)生涉及 100 多塊小肌肉,從肌肉運動到聲音的映射也不是一對一的。

合成能聽懂的語音

在 Nature 的這項最新研究中,為了實現(xiàn)將腦信號轉(zhuǎn)換為可理解的合成語音,并且是以流利說話者的速度輸出,研究人員設(shè)計了一種神經(jīng)解碼器,明確地利用人類皮層活動中編碼的運動學和聲音表征來合成可聽語音。

研究人員招募 5 名正在接受癲癇治療的參與者,作為癲癇治療的一部分,他們會通過電極監(jiān)測大腦活動。研究人員在 5 名受試者大聲說出幾百個句子時,記錄下他們的高密度腦電圖(ECoG)信號,并跟蹤控制語音和發(fā)生部位運動的大腦區(qū)域活動。

為了重建語音,研究人員設(shè)計了一種循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),首先將記錄的皮質(zhì)神經(jīng)信號轉(zhuǎn)化為聲道咬合關(guān)節(jié)運動,然后將這些解碼的運動轉(zhuǎn)化為口語句子。

華裔教授成功解碼腦電波并合成語音

圖 | 用于語音合成的腦機接口

以前的語音合成研究采用了上圖 a 的方法,即使用腦電圖設(shè)備監(jiān)測大腦語音相關(guān)區(qū)域的神經(jīng)信號,并嘗試使用循環(huán)神經(jīng)網(wǎng)絡(luò)將這些信號直接解碼為合成語音。

而 Edward Chang 以及同事開發(fā)了一種不同的方法(上圖 b),將解碼分為兩個步驟。

第一步,將神經(jīng)信號轉(zhuǎn)換成聲道咬合部位的運動(紅色),這其中涉及語音產(chǎn)生的解剖結(jié)構(gòu)(嘴唇、舌頭、喉和下頜)。而為了實現(xiàn)神經(jīng)信號到聲道咬合部位運動的轉(zhuǎn)化,就需要大量聲道運動與其神經(jīng)活動相關(guān)聯(lián)的數(shù)據(jù)。但研究人員又難以直接測量每個人的聲道運動,因此他們建立了一個循環(huán)神經(jīng)網(wǎng)絡(luò),根據(jù)以前收集的大量聲道運動和語音記錄數(shù)據(jù)庫來建立關(guān)聯(lián)。

第二步,將聲道咬合部位的運動轉(zhuǎn)換成合成語音

華裔教授成功解碼腦電波并合成語音

圖 | 神經(jīng)解碼語音合成過程

研究人員的這種兩步解碼方法,產(chǎn)生的語音失真率明顯小于使用直接解碼方法所獲得的語音。在包含 101 個句子的試驗中,聽者可以輕松地識別并記錄下合成的語音。

在另外的測試中,一名受試者首先按要求說出句子,然后再不出聲地做出相同的發(fā)音動作。結(jié)果表明,無聲言語的合成效果不如有聲言語,但是研究人員認為仍有可能解碼無聲言語的特征。

所有當前用于語音解碼的方法都需要使用發(fā)聲語音訓練解碼器,基于這些方法的腦機接口技術(shù)也就不能讓不會說話的人上手就用。對于已經(jīng)喪失說話能力的患者來說,無法發(fā)聲訓練解碼器是一個大問題。

但 Edward Chang 表示,雖然語音解碼的準確性大大降低,但受試者在沒有聲音的情況下模仿發(fā)音仍然可以進行語音合成。至于那些不再產(chǎn)生語音相關(guān)運動的個體是否適用這套最新的語音合成腦機接口系統(tǒng),還需要未來的進一步研究。

Chethan Pandarinath 和 Yahia Ali 認為,無論是在語音重建的準確性方面,還是在聽眾對所產(chǎn)生語句的辨識力方面,Edward Chang 及其同事的研究結(jié)果都為語音合成腦機接口的概念驗證提供了令人信服的證據(jù)。

不過,要使該系統(tǒng)真正成為一個臨床可行的語音合成腦機接口,還存在許多挑戰(zhàn),畢竟重構(gòu)語音的可懂度(intelligibility)仍遠低于自然語音。好在,通過收集更大的數(shù)據(jù)集并繼續(xù)開發(fā)基礎(chǔ)計算方法,或許可以進一步改善語音合成腦機接口技術(shù)。

由于不能直接在動物身上進行相關(guān)研究,這在一定程度上限制了人類語言產(chǎn)生的研究進展,但近十年來,隨著深度學習和人工神經(jīng)網(wǎng)絡(luò)的出現(xiàn),以及多學科協(xié)作的能力,從探索語言相關(guān)大腦區(qū)域的開創(chuàng)性臨床研究,到語音合成腦機接口的概念證明,都取得了引人注目的快速發(fā)展。

隨著語音合成腦機接口的概念證明,我們期待有關(guān)臨床試驗的早日開展,也期待那些語言障礙患者能夠早日重獲自由說話并與世界重新聯(lián)系的能力。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 解碼
    +關(guān)注

    關(guān)注

    0

    文章

    181

    瀏覽量

    27380
  • 合成
    +關(guān)注

    關(guān)注

    0

    文章

    16

    瀏覽量

    13780
  • 腦電波
    +關(guān)注

    關(guān)注

    0

    文章

    52

    瀏覽量

    16996

原文標題:Nature今發(fā)表腦機接口領(lǐng)域重大突破:華裔教授成功解碼腦電波,并合成語音

文章出處:【微信號:deeptechchina,微信公眾號:deeptechchina】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    基于語音識別的智能會議系統(tǒng)具備哪些交互功能

    標貝科技專注智能語音交互領(lǐng)域多年,在語音識別和語音合成領(lǐng)域有著多項大型企業(yè)合作案例,標貝與多個智能會議系統(tǒng)廠商合作,成功
    的頭像 發(fā)表于 12-20 10:35 ?47次閱讀

    ADS1299EEGFE-PDK按照手冊里設(shè)置后,無法產(chǎn)生正常的腦電波波形是怎么回事?

    ADS1299EEGFE-PDK按照手冊里設(shè)置后,無法產(chǎn)生正常的腦電波波形,如圖: 我的軟件配置: 手冊里設(shè)置截圖:
    發(fā)表于 12-04 07:55

    智能語音的驅(qū)動力:揭秘8腳語音芯片在智能設(shè)備中的非凡角色

    語音技術(shù)滲透生活,8腳語音芯片以微縮體積、低功耗、卓越性能成智能設(shè)備語音功能核心,集成識別、合成、壓縮解碼等功能,實現(xiàn)精準
    的頭像 發(fā)表于 12-02 14:23 ?146次閱讀

    ADS1299開發(fā)板怎么接線測腦電信號,用什么樣的線采集腦電波,在哪個位置?

    ADS1299開發(fā)板怎么接線測腦電信號,用什么樣的線采集腦電波,在哪個位置
    發(fā)表于 11-26 06:51

    ADS1299開發(fā)板測試的波形不對是什么原因?qū)е碌模?/a>

    這不是腦電波形啊 是我的設(shè)置有什么錯誤嗎
    發(fā)表于 11-26 06:16

    能在DSP的存儲器上存MP3或其他格式的音頻文件,由DSP讀后控制TLV320AIC23轉(zhuǎn)換成語音

    我想用TLV320AIC23和DSP做一個音頻系統(tǒng)。我想問一下能在DSP的存儲器上存MP3或其他格式的音頻文件,由DSP讀后控制TLV320AIC23轉(zhuǎn)換成語音?有沒有好的方案推薦謝謝!
    發(fā)表于 11-01 06:45

    TPA3110D2+SYN6658不發(fā)音,測量功放沒有輸出怎么解決?

    電路圖如下圖,大神幫忙分析下,沒搞過音頻,比較陌生之前用了一款TPA2005D1沒問題,聲音小給換成TPA3110D2了就不行了,測量SYN6658合成語音后有信號輸出信號是在1.5V左右波動,這個正常,進了TPA3110就沒了
    發(fā)表于 09-09 07:34

    簡儀高性能平臺在小鼠腦電波實驗中的應(yīng)用

    在生物實驗測試中,準確捕捉小鼠在各種刺激信號下腦電波的變化是至關(guān)重要的。這些刺激信號包括聲音、視覺和觸覺等,它們通過不同的方式影響小鼠的神經(jīng)系統(tǒng)。為了深入理解這些刺激對小鼠行為和神經(jīng)活動
    的頭像 發(fā)表于 08-02 15:17 ?340次閱讀
    簡儀高性能平臺在小鼠<b class='flag-5'>腦電波</b>實驗中的應(yīng)用

    stm32f0怎么不使用語音IC做合成語音

    我這邊板子就一個功放電路,要求不使用語音IC做語音,我聽別人說去了解MP3這一方面,但我只找到MCU軟解碼,但我怎么不了解,不清楚怎么做成自己的語音,要的是
    發(fā)表于 04-25 06:00

    WT3000T8-TTS語音合成芯片及應(yīng)用場景介紹

    TTS語音合成芯片是一種能夠?qū)⑽谋拘畔⑥D(zhuǎn)化為自然語音的專用芯片。它通過內(nèi)置的語音合成算法和音頻處理單元,實現(xiàn)了文本到
    的頭像 發(fā)表于 04-18 18:03 ?876次閱讀

    能不能把單片機上的蜂鳴器換成語音播放模塊

    我的畢設(shè)選題是基于單片機的智能語音門禁系統(tǒng)設(shè)計與實現(xiàn),所以我在網(wǎng)上買了個智能門鎖的板子,但是它沒有語音播放,我就想著能不能把蜂鳴器換成語音播放模塊,讓它開鎖的時候播放語音
    發(fā)表于 03-26 10:26

    玩轉(zhuǎn)語音合成芯片(TTS芯片),看這一篇就夠了

    什么是語音合成芯片:語音合成芯片也稱為TTS芯片,即文字轉(zhuǎn)語音芯片,是一種能夠?qū)⑤斎氲奈淖中畔⑥D(zhuǎn)換為語音
    的頭像 發(fā)表于 03-19 18:13 ?1395次閱讀
    玩轉(zhuǎn)<b class='flag-5'>語音</b><b class='flag-5'>合成</b>芯片(TTS芯片),看這一篇就夠了

    語音合成技術(shù)在智能駕駛中的應(yīng)用與挑戰(zhàn)

    一、引言 隨著智能駕駛技術(shù)的不斷發(fā)展,人機交互變得越來越重要。語音合成技術(shù)作為人機交互的重要手段,在智能駕駛中發(fā)揮著越來越重要的作用。本文將探討語音合成技術(shù)在智能駕駛中的應(yīng)用,并分析所
    的頭像 發(fā)表于 02-02 10:34 ?412次閱讀

    語音合成技術(shù)在智能駕駛中的創(chuàng)新與應(yīng)用

    一、引言 隨著智能駕駛技術(shù)的不斷發(fā)展,人機交互變得越來越重要。語音合成技術(shù)作為人機交互的重要手段,在智能駕駛中發(fā)揮著越來越重要的作用。本文將探討語音合成技術(shù)在智能駕駛中的創(chuàng)新與應(yīng)用,并
    的頭像 發(fā)表于 02-01 18:09 ?638次閱讀

    語音合成技術(shù)在智能駕駛中的應(yīng)用與展望

    一、引言 隨著科技的飛速發(fā)展,語音合成技術(shù)逐漸成為人機交互領(lǐng)域的重要分支。在智能駕駛環(huán)境中,語音合成技術(shù)更是發(fā)揮著不可或缺的作用。它不僅簡化了人機交互過程,還為駕駛員提供了更加便捷、安
    的頭像 發(fā)表于 02-01 17:50 ?516次閱讀
    主站蜘蛛池模板: 风月宝鉴之淫乱英雄传 电影| 亚洲男人在线观看| 欧美大片xxxxbbbb| 蜜芽无码亚洲资源网站| 女人十八毛片水真多啊| 欧美日韩一级黄色片| 日韩精品一区二区三区色欲AV| 秋霞午夜一级理论片久久| 日韩精品人成在线播放| 少妇无码吹潮久久精品AV| 亚洲 日韩 国产 制服 在线| 亚洲国产高清福利视频| 伊人久久五月丁婷婷| adc影院在线| 国产精品女主播主要上线| 国产亚洲精品视频在线网| 久久青草在线视频精品| 琪琪婷婷五月色综合久久| 午夜伦理伦理片在线观| 伊人狼人久久精品热9| ankha成人| 国产线精品视频在线观看| 美女张开腿露尿口给男人亲 | 大胸美女被C得嗷嗷叫动态图| 国产精品成人在线播放| 久久亚洲伊人中字综合精品| 人人听力网mp3下载| 亚洲色欲国产AV精品综合| 99国内偷揿国产精品人妻| 国产精品点击进入在线影院高清| 精品亚洲视频在线观看| 日本孕妇大胆孕交| 51精品国产AV无码久久久密桃 | 中文字幕绝色少妇性| 国产精品97久久久久久AV色戒 | 中文字幕一区二区三区在线播放| yellow在线观看免费观看大全| 狠狠色狠狠色88综合日日91| 秋霞电影网午夜鲁丝片| 91久久综合精品国产丝袜长腿| 国产囗交10p|