色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

通過解碼大腦活動提升語音的清晰度,使用深度學(xué)習(xí)方法直接從大腦信號中產(chǎn)生口語句子

DPVg_AI_era ? 來源:lq ? 2019-04-26 09:22 ? 次閱讀

Nature發(fā)表華裔作者論文:通過解碼大腦活動提升語音的清晰度,使用深度學(xué)習(xí)方法直接從大腦信號中產(chǎn)生口語句子,達(dá)到150個單詞,接近正常人水平。

大腦活動能夠解碼成語音了。

說話似乎是一項毫不費力的活動,但它其實是人類最復(fù)雜的動作之一。說話需要精確、動態(tài)地協(xié)調(diào)聲道發(fā)音器官結(jié)構(gòu)中的肌肉——嘴唇、舌頭、喉部和下頜。當(dāng)由于中風(fēng)、肌萎縮側(cè)索硬化癥或其他神經(jīng)系統(tǒng)疾病而導(dǎo)致言語中斷時,喪失說話能力可能是毀滅性的。

來自加州大學(xué)舊金山分校的科學(xué)家創(chuàng)造了更接近能夠恢復(fù)說話功能的腦機接口(brain–computer interface, BCI)。

腦機接口旨在幫助癱瘓患者直接從大腦中“讀取”他們的意圖,并利用這些信息控制外部設(shè)備或移動癱瘓的肢體,這項技術(shù)目前能夠使癱瘓的人每分鐘最多能打出8個單詞,而加州大學(xué)舊金山分享的研究人員開發(fā)了一種方法,使用深度學(xué)習(xí)方法直接從大腦信號中產(chǎn)生口語句子,達(dá)到150個單詞,接近正常人水平!

這項研究發(fā)表在最新一期《自然》雜志上,作者為Anumanchipalli以及華裔科學(xué)家Edward Chang等人。

每分鐘能夠生成150單詞,接近正常人類水平

加州大學(xué)舊金山分校的研究人員與5名志愿者合作,志愿者們接受了一項被稱為“顱內(nèi)監(jiān)測”的實驗,其中電極被用于監(jiān)測大腦活動,作為癲癇治療的一部分。

許多癲癇患者的藥物治療效果并不好,他們選擇接受腦部手術(shù)。在術(shù)前,醫(yī)生必須首先找到病人大腦中癲癇發(fā)作的“熱點”,這一過程是通過放置在大腦內(nèi)部或表面的電極來完成的,并監(jiān)測明顯的電信號高峰。

精確定位“熱點”的位置可能需要數(shù)周時間。在此期間,患者通過植入大腦區(qū)域或其附近的電極來度日,這些區(qū)域涉及運動和聽覺信號。這些患者一般會同意利用這些植入物進行額外的實驗。

ECoG電極陣列由記錄大腦活動的顱內(nèi)電極組成

此次招募的五名志愿者同意測試虛擬語音發(fā)生器。每個患者都植入了一兩個電極陣列:圖章大小的、包含幾百個微電極的小墊,放置在大腦表面。

實驗要求參與者背誦幾百個句子,電極會記錄運動皮層中神經(jīng)元的放電模式。研究人員將這些模式與患者在自然說話時嘴唇,舌頭,喉部和下頜的微小運動聯(lián)系起來。然后將這些動作翻譯成口語化的句子。

參與的志愿者大腦中的電極陣列位置

實驗要求母語為英語的人聽這些句子,以測試虛擬語音的流暢性。研究發(fā)現(xiàn),大約70%的虛擬系統(tǒng)生成的內(nèi)容是可理解的。

最終,這套新系統(tǒng)每分鐘能夠生成150單詞,接近自然講話的語速水平。而以前基于植入物的通信系統(tǒng)每分鐘可以生成大約8個單詞。

技術(shù)細(xì)節(jié):兩階段解碼方法

在這項工作中,研究人員使用了一種叫做高密度皮層腦電圖的技術(shù)來跟蹤志愿者說話時大腦中控制言語和發(fā)音器官運動的區(qū)域的活動,志愿者們被要求說了幾百句話。

為了重建話語,Anumanchipalli等人不是將大腦信號直接轉(zhuǎn)換為音頻信號,而是使用一種兩級解碼的方法。他們首先將神經(jīng)信號轉(zhuǎn)換為聲道發(fā)音器官運動的表示,然后將解碼的運動轉(zhuǎn)換為口語句子,如圖1所示。兩次轉(zhuǎn)換都使用了遞歸神經(jīng)網(wǎng)絡(luò)——一種人工神經(jīng)網(wǎng)絡(luò),在處理和轉(zhuǎn)換具有復(fù)雜時間結(jié)構(gòu)的數(shù)據(jù)時特別有效。

圖1:語音合成的腦機接口

在上圖A中,以前的語音合成研究采用的方法是使用腦電圖(ECoG)設(shè)備監(jiān)測大腦語音相關(guān)區(qū)域的神經(jīng)信號,并嘗試將這些信號直接解碼合成語音,使用一種稱為遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的人工神經(jīng)網(wǎng)絡(luò);

上圖B中,Anumanchipalli等人開發(fā)了一種不同的方法,RNN被用于兩階段解碼。其中一個解碼步驟是將神經(jīng)信號轉(zhuǎn)換成聲道發(fā)聲器官(紅色)的預(yù)估運動,涉及到語音生成的解剖結(jié)構(gòu)(嘴唇、舌頭、喉部和下頜)。為了在第一個解碼步驟中進行訓(xùn)練,作者需要每個人的聲道運動與他們的神經(jīng)活動關(guān)聯(lián)起來的數(shù)據(jù)。

因為無法直接測量每個人的聲道運動,Anumanchipalli等人構(gòu)建了一個RNN來預(yù)估這些運動,其訓(xùn)練數(shù)據(jù)是之前收集的大量聲道運動數(shù)據(jù)和語音錄音。這個RNN產(chǎn)生的聲道運動估計足以訓(xùn)練第一個解碼器。第二個解碼步驟將這些估計的動作轉(zhuǎn)換成合成語音。Anumanchipalli和他的同事的兩步解碼方法產(chǎn)生的口語句子的失真率明顯低于直接解碼方法獲得的句子。

與直接解碼聲學(xué)特征相比,作者采用的兩階段解碼方法能明顯減小聲音失真。如果可以獲得跨多種語音條件的海量數(shù)據(jù)集,那么直接合成可能會接近或優(yōu)于兩階段解碼的方法。

然而,考慮到現(xiàn)實中數(shù)據(jù)集的匱乏,解碼的中間階段會將聲道發(fā)音器官正常運動功能的信息帶入模型,并限制必須評估的神經(jīng)網(wǎng)絡(luò)模型的可能參數(shù)。這種方法似乎使神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)更高的性能。最終,反映正常運動功能的“仿生”方法可能在復(fù)制自然語言典型的快速、高精度通信方面發(fā)揮關(guān)鍵作用。

不能說話的個體也能實現(xiàn)語音合成

在腦機接口(BCI)研究中,包括新興的語音腦機接口領(lǐng)域,開發(fā)和采用允許跨研究進行有意義的比較的穩(wěn)健度量是一項挑戰(zhàn)。例如,重構(gòu)原始語音的錯誤等度量可能與腦機接口的功能性能(即聽者是否能聽懂合成的語音)幾乎沒有對應(yīng)關(guān)系。

為了解決這個問題,Anumanchipalli等人從語音工程領(lǐng)域出發(fā),開發(fā)了易于復(fù)制的人類聽眾語音可懂度測量方法。他們在眾包市場Amazon Mechanical Turk上招募用戶,讓志愿者識別合成語音中的單詞或句子。與重構(gòu)錯誤或以前使用的自動可懂度測量方法不同,這種方法直接測量語音對人類聽眾的可懂度,而不需要與原始話語進行比較。

Anumanchipalli和他的同事的研究結(jié)果為語音合成腦機接口的概念提供了令人信服證據(jù),無論是在音頻重建的準(zhǔn)確性方面,還是在聽者對產(chǎn)生的單詞和句子進行分類的能力方面。

然而,在通往臨床可行的語音腦機接口的道路上仍有許多挑戰(zhàn)。

重構(gòu)語音的可理解性仍遠(yuǎn)低于自然語音,腦機接口能否通過收集更大的數(shù)據(jù)集并繼續(xù)開發(fā)底層的計算方法來進一步改進還有待觀察。使用記錄局部腦活動的神經(jīng)接口可能比使用皮層腦電圖記錄的更為有效。例如,在腦機接口研究的其他領(lǐng)域,皮質(zhì)內(nèi)微電極陣列通常比皮質(zhì)腦電圖具有更高的性能。

目前所有語音解碼方法的另一個限制是需要使用語音來訓(xùn)練解碼器。因此,基于這些方法的腦機接口不能直接應(yīng)用于無法說話的人。但是Anumanchipalli和他的同事們發(fā)現(xiàn),當(dāng)志愿者在不發(fā)聲的情況下模仿語音時,語音合成仍然是可行的,盡管語音解碼的準(zhǔn)確率要低得多。無法產(chǎn)生語音相關(guān)動作的個體是否能夠使用語音合成腦機接口是未來研究的一個問題。

基于神經(jīng)解碼的無聲模仿語音合成

值得注意的是,在首次對腦機接口進行概念驗證研究以控制健康動物的手臂和手的運動之后,人們對這種腦機接口在癱瘓患者身上的適用性提出了類似的問題。隨后的臨床試驗令人信服地證明,使用腦機接口,人類可以快速交流、控制機械臂、恢復(fù)癱瘓肢體的感覺和運動等。

最后,這些令人信服的概念驗證證明了不能說話的個體也能實現(xiàn)語音合成,結(jié)合腦機接口在上肢癱瘓患者中的快速進展,研究人員認(rèn)為應(yīng)該大力考慮涉及言語障礙患者的臨床研究。隨著持續(xù)的進步,希望更多有語言障礙的人能夠重新獲得自由表達(dá)思想的能力,并重新與周圍的世界聯(lián)系起來。

華裔科學(xué)家解碼,馬斯克腦機接口公司也會有新動作

Nature這篇文章的作者之一是加州大學(xué)舊金山分校神經(jīng)外科教授Edward Chang博士。

Edward Chang

Edward Chang博士的研究重點是言語、運動和人類情感的大腦機制,同時他也是加州大學(xué)舊金山分校和加州大學(xué)伯克利分校的合作單位——神經(jīng)工程與假肢中心的聯(lián)合負(fù)責(zé)人。該中心匯集了工程、神經(jīng)病學(xué)和神經(jīng)外科方面的專家,以開發(fā)最先進的生物醫(yī)學(xué)技術(shù),用以恢復(fù)神經(jīng)系統(tǒng)殘疾患者的功能,如癱瘓和言語障礙。

Edward Chang博士表示,這次在Nature上的研究,“我們通過解碼大腦活動提升語音的清晰度,模擬的語音比從大腦中提取聲音表示的合成語音更準(zhǔn)確、更自然。”

人類將大腦與計算機相連的努力越來越多。

上個月,美國一組科學(xué)家在biorxiv.org上發(fā)表一篇論文,稱找到了快速將電線植入大鼠大腦的方法,論文中描述這個過程是“向人類大腦直接插入計算機潛在系統(tǒng)邁出的重要一步”。

研究人員將他們的系統(tǒng)稱為“縫紉機”(sewing machine),科學(xué)家在實驗室中移除一塊老鼠的頭骨并插入一根針頭,將柔性電極送入老鼠的腦組織。

彭博新聞報道,這組科學(xué)家與馬斯克的腦機接口公司Neuralink有各種松散關(guān)聯(lián)。

Neuralink于2016年注冊為加州的一家醫(yī)學(xué)研究公司,該公司聘請了來自不同大學(xué)的幾位知名神經(jīng)科學(xué)家,并與加州大學(xué)戴維斯分校的實驗室簽約,對靈長類動物進行研究。

本周三,當(dāng)Twitter用戶詢問Neurink的進展時,馬斯克說,“可能會在幾個月內(nèi)宣布一些值得注意的事情。”

馬斯克認(rèn)為,腦機接口技術(shù)能在2021年之前治療嚴(yán)重的腦損傷。此外,科學(xué)可以通過腦機接口擴大人類的能力。他舉了一個例子:人們可以通過心靈感應(yīng)來傳達(dá)復(fù)雜的概念,“你不需要用語言表達(dá)”。

人類是否有一天會與機器合并?馬斯克認(rèn)為,人類已經(jīng)在某種程度上做到了這一點,因為智能手機等近乎無所不在的技術(shù),因此腦機接口這項工作應(yīng)該繼續(xù)下去。

這可能會導(dǎo)致科幻未來,因為人們可以在腦海中下載外語,你覺得呢?

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標(biāo)題:Nature重磅:華裔科學(xué)家成功解碼腦電波,AI直接從大腦中合成語音

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    LED顯示屏高清晰度提升空間

    思考的問題。。LED顯示屏高清晰度提升空間那些呢?以下幾個方面我們可以獲悉:1、提高全彩LED顯示屏的對比 對比是影響視覺效果的關(guān)鍵因
    發(fā)表于 05-14 11:43

    AI工程師 10 個深度學(xué)習(xí)方法

    》(Playing Atari with Deep Reinforcement Learning) 提出了第一個可以成功地通過強化學(xué)習(xí)從高維感官輸入中直接學(xué)習(xí)控制策略的深度
    發(fā)表于 03-07 20:17

    【米爾百大腦EdgeBoard邊緣AI計算盒試用連載】III. 板載深度學(xué)習(xí)DEMO-detection測試-上(ZMJ)

    `1.簡介1.1功能簡介百大腦EdgeBoard計算盒/計算卡(FZ5)是一款基于Xilinx Zynq Ultrascale CZU5EV芯片打造的深度學(xué)習(xí)計算盒/計算卡,芯片內(nèi)部
    發(fā)表于 04-02 19:56

    啟英泰倫通話降噪方案,采用深度學(xué)習(xí)降噪算法,讓通話更清晰

    消除方案和基于深度學(xué)習(xí)的降噪方案推出了通話降噪方案,利用該方案可以實時消除回聲及環(huán)境噪聲,并通過算法優(yōu)化提升語音信號
    發(fā)表于 08-22 17:36

    清晰度電視廣播概述

    清晰度電視廣播概述:高清晰度和標(biāo)準(zhǔn)清晰度電視的比較,高清晰度演播室信號標(biāo)準(zhǔn),高清晰度電視數(shù)字視
    發(fā)表于 08-01 07:54 ?22次下載

    通過機器學(xué)習(xí)深度學(xué)習(xí)的手段,成功的老鼠的“吱吱”聲中解讀出20多種不同的含義

    最近研究人員們通過機器學(xué)習(xí)深度學(xué)習(xí)的手段,成功的老鼠的“吱吱”聲中解讀出20多種不同的含義,包括高興和愉悅的情緒。這一項目使得我們可以更
    的頭像 發(fā)表于 01-12 09:48 ?3626次閱讀

    華裔科學(xué)家成功解碼腦電波 AI直接大腦中合成語音

    通過解碼大腦活動提升語音清晰度,使用
    的頭像 發(fā)表于 04-28 16:36 ?3084次閱讀

    AI讀心術(shù):每分鐘能夠生成150單詞,接近正常人類水平

    Nature發(fā)表華裔作者論文:通過解碼大腦活動提升語音清晰
    的頭像 發(fā)表于 05-13 17:35 ?4155次閱讀

    讀心術(shù)成現(xiàn)實!大腦活動解碼語音

    加州大學(xué)舊金山分享的研究人員開發(fā)了一種方法,使用深度學(xué)習(xí)方法直接大腦
    的頭像 發(fā)表于 08-06 14:30 ?3457次閱讀

    /米爾基于百大腦EdgeBoard加速平臺推出FZ3深度學(xué)習(xí)計算卡

    大腦是百 AI 核心技術(shù)引擎,包括視覺、語音、自然語言處理、知識圖譜、深度學(xué)習(xí)等AI核心技
    發(fā)表于 04-01 09:03 ?3199次閱讀

    利用深度學(xué)習(xí)將腦電波進行解碼和轉(zhuǎn)換成文字

      這項研究建立在 以前的工作 由 Chang 和他的同事開發(fā)了一種解碼和轉(zhuǎn)換大腦信號深度學(xué)習(xí)方法。與目前的研究不同,先前研究的參與者能夠
    的頭像 發(fā)表于 04-08 10:28 ?1827次閱讀

    圖像清晰度的評價方法

    圖像清晰度是衡量圖像質(zhì)量的一個重要指標(biāo),對于相機來說,其一般工作在無參考圖像的模式下,所以在拍照時需要進行對焦的控制。對焦不準(zhǔn)確,圖像就會變得比較模糊不清晰。相機對焦時通過一些清晰度
    的頭像 發(fā)表于 10-11 10:48 ?3931次閱讀

    腦機接口解碼失語癱瘓者大腦活動

    在測試中,在參與者嘗試無聲地說出每個字母發(fā)音時,這一設(shè)備能夠解碼參與者的腦活動,從一個1152個單詞的詞匯表里(能夠覆蓋超過85%的英語語句),以每分鐘29.4個字符的速度生成句子,平
    發(fā)表于 11-11 12:34 ?600次閱讀

    影響LED透明屏清晰度的因素有哪些?怎樣提高LED透明屏的清晰度

    關(guān)鍵的方法和技術(shù)可以使用。 首先,增加像素密度是提高LED透明屏清晰度的有效方法之一。像素密度是指每平方英寸中的像素數(shù)量,較高的像素密度可以提供更多的細(xì)節(jié)和更精確的圖像。通過增加像素密
    的頭像 發(fā)表于 12-11 14:25 ?844次閱讀

    led屏幕清晰度級別

    LED 屏幕的清晰度確實可以分級別,? 這主要取決于其分辨率。? 分辨率是 LED 顯示屏畫質(zhì)的關(guān)鍵因素之一,? 它直接影響到圖像的清晰度和細(xì)節(jié)表現(xiàn)能力,以下是一些常見的 LED 屏幕清晰度
    的頭像 發(fā)表于 10-09 11:34 ?1693次閱讀
    主站蜘蛛池模板: 伊人国产在线视频| 男人和女人一级黄色大片| 亚洲.日韩.欧美另类| 国产69精品久久久久乱码免费 | 蛇缚dvd| 高清AV熟女一区| 手机在线亚洲日韩国产| 国产精品成人免费| 无码丰满人妻熟妇区| 国产精品自产拍在线观看网站| 同桌别揉我奶了嗯啊| 国产精品爽爽久久久久久蜜桃网站 | 99九九精品视频| 欧美5g影院天天爽天天看| qq快播电影网| 日韩欧美群交P内射捆绑 | 久艾草在线精品视频在线观看| 亚洲综合国产精品| 老阿姨才是最有味的一区二区| 2021国产精品久久久久精品免费网| 免费精品在线视频| 扒开屁股眼往里面夹东西| 色狠狠xx| 国产一区私人高清影院| 亚洲午夜性春猛交XXXX| 久久综合色悠悠| MM131亚洲精品久久安然| 色偷偷888欧美精品久久久| 国产三级在线观看视频| 亚洲一区二区三区免费看| 老妇xxxxbbbb| 凹凸精品视频分类视频| 天天躁日日躁狠狠躁中文字幕老牛| 国产在线精品视频二区| 在线不卡日本v二区到六区| 男生插曲女生身全过程| 芳草地社区在线视频| 亚洲精品高清AV在线播放| 老头操美女| 成人午夜剧场| 亚洲AV无码一区二区三区乱子伦 |