電子發燒友網報道(文/李彎彎)據外媒報道,日本電氣大學與軟銀公司聯合,通過人工智能AI技術,能將手語直接翻譯成日語,這將使聾啞人士的溝通更順暢。
目前該系統只能用于柜臺設備上,聾啞人士能在攝像頭前通過手語溝通,然后系統用圖像識別技術,分析手指和手臂等身體幾個部位的骨骼運動,將手勢翻譯成日文,顯示在工作人員的電腦屏幕上,隨后口頭回復以文本的形式出現在聽障人士面前的屏幕上,使交流更加順暢。
該系統的核心技術由ABEJA提供,谷歌2018年投資了它,ABEJA的核心產品是使用機器學習幫助公司從他們的數據堆中開展商業分析。在這個項目中,ABEJA通過讓AI學習了5萬個手語視頻,使其捕捉到手語特征和變化,目前該系統能準確將手勢翻譯成大約1500個日語單詞。
早在2015年就有手語識別研究
人工智能技術的出現和逐漸成熟,不僅有利于產業升級,事實上很早開始,就有研究人員嘗試利用AI技術幫助聾啞人士更加順暢的交流。
2015年9月沙特設計師就專門研發了一款無線智能手套,內置傳感器,聾啞人戴上交流的時候,傳感器可以根據手指的運動追蹤手勢,再通過語言軟件轉換成聲音和文字,在初期,這款無線智能手套只會講法語、英語和阿拉伯語,該研究團隊表示,后續會支持更多種語言。
在中國也很早就有相關的研究,2016年有媒體報道,東大自動化專業李師寧等同學研發出了一種最新型的手語識別發聲系統,這是一種結合人體生物及姿態信息的便攜手語發聲器,聾啞人可以通過手語使該機器發聲翻譯。
2018年東北大學也研制出一款幫助聽障人士溝通交流的智能系統,由智能傳感手環、前端APP及云端服務組成,智能傳感手環可以將聽障人士的手語動作捕捉識別,并在云端轉換為文字及語音呈現在APP端,傳遞給非手語使用者,同時又可以將非手語使用者的語音在APP端轉換為文字加手語動圖的“雙語形式”。
百度、騰訊等互聯網巨頭企業也進行了相關研究,2019年百度在AI開發者大會上提出“Everyone can AI”的理想,意思是讓每個人都能有平等接收AI的能力,百度以百度飛槳開源內容為基礎建立訓練模型,通過采集手勢得到數據,借助手機轉化成文字信息,聽障人士可以使用翻譯器,在咖啡館、餐廳如同正常人一樣點餐、交流。
優圖AI手語翻譯機界面
同是在2019年,騰訊優圖實驗室也推出了一款基于自研算法的優圖AI手語翻譯機,以普通攝像頭作為手語采集裝置,用戶正對攝像頭完成手語表達,翻譯機就能通過后臺運算將手語快速翻譯成文字。據介紹,優圖AI手語翻譯機數據集覆蓋近千句日常表達,包括900個常用詞匯,同時還對數據進行了分析和歸納,是當前最大的中文手語識別數據集。
手語識別技術存在很大挑戰
相比于其他AI視覺識別技術,手語識別研發存在更大困難。在2018年東北大學的研究中,就透露出手語識別研究存在的現實問題,即每位聽障人士的手語規劃不同,同一個詞打出的手勢有差異,因此智能識別可能就沒那么準確。
不過好在2018年中央頒發了國家通用手語標準方案,這很大程度有利于后續手語轉文字或語音方面的研究。即使如此可能還是會存在細微差異,百度此前就表示,手語復雜、多樣、以及地域性差異給研究帶來不少困難。
百度還談到另外一大困難,即可用于訓練模型的數據量小,在上述日本的項目中,一位參與開發的軟銀工程師也表示,要建立一個將符號準確翻譯成日文的模型,需要大量的手語數據。因此他們通過網站等方式,呼吁更多人發送手語圖像數據。
小結
AI技術在服務產業升級的同時,也可以極大的幫助聾啞人群更好的實現溝通,這是這個時代的福音。據第二次全國殘疾人抽樣調查結果顯示,我國有2780萬聽障人士,如果能夠利用AI技術實現將手語實時翻譯成文字和語音,這將是一項極其有意義的事。
日本聾人聯合會認為,要使人工智能成為聾啞人群的有效工具,還需要很長的時間來實現。不過很明顯從2015年到現在,手語識別在逐漸取得進步,也有相當多的研究人員和企業投入其中,對于未來逐步突破困難取得更大進步還是值得期待。
-
AI
+關注
關注
87文章
30754瀏覽量
268902
發布評論請先 登錄
相關推薦
評論