使用觸覺反饋的聽力替代

2075465 2022-11-10 | zip | 0.08 MB | 次下載 | 免費

資料介紹

描述

聾人養育聽力兒童

有沒有想過聾人養育聽力和口語的孩子，從嬰兒到青少年及以后有多么困難？

父母在育兒的每個階段都面臨著獨特的挑戰。

剛出生的嬰兒不會說話。他們知道的唯一交流就是哭泣。他們餓的時候哭，煩的時候哭，痛苦的時候哭。想象一個聾啞的父母，離嬰兒床很近，他們什么也聽不見！嬰兒的哭聲是聽不見的。嬰兒可能會感到真正的疼痛或不適，需要立即關注，但她的尖叫聲將不會被聽到。一款能夠聆聽嬰兒哭聲并通過可穿戴設備上的實時觸覺反饋通知失聰父母的設備怎么樣？

學齡前兒童與新生兒不同。他們學習了新的交流方式，他們學會了說話，但聾父母的問題仍然存在。他們無法聽到他們的小孩試圖交流的內容。但從積極的方面來說，孩子們可以學習使用智能手機或平板電腦，并且可以區分不同的圖像或圖標。是的，我說的是針對沒有聽力障礙兒童的聾啞父母的增強和替代交流 (AAC) ！

一款在平板電腦上運行的應用程序，幼兒可以通過它與失聰的父母交流如何？應用程序會將觸覺信號發送到可穿戴設備，失聰的父母將能夠識別信號模式。

大一點的孩子可能更喜歡說話而不是點擊圖標。如何通過語音映射類似的動作？

嬰兒連接

介紹“Baby Connect”，一款在平板電腦上運行的應用程序。應用程序通過藍牙連接到 Neosensory Buzz ，并在點擊屏幕上的圖標或按住屏幕上的錄制按鈕說出單詞時通過振動發送觸覺反饋。

在 iPad 上運行的 iOS 應用程序

該系統配有配備麥克風和環境傳感器的設備，用于監測 IAQ（室內空氣質量）、溫度、濕度、環境光。麥克風記錄周圍的聲音，并使用機器學習算法對其進行分析，以確定嬰兒是否在哭泣。

帶麥克風和 BME680 ENV 傳感器的設備

可充電的

Baby Connect 設備由 1100mAh 鋰電池供電，帶有 TP4046 充電模塊和為 Nano BLE Sense 供電的 5V 升壓器。我已經測試了通過 BLE 連接到 App 的設備，電池持續了 32 小時，這在我看來非常好。

應用程序背后的思考

增強和替代交流 (AAC) 是當孩子沒有能力使用語音作為主要交流方式時的一種交流方式。在研究 AAC 時，我意識到同樣的技術可以應用于聽力受損的父母。但后來我開始思考如何將 AAC 動作（圖標或圖像）轉化為振動。我一直在尋找一個代表不同 AAC 動作的編碼模式。最近我在看一部電影，其中一個人被困在廢棄的地下室幾個月，試圖通過燈泡使用摩爾斯電碼進行交流。在摩爾斯電碼中，有 DOT 和 DASH。僅使用一個具有不同模式的通道，我們就可以表示所有英語字母表。我決定采用類似的概念來表示 AAC 動作。使用新感覺嗡嗡聲，將動作映射到振動

在結合了 AAC 和摩爾斯電碼的概念后，我將每個 AAC 動作（例如 Like、Thank You、Hungry 等）映射到帶有 DOT 和 DASH 的視覺模式。與摩爾斯電碼的一個不同之處在于，在摩爾斯電碼中，信號是順序的，例如 DOT DOT DOT (S) 或 DASH DASH DASH (O)，但在這里，由于 Buzz 有 4 個可以獨立振動的電機，因此我們有 4 個通道。所以“LIKE”用DOT、DOT、DASH表示（電機1、2、3同時振動）

DOT用低頻50表示，DASH用高頻255表示。所以上面的“LIKE”動作用[50,50,255,0]表示，重復40次（40幀）

同樣，我已經將其他幾個 AAC 動作映射到振動，如上圖所示。

訓練你的大腦

所有這些映射聽起來可能很復雜，您一定想知道您的大腦如何知道振動模式的含義！但是你會驚訝于你的大腦學習這些模式的速度有多快。

過去，人們認為人的大腦在一定年齡后不會生長或變化，就像靜止的器官，但最近的研究和研究證明，神經網絡會隨著時間的推移而變化，產生新的通路并刪除舊的通路。這被稱為大腦可塑性。研究人員在倫敦市參加出租車駕駛考試前后研究了駕駛員的大腦，并觀察到考試后大腦中出現了新的神經通路。

類似地，觸覺反饋可用于使用常規的視覺或聽覺神經通路向大腦發送一些視覺信號或音頻信號。隨著時間的推移和練習，大腦會接受觸覺反饋并處理它們，就好像它們是從視網膜或耳朵接收到的一樣，代替失去的感覺。

還證明可以開發新的感官。例如，我們通常在深度睡眠時除了氣味之外什么都感覺不到，但可以訓練我們的大腦即使在睡眠時也能對一些觸覺反饋做出反應，從而創造新的感官。在培訓頁面上，應用程序將向用戶展示不同的卡片并振動嗡嗡聲。用戶必須猜出正確的卡片。如果選擇不正確，卡片將以紅色突出顯示。如果選擇正確，卡片將以綠色突出顯示，并顯示下一組卡片。隨著時間的推移，用戶將能夠使用圖標映射振動。

嬰兒活動監測

Baby Connect 設備在具有內置麥克風的 Arduino Nano BLE Sense 微控制器上運行 Edge Impulse 推理。麥克風錄制 3 秒音頻樣本并將音頻分類為 4 個標簽 - 噪音、饑餓、煩躁和痛苦。

我從不同的背景噪音中收集了 5 分鐘的噪音數據，例如人們說話、廚房水龍頭、切菜、空調、風扇等。大約 3 分鐘的饑餓、煩躁和疼痛。

對于嬰兒哭泣數據集，我使用了https://github.com/gveres/donateacry-corpus存儲庫，它是活動的一部分。我還收集了來自 youtube 的音頻。在分析不同類型的嬰兒哭聲時，我發現了饑餓與疼痛的模式。當寶寶痛苦時，會不停地哭泣，只是為了呼吸而休息。但是當他們餓的時候，你會注意到它們之間有一些空隙。但是很難區分饑餓和挑剔。目前，我的模型能夠以大約 85% 的準確率對噪音和嬰兒哭聲進行分類，但在區分饑餓、疼痛和挑剔方面并不是很好。我需要更多數據才能使這項工作更好。我將很快開始一項“捐贈”活動，以收集來自世界各地的數百個數據并增強模型。我還將開源 EI 項目，以便其他人可以做出貢獻。