據(jù)麥姆斯咨詢報(bào)道，近日，新加坡國(guó)立大學(xué)Chengkuo Lee教授團(tuán)隊(duì)提出了一種具有多模態(tài)傳感和反饋功能的增強(qiáng)觸覺感知和觸覺反饋指環(huán)（augmented tactile-perception and haptic-feedback rings，ATH指環(huán)）。通過融合多模態(tài)傳感和反饋功能，成功構(gòu)建了具有跨空間感知能力的交互式“元宇宙（Metaverse）”平臺(tái)，給人一種面對(duì)面的沉浸式虛擬社交體驗(yàn)。

基于ATH指環(huán)的智能系統(tǒng)，具有多模態(tài)傳感和反饋功能

新提出的“元宇宙”概念是指利用虛擬現(xiàn)實(shí)（VR）技術(shù)增強(qiáng)真實(shí)空間和網(wǎng)絡(luò)空間之間聯(lián)系的3D虛擬世界網(wǎng)絡(luò)?；赩R技術(shù)的數(shù)字化世界可以通過模擬人的感覺為用戶帶來與現(xiàn)實(shí)交互的沉浸式體驗(yàn)，在社交、教育、游戲、培訓(xùn)、康復(fù)等領(lǐng)域顯示出巨大的發(fā)展前景。為了建立沉浸式虛擬現(xiàn)實(shí)系統(tǒng)，除了通過頭戴式顯示器實(shí)現(xiàn)視覺刺激外，其他可同時(shí)感知人體運(yùn)動(dòng)和模擬人體感覺的可穿戴設(shè)備（例如數(shù)據(jù)手套、VR套裝等）最近也受到了極大關(guān)注，以進(jìn)一步連接物理世界和網(wǎng)絡(luò)世界。

手部的感覺和運(yùn)動(dòng)神經(jīng)比其他身體部位更復(fù)雜，使其手指可以高度靈活地在VR系統(tǒng)中實(shí)現(xiàn)復(fù)雜的交互。目前成熟的手指運(yùn)動(dòng)跟蹤傳感技術(shù)包括傳統(tǒng)的基于相機(jī)和慣性測(cè)量單元的剛性解決方案，以及基于電阻率、電容性和光纖等機(jī)制的使用可拉伸和柔性材料的柔性解決方案。為了進(jìn)一步降低設(shè)備功耗，自供電傳感機(jī)制在開發(fā)長(zhǎng)期可持續(xù)的便攜式系統(tǒng)方面也顯示出獨(dú)特的優(yōu)勢(shì)。其中，基于摩擦電的傳感技術(shù)具有材料選擇多樣、制造工藝簡(jiǎn)單、成本低、自發(fā)信號(hào)等優(yōu)點(diǎn)，為開發(fā)具有極低功耗的高度靈活的手指感知系統(tǒng)提供了新的可能性。

可穿戴驅(qū)動(dòng)系統(tǒng)也是增強(qiáng)虛擬世界中交互體驗(yàn)不可或缺的部分，并且已經(jīng)開發(fā)了各種機(jī)制以實(shí)現(xiàn)觸覺感知。然而，當(dāng)前大多數(shù)用于VR傳感/反饋設(shè)備的可穿戴解決方案是基于手套的，結(jié)構(gòu)復(fù)雜，且需要大的外部驅(qū)動(dòng)電源。高度集成的多功能環(huán)形機(jī)械手，具有緊湊設(shè)計(jì)、自供電傳感器和低壓驅(qū)動(dòng)反饋單元，與物聯(lián)網(wǎng)（IoT）便攜式平臺(tái)完全兼容，可在VR應(yīng)用中長(zhǎng)期使用。

基于此，研究人員設(shè)計(jì)了一種用于VR應(yīng)用的ATH指環(huán)，其包括用于連續(xù)彎曲傳感的摩擦納米發(fā)電（TENG）觸覺傳感器、用于溫度檢測(cè)的柔性熱電傳感器、用于振動(dòng)觸覺反饋的偏心旋轉(zhuǎn)質(zhì)量（eccentric rotating mass，ERM）振動(dòng)器以及用于熱觸覺反饋的鎳鉻合金（NiCr）金屬線。所有傳感器和觸覺模擬器都集成到ATH指環(huán)中，通過導(dǎo)線連接到無線物聯(lián)網(wǎng)模塊。與其他基于手套的解決方案相比，這種具有多模態(tài)傳感和反饋功能的ATH指環(huán)顯示出高度集成和良好便攜性的優(yōu)點(diǎn)。此外，ATH指環(huán)通過自供電傳感單元和低壓驅(qū)動(dòng)反饋元件來實(shí)現(xiàn)低功耗。所提出的基于電壓積分的信號(hào)處理方法允許基于TENG傳感器的連續(xù)手指運(yùn)動(dòng)檢測(cè)。通過利用物聯(lián)網(wǎng)模塊和機(jī)器學(xué)習(xí)（ML）分析進(jìn)行信號(hào)收集和處理，能夠以低成本為工業(yè)自動(dòng)化和醫(yī)療保健應(yīng)用實(shí)現(xiàn)高級(jí)人機(jī)交互，即機(jī)器人協(xié)作操作和手語翻譯。此外，通過引入由振動(dòng)和熱模擬器實(shí)現(xiàn)的觸覺反饋功能，可以實(shí)現(xiàn)具有真實(shí)世界和虛擬世界交互感知的增強(qiáng)VR聊天應(yīng)用，這為用戶提供了面對(duì)面的沉浸式體驗(yàn)，并顯示了基于元宇宙的社交網(wǎng)絡(luò)的良好發(fā)展前景，特別是考慮到新冠疫情下嚴(yán)格的社交距離要求。

與物聯(lián)網(wǎng)平臺(tái)兼容的增強(qiáng)多模態(tài)觸覺反饋系統(tǒng)

基于此AI增強(qiáng)的多模態(tài)傳感和反饋系統(tǒng)，成功構(gòu)建了一個(gè)為用戶提供跨空間感知能力的交互式元宇宙平臺(tái)，其中，一個(gè)用戶的真實(shí)空間中的對(duì)象可以被識(shí)別并重建為虛擬格式，并通過模擬刺激和反饋被同一元宇宙虛擬空間中的另一個(gè)用戶實(shí)時(shí)遠(yuǎn)程感知，給人們一種面對(duì)面的沉浸式虛擬社交體驗(yàn)。在元宇宙基礎(chǔ)設(shè)施下，未來致力于通過將VR顯示技術(shù)與多模態(tài)體感融合，實(shí)現(xiàn)全身感知和反饋，構(gòu)建智能虛擬社會(huì)，以實(shí)現(xiàn)智能互動(dòng)的社交、教育、娛樂和醫(yī)療保健等。

“元宇宙”的多模態(tài)傳感和反饋平臺(tái)