Mohammed Dogar

Vice President

隨著電容式觸控界面的廣泛采用，傳統機械按鍵正在退出歷史舞臺。用戶設計非常好的控制面板現在已經可以支持觸摸和手勢識別。電容式觸控技術能支持設備接受手指和手勢的高級操作。通過手指和手勢的動作來操作機器已經成為現實，畢竟手勢是人類交流最自然的方式之一。在與智能終端產品交互時，也是如此。這都歸功于嵌入式計算設備如微控制器和微處理器的巨大發展，使得通過智能傳感器實現手勢識別成為可能。

觸控屏的使用現在已不僅限于智能手機，它已經擴展到對穩定性和對安全要求更高的工業領域。要想實現這樣一個通過感應手指觸摸就知道你想要什么的智能界面，已經非常容易了。AutoML還有其他嵌入式AI/ML工具都已經支持基于觸控的拖放分析了。

手勢識別可以進一步改善人機交互的體驗并且可以運用到多個場景，例如觸控屏、相機或外圍設備。手勢識別是無觸摸用戶界面（TUI）的基礎，即在無觸摸的情況下控制設備，無需觸摸屏幕、開關或操作按鈕。在人機交互方面，使用手勢是最直觀、最自然的。基于視覺的手勢識別技術采用攝像頭和運動傳感器來跟蹤用戶的運動。設備中的運動傳感器可以跟蹤和識別手勢，將其作為主要的輸入源。隨著用于捕捉手勢的傳感器的發展，一個值得關注的應用是AI虛擬鼠標，它可以通過設備內置的攝像頭跟蹤手指移動、識別手勢、執行鼠標操作：操作滾輪、移動光標。除此之外，使用手勢還有助于管理和監控需要安全操作但人手又難以觸及的設備，還可以應用于AR和VR環境、手語識別、游戲等多種場景。

嵌入式手勢識別是一種無接觸的人機交互方式（HMI）。它們旨在搭配觸控屏、攝像頭等設備來一起加強人機交互的體驗。目前，手勢識別和觸控，都被用于人機交互（HCI）或物聯網（IoT）情況下的人機交互。

人工智能（AI）和機器學習為通過實時分析來執行更智能任務奠定了基礎，在人機互動應用中也呈現了很好的效果。同時，物聯網給這些任務的運行提供了基礎的支撐。人工智能通過機器學習提供決策能力，物聯網提供設備連接和數據共享能力，二者的結合還能進一步擴展能力圈，比如基于用戶交互、網絡服務和其他相關設備的自主學習。

人工智能（AI）可以進一步優化手勢識別和觸控的用戶體驗，幫助預測用戶的屏幕操作來加快互動響應。其它案例研究進一步表明，人工智能還能提高IoT設備對手勢識別的準確性。

在構建支持手勢識別和觸控交互的方案時，為有效解決電氣和射頻噪聲問題，選擇合適的設備來做整體硬件設計是非常關鍵的，因為準確度是方案的核心。高級相機、智能手表、可穿戴設備或數據傳輸手套都是這類手勢和觸控技術可以運用的設備，以及相關AI算法的最佳用武之地。在各種應用場景下，瑞薩都能提供豐富的硬件支持。

隨著電容式觸控和手勢操作場景的擴展，面板的靈敏度和抗噪性，也已成為實現精確控制和復雜操作的關鍵要求。還有對防水、防塵和對環境溫度變化耐受性的要求。在此之上，開發時間和成本也是需要面對的挑戰。

瑞薩電子的第二代電容觸控解決方案可以幫助用戶設計出更先進的控制裝置。并且我們提供用戶友好的開發環境，降低開發門檻，幫助用戶加快對電容式觸控和3D手勢識別方案的開發。

e-AI×3D手勢識別：瑞薩方案助力各種應用

Renesas QE工具支持“3D手勢識別”幫助客戶開發基于嵌入式人工智能（AI）的手勢應用。開發AI應用往往需要許多復雜的知識背景，Renesas QE工具可以幫助嵌入式工程師無需專門的AI知識背景也能順利和便捷地開發AI應用。

使能“3D手勢識別”

在開發智能手勢識別應用的過程中，有三個關鍵環節。

1

記錄（訓練）

在電容式傳感器上大量做出你希望系統識別的手勢，得到用于注冊的數據，把它們顯示在列表中。從列表中刪除錯誤的識別數據；對應的，列表也要支持新數據的導入。

2

AI生成

創建AI的過程（數據預處理、深度學習，把訓練好的神經網絡模型轉換為C代碼），Renesas QE工具對手勢識別做了優化和自動處理。雖然人工智能的自動創建很難很復雜，但Renesas QE已經可以實現手勢識別這個細分應用的全過程自動化。

3

監控和調整

用戶可以在真實設備上檢查和調整AI模型的準確度。如果手勢沒有被正確識別，可通過工具的“添加數據”按鈕，立即導入新的訓練數據，來讓AI算法做自動優化調整。

技術的發展在不斷解決手勢識別準確性方面的各種挑戰。比如用戶接觸不善導致的傳感器感知數據質量不好，物體遮擋造成的視覺采集不完整，以及照明不足的影響。進一步的挑戰來源于視覺和感官數據混在一起導致數據集合的錯誤匹配。因此需要分開處理后再合并，這也導致了響應速度變慢。

未來的前景還是很令人振奮的，因為對增強型智能觸控和手勢識別的需求正在擴大，在消費者市場和工業領域都有了突破性應用。