演講嘉賓 | 鄭森文

回顧整理 | 廖 濤

排版校對 | 李萍萍

嘉賓簡介

鄭森文，中國科學院軟件研究所高級工程師，智能軟件研究中心開源基礎設施組負責人；OpenHarmony項目群工作委員會委員；華為HDE（HUAWEI Developer Experts）；開放原子教育認證講師；編著有書籍《鴻蒙操作系統應用開發實踐》以及《鴻蒙第三方組件庫應用開發實戰》。主要研究方向為人工智能和操作系統，發表二十余項相關領域論文、軟著、專利，并參與了多項國家課題項目，當前主要專注于開源軟件基礎設施和開源軟件供應鏈的相關研究和實踐。

內容來源

第一屆開放原子開源基金會OpenHarmony技術峰會——生態與互聯分論壇

視頻回顧

打開 嗶哩嗶哩APP 搜索 OpenHarmony-TSC 視頻更清晰

正 文 內 容

Apple Vision Pro在蘋果WWDC2023開發者大會上正式發布，再次引起了虛擬現實與人機交互技術相關的熱烈討論?；ヂ撌荗penHarmony重要特性之一， 在人工智能飛速發展的同時，OpenHarmony的交互技術有哪些發展方向和目標呢？中國科學院軟件研究所開源基礎設施組負責人、高級工程師鄭森文在第一屆OpenHarmony技術峰會上進行了精彩分享。

01?

交互方式演進

1828年，來自美國密歇根州的威廉·伯特制造了一部名為“排字機”的機器，并在不久之后就取得美國專利，第一臺打字機問世；1846年，最早的電腦輸入設備-穿孔紙帶（指令帶）正式出現，將程序和數據轉換二進制數碼：帶孔為1，無孔為0，經過光電掃描輸入電腦；1915年，電傳打字機問世，實現了鍵盤直接輸出電信號，進而控制計算機相關操作；1964年，第一臺鼠標問世，圖形化界面的主要交互設備就以此誕生；觸摸屏以及語音識別系統等也相繼于1971年和1987年誕生，為人與計算機交互的發展奠定了重要基礎。

隨著計算機技術的發展，人與計算機交互的圖形界面也在同步演進，經歷了穿孔紙帶批處理交互（也稱無交互）、CLI（Command Line Interface）交互、GUI（Graphical User Interface）交互以及NUI（Natural User Interface）交互等階段。其中，最初的穿孔紙帶批處理交互方式容易出現問題，有較大的錯誤成本，且效率低下；CLI交互，用戶在計算機上以文本形式輸入命令，但要求交互的使用者具有一定的專業能力，有一定的使用門檻；GUI交互，用戶通過指示系統（例如鼠標）操縱界面，但隨著時代的發展和人們對交互方式的新需求不斷增多，GUI交互已經略顯疲態；NUI交互，用戶重用現有自然交互技能直接與內容進行交互，例如智能手機、觸屏、觸摸、拖拽或者手勢等等，其交互方式是人本身就具備的技能，讓機器或者讓產品能夠去理解人已經具備的技能，從而以人為中心來進行交互。

未來整個交互又有沒有可能產生一些新的變化以及出現一些新的交互模式呢？答案是肯定的。

計算機和交互方式的發展歷史從“以機器為中心”到“以人為中心”。以機器為中心即人與機器產生的所有的交互行為均通過指令下達的方式，機器依據指令理解人的意圖；以人為中心即機器需要主動的去感知和理解人到底想要去做什么樣的交互，并主動發生交互行為。因此，人是產品概念設計的核心和關鍵，實現產品設計交互最重要的是對用戶設計行為、意圖和認知習慣的提取和分析。

02?

從交互到互聯和智能

2.1??

新交互方式

跨設備分布式交互

在常見的交互方式中，每個設備都成為一座孤島，相互獨立運作。通過跨設備的分布式交互可以構建起不同設備的溝通協作，避免不同的設備重復干同樣的事情。在跨設備交互時，設備間狀態與數據的連續性和一致性至關重要?？缭O備分布式交互，通常通過高效協同的異構組網與分布式架構設計，提供高效融合的通信鏈路與數據處理，實現跨設備軟硬件資源共享與分布式交互，以支持分布式多端協同與跨端遷移等交互模式，從而實現多智能終端相互融合協同，打造體系性的智能人機協同系統。其中多端協同以分布式數據鏈路與管理服務為支撐，建立跨設備的連接通路，在連接通道上傳遞狀態和數據，以進行業務協同并實時感知連接狀態變化。

跨端遷移基于分布式任務管理將數據傳遞到目標端，拆包數據并恢復系統狀態，從而實現數據與業務流轉。同時系統會通過分布式窗口管理能力保證體驗的一致性，實現跨端無縫顯示效果，并通過硬件資源池化與自動跟隨方式，實現硬件平臺的分布式狀態同步。系統通過將超級終端上所有設備硬件進行虛擬化，以使得任何一個設備都能夠使用所有超級終端設備內的硬件，并非與某個特性硬件相綁定的虛擬句柄，由系統中的遷移決策模塊實現硬件資源的分布式共享與遷移，從而保障了分布式人機協同體驗的流暢性與一致性。

沉浸式無感交互

從人機的進化角度來看，未來的體驗將會是“沒有交互”或者是“無感體驗”，交互設計也不斷進化到新的應用領域，未來無感交互體驗將會給交互設計帶來新契機，實現交互體驗的無感化升級。

無感交互強調交互過程以人為中心并立足于用戶自身的視野與體驗，建立產品設計情境模型，捕捉用戶設計過程中的環境信息，實時更新自動切換，最大程度提升系統對設計意圖的主動感知能力，弱化用戶對系統的感知需求，實現一種智能無感交互過程。未來的人機交互將趨同于 “感知”, 計算機的主要交互行為將變成感知行為、感知自然現象、感知人的現象、感知人類行為，從而實現為人類服務。

多模態情境感知交互

隨著計算機信息技術的不斷發展，雙向交互方式從早期的鼠標、鍵盤等單模態信息輸入，逐步向語音、圖像、行為等多模態智能交互方式發展。情境感知交互是利用設備各種傳感器來識別和推測用戶意圖，從而做出最合理的交互決策和推薦。多模態交互結合單一模態的優點,充分發揮了人們對各個感知通道傳達信息的高度接收與處理能力,增強用戶對交互行為的理解,提高對大數據可視化的探索與分析效率。當前這種多模態交互中，主要包含很多基于AI的智能交互方式。

2.2??

智能交互產業進展

智能座艙

智能座艙是一個交互非常有趣的環境。1910年，汽車座艙里的交互方式以按鈕-觸覺的形式，通過全按鈕的方式進行汽車操控；1963年，座艙里出現了屏幕顯示，人能夠通過屏幕-視覺的形式進行汽車操控；2002年，語言命令的引入使人能夠通過語言-聽覺的形式進行汽車操控；至今，以綜合感知、場景智能為主的智能座艙正在逐步改變人們操控汽車的交互形式。智能座艙的出現，不單單提高了人們操控汽車的體驗和效率，也能夠在一定程度上提升駕駛安全。

下一代的智能座艙，將繼續往個性化、高情商的主動交互設備發展，提供更簡單、更便攜、更多模態感知、決策更主動、交互更人性化的汽車操控體驗。

智能手機

與汽車座艙的人機交互發展趨勢類似，手機經歷了自1973年起的全按鍵交互類型，到觸屏、手勢、語言命令和綜合感知的智能化交互。在智能手機不斷滿足人們交互需求的同時，科技的發展也影響人類本身的生活、交付等習慣。

03?

智能交互下的技術核心

AI——智能化體驗的關鍵技術支持

AI（人工智能技術）包括機器學習、深度學習、自然語言處理、計算機視覺等多種技術，通過AI可以讓計算機像人一樣進行思考、學習、推理和決策。目前，AI已經廣泛應用于各個領域，如智能家居、智能醫療、智能交通、智能制造等，為人們的生活和工作帶來了很多便利和效率提升。

同時，AI也是智能化體驗的關鍵技術支持。例如，如何分析獲取到的感知數據或由其加工獲得的更高層次的信息，對于完成預定的行為或動作有直接的、重要的意義，這就需要通過AI對這些數據和信息進行決策處理，以對感興趣的實體環境有一個中肯的了解或理解，并對感興趣的實體或事件最終做出“是什么”的結論。

分布式——操作系統的基礎核心能力底座

分布式是指將一個系統或應用程序分散到多個計算機或服務器上，使得每個計算機或服務器都可以獨立地運行一部分系統或應用程序，并且這些計算機或服務器之間可以相互通信和協作，共同完成整個系統或應用程序的功能。分布式系統可以提高系統的可靠性、可擴展性和性能，并且可以更好地應對大規模數據處理和高并發訪問的需求。

基于多模態感知的智能交互場景需要從多種傳感器及時獲取信息進行處理，這些傳感器分布于不同的物理空間且沒有線纜連接?；诙嗄B感知的智能交互場景需要實現復雜的模糊計算甚至大量AI的參與，因此會帶來龐大的計算量。而終端設備和物聯網設備的計算能力顯著不足。如何通過分布式技術在設備上實現高性能任務處理是實現智能交互能力的重要問題。

04?

OpenHarmony與交互的未來

基于OpenHarmony的system-subsystem-part-module體系結構：分布式軟總線是OpenHarmony的一個部件（part），屬于OpenHarmony分布式子系統（subsystem）。分布式軟總線是OpenHarmony多種分布式場景實現的底層基礎。通過分布式軟總線，OpenHarmony能夠實現分布式的設備管理、分布式數據管理、分布式任務調度等能力，通過不同的組合搭配，能夠向上層提供特定的能力支持，使開發者不需要考慮多個設備之間如何互聯，就可以在單個設備的開發模式下開發分布式場景下的復雜交互應用。

未來人機交互界面的發展，應該是基于現實的交互 (reality-based interaction，RBI)。RBI是對未來人機交互方式的概括, 如自然用戶界面、虛擬現實技術、增強現實技術、上下文感知計算、手持或移動交互、感知和情感計算、語音交互及多模態界面。RBI強調利用用戶的已有知識和技能, 不需要額外學習太多新的知識，從不同層面來對新的交互模式進行描述, 包括人們對基本常識的理解、對自身肢體動作的理解、對環境的理解, 以及對其他人的理解，并基于這4個層面建立了基于現實的感知框架。

05?

總結

未來，鄭森文研究員所在團隊將繼續在一站式可定制智能交互支撐框架，快速通信建立，無感式主動服務，基于語音、圖像、行為等AI多模態人機交互模式等方向探索OpenHarmony互聯與交互相關技術，也歡迎感興趣的開發者參與進來，共同為OpenHarmony技術生態貢獻智慧。

E N D

點擊下方閱讀原文獲取演講PPT。

關注我們，獲取更多精彩。