據Hailo首席技術官Avi Baum先生介紹,人工智能將大大提升視頻會議的互動性和沉浸感,為集成商和系統設計師們帶來全新的機遇。

盡管虛擬會議已經廣泛普及并成為主流方式,但現有技術尚無法全面復刻面對面交流所帶來的體驗。與此同時,生成式人工智能技術的飛速發展,為破解混合會議長期以來面臨的諸多挑戰提供了創新性解決方案。

生成式人工智能無疑將大大提升虛擬會議的效率和吸引力,使其能夠高度模擬現實生活中的交流體驗。然而,要實現這一愿景,這些前沿功能須在實時環境中運作,確保最低延遲,同時保持成本效益,讓各類用戶都能負擔得起。這迫切要求部分創新的人工智能特性能夠被無縫集成到各類連接終端設備中,以提供出色的用戶體驗。

幸運的是,解決方案供應商正在迅速將生成式人工智能融入到主流視頻會議平臺和計算機中,以實現實時優化、沉浸式虛擬體驗增強以及高效的自動化會議管理。這一系列創新舉措不僅推動了技術邊界的拓展,而且能夠顯著提升客戶在混合及虛擬會議場景中的體驗。

虛擬復刻

生成式人工智能以出色的性能,優化了虛擬會議中的視頻、音頻及文本交互體驗。特別是在混合會議場景中,人工智能驅動的智能視頻處理技術能夠智能調整視角,讓遠程參與者得以聚焦于發言人的實時畫面,從而精準復制出面對面交流的體驗,摒棄了以往單調的、僅限于展示整個會議室靜態場景的局限。

神經輻射場(NeRF)或類似技術能夠創造遠程參與者的生動視圖,賦予每一位參與者沉浸式的體驗享受,同時實現視角的動態變換。隨后,借助人工智能,這些多元視角被巧妙地融合成統一的視圖,以統一的大小、姿勢或風格顯示。此外,如果會議室中有白板,人工智能可以自動識別并將其上的文字轉換為可編輯格式,甚至可以創建專屬會議記錄,提升會議效率。

生成式人工智能可以深度融入每位參與者的工作流程,無論是身處虛擬空間還是現實會議室,它都能通過先進的音頻與文本處理能力提升工作效率。這一智能助手可以將音頻轉換為文本,以創建會議摘要,根據指示將任務分配給相應負責人,甚至即時提供相關建議。對于多語言交流環境,此類助手還能提供即時音頻翻譯,從而消除語言障礙。

然而,盡管生成式人工智能展現出令人矚目的潛力,其當前實現形式仍受限于底層技術的發展水平。要全面釋放其力量,單純依賴現有的云服務架構已難以滿足需求,而是需要一種更為普及的解決方案,確保在任何情境下都能輕松激活并享受其帶來的變革性體驗。

面向未來的可拓展性

為了使生成式人工智能在視頻會議中發揮最大效用,視頻會議系統應具備在終端設備上自主執行生成式人工智能處理的能力,無論這些設備是個人電腦還是會議網關,都無需依賴云端進行處理。

在會議系統中,可擴展性是一個至關重要的特性。就可擴展性而言,識別哪些場景適合采用集中處理,以及哪些情況需要邊緣處理,這一點顯得尤為重要。

集中處理在以下三種情況下尤為有利:

? 時間共享:當功能需求較為簡單,且中心機器能夠以一小部分容量輕松應對時(例如,處理參與者進入房間或取消靜音時的提醒),中心機器便能夠為所有終端提供服務。在此情況下,每個終端在不同時間段內運行,且不會對系統造成明顯影響。

? 資源共享:當功能包含所有終端共有的固有處理需求時(例如,在共享數據庫上進行搜索),可以執行一次共享處理,并為多個或所有終端重復使用。

? 信息共享:當所有參與者需要共享相同信息時(例如,沒有個人注釋的共享白板),可以實現信息的共享。

前文所述的大部分功能并不符合上述三種情況。為了構建一個可擴展的視頻會議系統,并使這些功能對所有參與者都可用,我們需要為不同的節點配備適當的人工智能計算能力。

這將帶來多重益處,包括:

? 低延遲:在虛擬會議中,低延遲對于實現順暢的交流至關重要,無論是實時翻譯、內容創建還是視頻調整。通過在邊緣設備上利用生成式人工智能,可以有效減少延遲,確保會議流暢進行,同時為用戶提供無縫銜接的體驗,無需任何等待時間。

? 節約成本:基于云的生成式人工智能工具的月度訂閱費用,對許多企業而言可能構成不小的負擔。隨著滿足多樣化用戶需求(如聊天、搜索引擎、圖像/視頻創建)的工具不斷涌現,成本迅速攀升,這無疑進一步加劇了企業的預算壓力。因此,將生成式人工智能遷移到用戶的個人電腦或會議設備上,使用戶無需承擔月度訂閱費用即可享有這些工具,無疑提供了一個更為經濟的解決方案。

? 寬帶和連接性:帶寬和連接性是虛擬會議中常見的問題,尤其是在參與者網絡連接受限的情況下,如旅途中或偏遠地區。而基于邊緣的生成式人工智能能夠在本地處理無關信息,確保僅傳輸相關且重要的數據,從而實現不間斷且高效的會議體驗。

? 環境影響:基于云的人工智能處理對環境造成的影響不容忽視,其過程中會消耗大量能源并產生污染。卡內基梅隆大學和Hugging Face的研究人員對不同機器學習任務的碳足跡進行了測量。研究結果表明,涉及新內容生成的人工智能任務,如文本生成、摘要、圖像描述和圖像生成等,是非常耗能的。研究還發現,耗能的人工智能模型每次會話會產生近1600克二氧化碳,其環境影響相當于駕駛汽油車行駛約6.4公里。

相比之下,邊緣設備為生成式人工智能提供了一種更可持續的選擇。它們消耗更少的電力,減少了冷卻需求,并降低了碳足跡,從而有助于實現更綠色、更環保的人工智能會議方式。

融入人工智能

在不遠的將來,音視頻系統集成商與設計師將安裝專為生成式人工智能時代設計的視頻會議系統,既能享受生成式人工智能所帶來的便利,同時亦能確保邊緣處理在性能、可靠性和安全性方面的優勢。

這些未來的視頻會議系統將在邊緣設備上直接處理人工智能任務,需要構建閉環系統來分擔目前云端處理的部分工作。通過在筆記本電腦、會議室設備及攝像頭等終端上處理人工智能數據,可以確保會議的順暢運行,并有效控制成本,同時使人工智能生成的內容(例如自動摘要或動態演示文稿)更加安全可靠。

Hailo提供的人工智能處理器是專為高效處理人工智能模型而設計的,以適配各種邊緣設備,同時以合理的價格提供數據中心級的性能表現。目前,該公司正與會議設備制造商展開合作,致力于將人工智能處理器集成至其硬件之中,共同推動未來的視頻會議系統成為現實。

審核編輯 黃宇