三菱電機宣布，該公司開發了它認為是世界上第一項能夠與人類進行高度自然和直觀的交互的技術，其基礎是將多模態傳感信息轉換為自然語言的場景感知能力。

這種新穎的技術，場景感知互動，融合了三菱電機的專利 Maisart。緊湊的人工智能技術，通過自然語言的生成，分析多模態感知信息，以實現與人類高度自然和直觀的交互。

這次，作為適用于本技術的應用程序之一，構筑了人與車載機器用自然語言進行對話的路徑向導系統。

圖源：三菱電機

通過世界上第一個獨特的 End-to-End 深層學習，實現人與設備的順利溝通，端到端深度學習，只需輸入和輸出樣本即可學習，采用攝像機拍攝的圖像信息、麥克風采集的音響信息、騎手或雷達取得的位置信息等多模態傳感信息，機器了解周圍發生的狀況。

在多模態傳感信息中自動加權重要性高的信息，使用自己的多模態保持法，對機器理解的內容使用自然的語言進行詳細表現的學習模型建立起來。

通過從設備理解的情況和人的話語歷史中生成自然詞語，實現了人與設備之間的順利溝通。與傳統的僅有視覺信息的方法相比，CIDEr 評價改善 29%。

場景感知的汽車導航交互，一個目標應用程序，將為司機提供直觀的路線指導 。 例如，該系統不要求司機“在 50 米內右轉”，而是提供場景感知指導，例如“在郵箱前右轉”或“跟隨灰色汽車向右轉”。此外，當預測附近的物體與汽車的路徑相交時，該系統將產生語音警告，例如“行人正在過馬路”。為了實現這一功能，系統對場景進行分析，識別場景的可分辨、直觀的地標和動態元素，然后利用這些識別的對象和事件生成直觀的句子作為指導。

圖源：三菱電機

該技術利用深層神經網絡在物體識別、視頻描述、自然語言生成和口語對話技術等方面的最新進展，使機器能夠更好地理解周圍環境，更自然、更直觀地與人類互動。場景感知的交互技術有望具有廣泛的適用性，包括用于車載信息娛樂的人機接口、在建筑和工廠自動化系統中與機器人的交互、監視人的健康和福祉的系統、解釋人類復雜場景并鼓勵社會距離的監視系統、支持公共場所設備的非接觸式操作等。