物聯網是物理對象與虛擬再現和服務的結合。增強現實通過將有關智能對象和服務的虛擬信息疊加到用戶對現實世界的看法上，為物聯網應用程序提供了一個理想的界面。這允許用戶與物理對象交互，并接收關于該對象的附加上下文感知信息，如大小、速度和溫度，以及關于附近對象的信息。然而,用戶不必直接與物理對象或傳感器作為增強現實交互可以是一個有效的方法提供額外的物聯網信息服務的環境中,如服務的QoS屬性或其他用戶提供的評級在之前調用。

物聯網(IoT)技術的發展使得通過一系列通信工具將各種智能設備連接在一起成為可能。聯網設備的數量預計將以指數級速度增長，預計到2020年將有大約260億部聯網設備。這些設備將帶來多種多樣的服務，如監控傳感器、監控攝像頭和交流器等。這些設備提供的服務的管理被認為是未來技術最重要的領域之一，并獲得了包括交通、醫療和應急響應等多個不同領域的研究機構和行業的廣泛關注。

服務提供者和消費者都需要能夠以一種上下文感知的方式參與物聯網應用程序，根據環境和用戶上下文進行感知和反應。增強現實(AR)為物聯網提供了一個直觀的界面，因為它允許上下文以及在現實世界中疊加虛擬信息，例如在認知建筑[4]中。服務使用者可以以可視的方式與建議的附近服務進行自然交互，這些服務由面向上下文的中間件處理。服務提供商可以通過顯示設備提供的服務的關鍵QoS指標(如響應時間和吞吐量)，使用AR調試和修復故障的IoT設備。與設備相關的指標，如設備的溫度、CPU和內存使用情況，也可以顯示出來。該設備的內部組件可以連接對象，這將允許現場操作員看到修復故障的物聯網設備內部組件的具體可視化。這樣便于維修和恢復到合適的操作性能。

基于應用的敏感性和關鍵度，物聯網應用可以應用于具有不同QoS要求的領域。物聯網應用的QoS通常可分為最佳努力(無QoS)、差異化服務(軟QoS)和保證服務(硬QoS)[6]。在硬QoS情況下，有嚴格的硬實時QoS保證。這適用于安全標準的應用，例如在醫院中監控病人或在自動駕駛汽車系統中避免碰撞。軟QoS不需要硬實時保證，但需要能夠重新配置和替換失敗的服務。這可能是一個路由應用程序，它利用空氣質量、洪水和行人流量預測，提供穿過城市的最佳路線。如果其中一個服務即將失敗，應該使用合適的替代服務重新組合應用程序。最后一種情況是盡最大努力，當服務失敗時，例如測量室內溫度的簡單原子服務，就沒有保證了。因為硬QoS和軟QoS可以提供一種直觀的方式來警告用戶某個服務可能即將失敗，他們可能需要重新控制，尤其是在自動駕駛汽車場景中。利用LSTM網絡可以實現對物聯網服務故障的預測。

AR應用于IoT

AR在近年來發展迅速，有一系列的商業軟件和硬件可以創造AR體驗。今天，在消費者層面上有各種各樣的api，它們使得大多數利用智能手機或平板電腦等移動技術來創建增強現實體驗成為可能。蘋果最近發布了ARKit，允許在不了解其技術的情況下構建AR環境。我們在演示中使用的另一個示例是用于Unity的Vuforia開發人員庫，其中包括谷歌的ARCore，它允許所有現代android設備上的AR應用程序。這將允許更多的設備通過AR接口與物聯網服務進行交互，并鼓勵開發人員創建基于AR的物聯網應用程序。

隨著智能手機的廣泛普及，以及蘋果和谷歌發布的新api，我們預計未來幾年移動增強現實將會增加。移動電話作為增強現實視鏡的使用將是允許應用程序開發和評估增強現實在物聯網中的有效性的必要步驟。在此之后的過渡可以是一些替代的頭戴顯示器，如谷歌玻璃，微軟Hololens或Magic Leap Lightwear。這些頭戴式顯示器允許與物聯網服務和對象進行無手交互，這將有助于現場技術人員與設備進行交互，并查看顯示需要更換哪些連接組件以修復智能設備的可視化圖像。

考慮到AR和物聯網的巨大潛力，以及在每種技術上投入的大量研究，這兩個組件的集成仍處于早期階段。大多數當前的方法顯示對象的特征，而沒有考慮其他上下文，如用戶偏好、附近的對象/位置、時間、天氣等。一些建議，例如一個感知的程序，使用上下文接口服務器來推斷用戶的高級上下文，從而改變信息顯示給用戶的方式。然而，智能澆水設備的應用過于簡單，只需要本地傳感器信息，而推理的中央服務器不考慮物聯網作為智能對象的愿景。在我們的演示中，我們展示了結合來自傳統web服務和物聯網服務的動態和異構服務的更高級的示例，并使用額外的上下文信息來提供直觀的應用程序。最近的一些工作，如ARIoT，提供了一個可伸縮的AR框架，用于與物聯網設備交互，但重點關注目標對象，而不是通過連接對象派生上下文。其他方法，如Second Surface，用戶可以通過中的遠程服務器創建、標記和共享日常對象周圍的數據。

上下文感知中間件

下圖顯示了一個上下文感知的面向服務的中間件，它可以在圖1b的深層邊緣架構上實現，以管理城市中的物聯網服務的注冊、執行和上下文。中間件以一種分布式的方式跨每個通道管理環境中的用戶上下文。當用戶請求應用程序時，中間件首先在請求處理程序上接收用戶請求，該處理程序與用戶建立請求/響應通信通道，并將請求轉發給上下文管理器。上下文管理器負責獲取和維護關于服務和環境的元數據，以支持智能服務管理。元數據包括服務屬性(例如，位置、類型、域等)、QoS屬性(例如，響應時間、能耗等)、城市環境(例如，地點及其在城市中的含義、興趣點等)和用戶偏好(例如，用戶反饋、QoS體驗、用戶行為等)。服務屬性和QoS屬性是從提供者和監控過程中獲取的。此數據作為服務描述的一部分存儲。城市環境是從開放街道地圖(OSM)中獲得的，并使用OWL格式的本體進行形式化。用戶首選項是在發現和組合過程中獲得的。該數據作為獨立的JSON文檔存儲在service registry中。

lw