蘋果iOS 13代碼曝光：AR可穿戴設備仍在開發，“STARTester"支持設備功能的切換

根據MacRumors周末的一份報告表明，蘋果iOS 13內部版本文檔中顯示蘋果頭戴式AR顯示設備仍在繼續開發。這是目前最明確的消息，盡管此前DigiTimes的報告聲稱該項目已被暫停，

據悉，iOS 13的內部構建中包括一個“STARTester”應用程序，該應用允許用戶訪問頭戴式顯示模式，這也可能是為了測試的目的，在iPhone上復制頭戴AR顯示設備的功能。根據內部構建的文檔信息，該應用存在有兩個頭戴狀態用于測試，“佩戴”和“保持”。

此外iOS 13中還有一個內部自述文件，用于描述支持立體聲AR的應用程序“StarBoard”系統模式，這意味著是某種類型的設備。該文件還表明，蘋果正在開發一種代號為“Garta”的AR設備，這可能是“T288”計劃設計的幾種原型之一。

為了進一步深入蘋果iOS 13內部代碼，我們發現了許多與所謂的“StarBoard模式”和各種“視圖”和“場景”相關的字符串。許多字符串都引用了AR的代碼，包括“ARStarBoardViewController”和“ARStarBoardSceneManager”。

此前，多家媒體和消息人士聲稱蘋果計劃在2020年發布增強現實眼鏡。

蘋果首席執行官蒂姆·庫克多次談到AR技術的前景，他認為AR是“深刻的”，因為這項技術可以進一步豐富人類的各方面能力。

大眾收購3D全息技術企業SeeReal股權

據volkswagen報道，大眾汽車已收購領先技術公司SeeReal Technologies的少數股權。確保大眾集團能夠獲得汽車顯示技術領域面向未來的增強現實。該研究項目將為本集團提供關鍵技術，使未來的駕駛更安全，更方便。

大眾表示，從 2020 年開始銷售的全電動大眾ID.3，將通過增強現實平視顯示器將信息投射到駕駛員的視野中，并直接鏈接到駕駛員的環境。

該技術可以以3D形式，將路上的潛在危險情況投射到駕駛員所處環境中，3D全息影像將實現與環境的無縫式銜接。汽車將通過虛擬開關及顯示屏完成操控。車內所有駕乘者都能使用該款“可觸控”3D顯示屏，提供自然的視覺信息或人機交互。

其實，市場上已經有可以在有限空間投射信息的抬頭顯示器，而從2020年開始銷售的純電動車型大眾ID.31將通過增強現實型抬頭顯示器，將信息投射到駕駛員的視野中，與駕駛員所處環境直接聯系。

在未來幾代的抬頭顯示器中，3D影像將與周圍環境更加無縫連接，出現離駕駛員很近或者很遠的創新型顯示器概念。未來，傳統的汽車儀表板可能會被淘汰，而車輛將通過虛擬開關和顯示器進行控制。所有乘客都能夠使用“可觸控型”3D顯示器，以人類的自然視覺完成信息傳遞或交互。

SeeReal Technologies一直致力于該領域的技術研發。大眾集團創新部門負責人Axel Heinrich表示：“增強現實將成為未來移動出行及人機交互理念的核心部件，而這正是我們專注于全息技術等關鍵技術的原因。我們將為這款增強現實抬頭顯示屏提供車規級產品要求，而SeeReal則提供三維全息的技術支持。”

2018年底，大眾集團創新部已經與該技術公司在德累斯頓和盧森堡開始合作研發。

肖特發布300 mm RealView納米壓印玻璃晶圓，用于AR/MR智能眼鏡

EVG集團是一家為MEMS系統、納米技術和半導體市場提供晶圓鍵合和光刻設備的國際領先供應商。肖特與其合作，利用納米壓印工藝成功開發出基于300 mm（約12英寸）肖特RealView玻璃晶圓的波導片。肖特的大尺寸晶圓和EVG 的SmartNIL 技術對于大批量光波導片的生產和成本控制至關重要。

肖特RealView玻璃晶圓是下一代AR/MR穿戴式設備的關鍵部件。玻璃晶圓是多層RGB波導片的基板，是AR/MR顯示單元的一個重要組成部分，為用戶營造沉浸式體驗（更多信息）。

300mm玻璃晶圓的生產需要更大尺寸的AR/MR等級的光學玻璃塊料，這種大尺寸的光學玻璃塊料的生產極其困難，它需要全新的制造和熔煉工藝。肖特已具備生產大尺寸光學玻璃塊料的能力。同時保持RealView玻璃晶圓的優異質量。

據悉，肖特已經為客戶提供300 mm的RealView高折射晶圓樣品，同時正在準備提升大尺寸晶圓的批量生產能力。與此同時，在德國光學玻璃中心，肖特的玻璃專家和研發團隊也在繼續提高其AR/MR級光學玻璃的質量。

圖像

5G的殺手級應用：手機AR游戲

AR是5G的殺手級應用，它到來的速度將比任何人想象的都要快。 5月，蘋果與高通（領先的5G調制解調器生產商）達成和解，據彭博社報道，高通將獲得至少45億美元的訂單和6年的供應商協議。 iPhone制造商對這些5G調制解調器有著大計劃，他們將從AR起步。 當大多數精通技術的人想到AR時，首先會想到谷歌。谷歌的工程師們已經在谷歌地圖中加入了漂亮的AR虛擬標牌。據報道，下一代Pixel智能手機將通過后置攝像頭模塊上的TrueDepth傳感器以及Project Soli（一種微型雷達技術）來提升效果。

當然蘋果的工程師們也正在AR上發力，據傳他們正在研發AR眼鏡。但撇開硬件，對于5G來說真正的殺手級應用正是移動AR游戲。 5G能使AR更加身臨其境，圖形加載更快且效果更好，而較低的延遲也可以顯著改善游戲體驗和玩法。 在2016年的夏天，《Pokemon Go》的熱潮席卷了全球，這款AR游戲通過使用手機上的攝像頭將虛擬與現實結合在一起，為玩家帶來全新體驗。這款游戲下載量已經超過了10億次，在其最受歡迎的時候，每月能吸引1.47億活躍用戶，且收入高達30億美元。 該游戲由Google內部的游戲團隊Niantic開發而成，據谷歌博客中的文章，當任天堂和谷歌在谷歌地圖上推出愚人節寵物小精靈挑戰的時候，這個想法就出現了。 Niantic現在也將進入下一階段：5G AR游戲。 Niantic首席技術官Phil Keslin表示，5G將實現更高水平的游戲體驗。該技術能將帶寬提高1000倍，延遲將降低10倍。為了做好準備，Niantic正在計劃復雜的新游戲，并將與無線運營商合作以保證帶寬。 運營商需要一場勝利。智能手機業務停滯不前，消費者對手機設備的需求正在降低。但5G再加上令人驚嘆的新AR體驗，或許將能改變一切。 在《Pokemon Go》推出后，蘋果CEO Tim Cook在2016年開始公開談論AR。他告訴分析師，這個平臺會很龐大，蘋果也會進行投資布局。從那以后，蘋果提出了多項AR專利，收購了多家AR創企，聘請了新的員工，并推出了ARKit。 據彭博社報道，最新款iPhone將于9月10日上市。背面的3個攝像頭設置將配備一款激光3D攝像頭，能夠感知深度。當蘋果在2020年推出5G設備時，所有的規劃都將非常有意義。 目前蘋果股票的預期市盈率僅為16.4倍，銷售額為3.7倍，市值為9610億美元，鑒于新iPhone產品周期的前景，該股票將進入弱勢市場。

Facebook發布超現實虛擬形象新研究

Facebook Reality Labs研發團隊發表了一項關于超現實虛擬形象方法的詳細研究論文，擴展了公司之前名為“編解碼器化身”的工作項目。

.Facebook Reality Labs創建了一個系統，從簡潔硬件中能夠以目前最高的逼真度實時制作出動畫版的虛擬化身。頭顯內只有三個標準攝像頭，定位用戶的眼睛和嘴巴，系統能夠更準確地辨別出個體復雜的面部表情中的細微差別。

這項研究的重點不僅僅是如何將攝像機固定在頭顯上，還包括如何利用圖片還原用戶虛擬形象的深層技術。

系統方案主要依賴于機器學習和計算機視覺?！拔覀兊南到y是實時運行的，它可以識別各種各樣的表情，包括鼓臉頰、張大嘴咬人、動舌頭，以及還原皺紋這樣的細節，在之前，這些細節很難精確地動畫化，”一位作者說。

實驗小組還發表了他們的完整研究論文，深入論述了系統背后的方法論和數學。這項名為《通過多視圖圖像翻譯的VR面部動畫》（VR Facial Animation via Multiview Image Translation）的研究成果發表在《ACM圖形學報》（ACM Transactions on Graphics）上，這家雜志自詡為“圖形領域最重要的同行評審期刊”。

1.帶有9個攝像頭的訓練頭顯。

2.帶有三個攝像頭的追蹤頭顯；紅色圈起的攝像頭可以與訓練頭顯共享。

這篇論文解釋了項目為何要創建兩個獨立的實驗耳機，一個“訓練”耳機和一個“追蹤”耳機。

這款訓練耳機體積較大，裝有9個攝像頭，可以收集用戶面部和眼睛的更寬范圍的視圖。這樣做可以簡化輸入圖像和先前捕獲的用戶數據掃描之間的對應過程（分析輸入圖像與輸出化身之間的對應部分）。論文稱，這一過程可以“通過帶有自查功能的多視圖圖像翻譯系統自動匹配，不需要人工注釋或域間逐個對應”。

一旦對應完成，就可以使用更緊湊的“追蹤”頭顯。“追蹤”頭顯的三部相機恰好對應著“訓練”頭顯九部相機中的三部；根據“訓練”頭顯收集的數據，這三部相機的視角可以得到更好的理解運用，也就是說，輸入圖像能夠準確地驅動動畫化身。 論文著重研究了系統的精準度。以前的輸出方式一到關鍵區域，用戶實際面部表情的準確性就會下降，尤其是極端表情，以及眼部動作和嘴部運動的關系。

與之前相比，新系統的精準度明顯提升：對于臉基本被頭顯遮住的用戶來說，近距離的鏡頭可以用來準確地重建面部。

盡管功能進步明顯，但現有方法仍然不容易被主流人群接受。因為前期要對用戶進行詳細的初步掃描，以及使用專業的“訓練”頭顯，這就需要“掃描中心”這類的機構，用戶可以去那里掃描和練習使用虛擬化身效果（同時也會獲得一個定制的HRTF）?？墒窃谔摂M現實成為社會交流方式的重要組成部分之前，我們不太可能建立這樣的中心機構。然而，先進的傳感技術和不斷改進的自動通信建設或許可以讓我們在家中完成這一步驟。

谷歌發布實時移動手部追蹤技術

日前，谷歌已經向研究人員和開發團隊發布了一種可用于移動設備的手部追蹤方法，谷歌研究工程師Valentin Bazarevsky和范張（音譯）稱其為“手勢識別的新方法”。

早在今年6月份，谷歌就在CPVR 2019上首次發布了在線即時手部追蹤工具，供開發者們研究探索。這是一種開源的跨平臺工具，開發者們可以自己創建加工管道來處理視頻和音頻等感知數據。

據稱，這種方法可以通過機器實現高保真的手部和手指追蹤，僅從一幀圖像就可以推斷出手部的21個三維“關鍵點”。

Bazarevsky 和Zhang在一篇博客中說到，“目前最先進的追蹤方法依然要依賴強大的桌面環境來推斷手部動作，但是我們的方法已經可以在手機上實現實時識別，甚至可以擴展到多個手。”谷歌開發團隊希望這種手部追蹤方法能激發出“更有創造性的案例，以及新的應用程序和新的研究途徑”。

Bazarevsky和Zhang解釋說，在他們的手部跟蹤方法中主要有三個作用系統，一個手掌探測器模型(稱為Blaze Palm)，一個“手部標識”模型，帶有高保真的三維手部關鍵點，以及一個手勢識別器，可以把手部關鍵點的布局圖劃分為獨立手勢集。

以下是從博客全文中提煉出來的幾個細節：

研究人員聲稱，在掌心檢測方面BlazePalm技術可以達到95.7%的平均檢測精準度。

模型已經存入一致的內部手勢，甚至可以識別部分遮擋的手部動作。

可以識別多種文化下的手勢含義，如美國、歐洲和中國，“拇指向上”、握拳、“OK”、“Rock”和“蜘蛛俠”等手勢。

Google是開源的，它在MediaPipe中的手部追蹤和手勢識別系統需要配合相關的首尾相連的使用場景和源代碼。

Bazarevsky和Zhang說，谷歌未來的研究計劃仍將放在手部追蹤方面，探索更強大和更穩定的追蹤功能，并希望擴充可以檢測到的手勢數量。此外，他們還希望支持動態手勢追蹤識別，可能會為機器手語翻譯和流體手勢控制帶來好處。 不僅如此，配備更可靠的手持追蹤設備是AR頭顯向前邁進的必要條件；因為頭顯依然需要外部攝像頭來呈現虛擬世界，所以如何讓機器理解這個世界將一直是個待解決的問題。