Google 開發者大會 （Google Developer Summit） 是谷歌面向開發者展示最新產品和平臺的年度盛會。2020 Google 開發者大會于 11 月 16 日 至 21 日舉行，這是谷歌首次以全線上大會的形式與中國開發者相聚。

本次大會以“代碼不止”為主題，介紹了相關產品更新以及一系列面向本地開發者的技術支持內容，旨在賦能開發者高效創新、持續不斷地創造愉悅的產品體驗。

目前AR已經從只是暢想發展到今天的技術相對成熟的狀態，應用也不斷推陳出新。加上5G的帶動，越來越多的AR體驗走進生活，被更多人了解和使用。

隨著科技的不斷演進，人機交互的方式也不斷變更。攝像頭成為了數字世界的眼睛，能看懂并感知這個世界，再結合IMU、GPS算力集成及深度學習后，AR技術開始在最需要的位置和時空中無縫聯結，并響應現實世界。

AR提供了一種體驗信息以及獲得答案的新方法，吸引了人們的注意力，最終幫助推動了用戶行動起來。無論是應用的下載、互動，還是應用內購買，都看到了顯著的提升。

此次大會與AR/VR相關重點集中在ARCore的講解與介紹，谷歌軟件工程總監王啟文（Leon Wang）、大中華區AR/VR負責人熊子青、Google 技術布道師周克忠與Google 軟件工程師Eric Turner圍繞ARcore從多個角度進行了主題分享。

ARCore新增功能上線：更方便的設置、更真實的交互

AR作為一種視覺沉浸式媒介，能夠吸引人們的注意力，是一種體驗信息的新方式，并最終推動用戶的行動。而谷歌發布于2018年的ARCore是AR開發者平臺，提供了簡單而強大的工具，為Android和iOS用戶創造有效的AR體驗。目前已被應用在7億臺設備和成千上萬款app上，并且已獲得一系列更新。

整體上，ARCore能被適用于多種場景，離不開以下幾個核心功能：

1、運動追蹤。用來幫助用戶實現虛擬現實的映射關系。

2、環境理解。對現實環境中的平面信息進行評估，利用特征點來估算位置、大小以及朝向 。

3、光估測。ARCore可以分析估算當前環境中的光照信息，對渲染的虛擬內容進行光照色彩的校正，使其與手機攝像頭拍到的真實畫面結合得更加自然。

另外ARCore還有許多延伸的功能： 1、增強面部識別。提供了高精度468點的3D Mesh?？梢跃珳实刈粉櫮槻考毼⒈砬?，不需要深度傳感器，而是運用機器學習（ML）中的深度學習，以達到這樣的功能。同時支持安卓及IOS用戶。

2、環境光HDR。要讓虛擬物品看起來更逼真，更融入實景，其中最重要的功能之一就是要有正確的光照呈現。運用了ARCore所提供的360度全景光照信息，圖中的虛擬小火箭，就可以有了對應的反光及影子。

3、Scene Viewer場景觀測器。讓開發者可以直接在網頁上向用戶提供方便、好用的3D內容及AR瀏覽功能。

4、Agumented Image增強圖像?？梢?a target="_blank">檢測手機拍攝到的圖像信息，并與預先設置在數據庫中的圖像進行匹配?？删_匹配包括移動中的圖像，或是同時檢測多個圖像。

5、云錨點。為安卓和iOS用戶創建共享的跨平臺體驗。就如同圖中的案例，從兩個人到數百人，都可以在各自的設備上一起種花、澆灌。

11月16日，谷歌軟件工程總監王啟文（Leon Wang）發表了關于“ARCore為用戶創造有效的AR體驗”的主題演講，介紹了Google熱門的AR開發工具ARCore的新增功能。

新增功能如下：

迅速放置API（Instant Placement API）

一般來說，用戶在空間中放置過AR對象時，需要先用手機掃描周圍的環境，完成3D表面檢測。但這個過程將耗費一些時間和精力。實際上，在大多數情況下，我們不需要知道AR對象確切的3D位置也可以正確地呈現它。

借助迅速放置API和幾行代碼，開發人員可讓用戶將AR對象錨定到2D圖像中，而不需要確切知道AR對象具體的3D位置。如果需要更精確的比例，可以針對3D位置進行三角測量。

景深應用API（Depth API）

景深API可以從單個RGB相機生成地圖。原理是通過不同角度拍攝多張圖像，并在移動手機時進行比較，以估計到每個像素的距離。盡管只有一個RGB相機，但是添加了景深傳感器（如飛行時間傳感器）會讓景深地圖效果更好。

景深可以通過多種方式增強AR真實感，“遮擋”是其中一種景深應用，即隱藏數字物體在現實世界中被遮擋的部分，從而使它們看上去像是在現實場景中真實存在。

另一種是“表面交互”，即在設備中的世界里，添加3D層面的計算，可以實現與現實物品表面的交互，比如創意AR對象，并在其表面設計反彈和飛濺的動作。此功能可以用于開發新的交互式游戲機制，使玩家能夠躲在真實物體的后面。Snapchat的Dancing Hotdog和Undersea World Lens效果都使用了景深。

持久云錨點Persistent Cloud Anchors API

Cloud Anchors API可用于與多個用戶共享AR對象。在相同物理空間中的不同位置同時查看這些對象并與之交互，AR內容也因此可使用更長時間。

這相當于一個“保存按鈕”，人們可以基于相同的AR體驗進行創作并進行反復修改。比如，Sybo和iDreamSky的Mark應用采用了該功能，人們可以在現實世界中與朋友一起創建、發現和共享AR藝術。

AR技術大神講解ARCore深度API運作方式

Google 技術布道師周克忠與Google 軟件工程師Eric Turner主要針對了ARCore 核心功能中的深度API技術進行演講。ARCore 1．18 中發布的深度 API，賦能數以億計的 Android 設備，在只是使用一個 RGB 攝像頭的情況下，生成深度圖。

以“使用深度 API 提升 AR 的真實性”為主題演講的前半部分，周克忠介紹了ARCore的最新功能，包括深度API是什么，它可以解決什么問題等;后半部分，Eric介紹了ARCore如何實現深度API。

一、深度API是什么？它可以解決什么問題？

之前Google大中華區AR/VR負責人熊子青也曾講述，ARCore是Google為安卓平臺制作的AR開發平臺，目前在全球支持超過5億臺設備。其核心能力是運動追蹤、環境理解和光估測?，F在已經有很多APP使用ARCore制作出各種各樣的豐富體驗。

通過ARCore制作的應用看上去很逼真，但是實際體驗上，這些虛擬內容看起來好像他們就是手機膜一樣被貼到手機屏幕上，他們并不是真的在現實世界里面，這里缺少的就是遮擋，會破壞ARCore應用的真實感。 深度API的加入，可以解決虛擬對象缺乏真實感的問題，能夠消除違和感。

二、如何實現遮擋？

首先我們需要定義深度。如圖C點是攝像機的位置，Z軸是攝像機的主軸，A點表示一個現實的物體，從C到A的深度則被定義為線段CA在Z軸的投影。此為場景物體的深度軸。 根據深度信息，智能手機就能夠渲染虛擬物體。在著色渲染器里面計算每一個像素點的時候，我們將當前像素點的深度值，和之前在這個像素點所渲染過的顏色的深度值進行對比。 如果之前的像素點深度值更低，那么就意味著它更近;相反，則更遠。就這樣便可以實現基于深度的遮擋效果。

三、除了遮擋，深度API增強真實感的其他方式

1．AR光標。在AR應用里面，用戶可以把定點的光標貼合深度API生成的網格，此時光標就變成了在現實世界存在的AR光標。目的是更好地幫助用戶理解現在所看到、所對準的具體位置，以及這個位置的形狀。

2．物理交互。比如如圖所示，將一個虛擬物體丟到健身自行車上面，讓AR物體和真實世界的物體發生物理碰撞，進行物理模擬。

3．表面交互。通過讓AR角色識別真實物體表面的高低起伏，從而做出更加真實的前進路線，甚至可以繞開障礙物。

周克忠還介紹了目前團隊發表的論文《Depth Lab:Real-time 3D Interaction with Depth Maps for Mobile Augmented Reality》（UIST，2020），論文主要關于如何從深度信息實現以上功能，以及深度信息可以開啟怎樣的應用場景。

四、如何實現復雜的用法？ 團隊利用了三種輔助數據結構來幫助計算。 第一種數據結構就是一個深度數組，可以在屏幕上進行局部坐標的深度信息查詢。 第二種是深度網格，可以用來和真實物體的表面進行交互。注意這里是平面坐標系的網格，畢竟世界坐標系的網格運算量過大，一般手機無法承載。 第三種是深度貼圖，對GPU能處理的每一個像素都提供對應的深度值。 這三種結構在Depth Lab（深度API應用程序）都有提供代碼，是一個開源項目，提供給開發者進行自主設計。

五、關于局部、表面和密集深度貼圖的方法 通過使用深度數組，用戶可以查詢局部點的信息，以及這個點周圍局部區域的深度信息。

局部深度用法中，只通過某些點的深度估測值，可以用于測量、3D資源的放置和碰撞檢測。也可以配合多點的深度，實現簡單的AR角色障礙規避。比如說通過深度信息查詢環境中一個點與另一個點的實際距離。

表面深度用法，是基于深度信息快速構建屏幕空間的網格模型，利用游戲引擎進行網格交互。表面深度算法讓我們可以在3D網格上面實現光照、物理效果、陰影等功能。 密集深度用法，即通過在深度貼圖上直接進行操作，以實現復雜的逐幀像素特效。由于深度貼圖上的每個像素都有深度值，使得計算量特別大。一般的屏幕空間網格，其實是經過相當的簡化后的網格，而ARCore把計算量移到了GPU上，減小了手機的計算負擔。

第二部分里，在周克忠介紹深度API實際運作方式的基礎上，Eric通過具體例子進行了補充。

六、深度API原理剖析

一般而言，手機需要配備特殊的深度硬件才能實現深度識別，比如ToF深度傳感器。但實際上，現階段的ARCore并不需要特殊設備，只需要有攝像頭，就可以實現深度API功能。

如圖，左邊是手機相機拍攝的原始圖像，右邊是深度API為此場景生成的深度。用戶可以近距離觀察單車，也可以遠距離觀察遠處的門和走廊，分別對應的顏色是紅色和藍色，表示近處和遠處。

這意味著無論AR應用在做什么，它都可以獲取整個場景中的每個幀的深度信息。根據相機的運動生成深度信息，如藍色幀為遠處，紅色幀為近處，這些幀會被最后的相機畫面幀（黑色）引用為立體匹配關鍵幀。過去的幀與當前的幀之間的基線，可用來估算場景的立體深度。 但Eric提到，基于用戶自然移動的規則，團隊為此添加了一些限制。因此與傳統的并行立體匹配相比，設計基于自然移動的深度API則存在一些挑戰。

傳統的并行立體匹配可以全面控制相機之間的相對位置。而在典型AR應用中，對于隨機相機移動，團隊無法控制相機的位置，即用戶在進行自由移動時，相機可能在任何方向。 而目前，ARCore深度API添加了智能圖像處理功能，以確保整個圖像都具有準確的深度。除此之外，還能夠補償速度匹配錯誤、運動模糊、自動聚集聚焦變化或自然移動導致的小于正常基線的問題等。

深度API的完整流程是： 實時圖像-形成關鍵幀池-篩選出關鍵幀-根據智能算法剔除無效關鍵幀-立體匹配-使關鍵幀平滑-調用深度API-實現渲染遮擋。 其亮點在于，即使是一面空白無特征的墻，ARCore的深度API仍然能夠生成正確表示該空白墻的深度圖像。

其原理是，如圖所示，白墻是黃色幀，箱子是橙色幀。在圖二的中間，可以看到偽色深度圖像，正確呈現了場景中的物體的遠近位置。而圖三則是以點云代替顏色，進行了側面視角觀察，但同樣能以垂直點表示墻面、水平點表示箱子，準確判斷出墻和箱子的相對距離。 演講的最后，周克忠總結，實現深度API最大的難點是怎么擴展這個能力。為裝備到數以億計的安卓設備上而設計深度API的時候，一方面我們需要盡可能的讓它的結果精確，另外我們需要盡量去減少它的計算量，以盡量支持更多的已有設備。 而近年來，Google一直在進行深度API的優化，以減少它的計算量。

不止于此，ARCore已具有豐富的應用場景

總體上，王啟文將ARCore的核心功能進行了詳細介紹，周克忠和Eric剖析了ARCore最受矚目的深度API的運作原理。有了底層技術支撐，ARCore也被廣泛應用在豐富的場景中，并受YouTube、美圖、滴滴等多個企業青睞。

此前，王啟文在演講上還介紹了中國地區ARCore的應用情況。在此基礎上，大中華區AR/VR負責人熊子青補充ARCore應用案例，她以“ARCore新近更新及應用實例”為主題，從AR近期發展、ARCore進程、2020新近更新三個方面介紹了ARCore產品動態。

關于中國地區的應用案例，王啟文介紹了包括美圖、滴滴、有道少兒詞典的中國開發者如何使用ARCore提高產品的性能和體驗。

美圖公司利用ARCore的增強面孔API（Augmented Faces API）構建了100多個自拍濾鏡，就是現在我們在BeautyPlus上可以體驗到的AR特效，用戶可以拍攝照片和視頻與朋友分享。

增強面孔API（Augmented Faces API）從2D圖像中生成3D網格，可追蹤嘴部動作、眨眼、點頭和一些復雜的細節。

滴滴的ARCore導航功能幫助乘客在火車站、商場和機場等大型公共區域找到司機。滴滴地圖中加入了AR路標，15%的用戶使用AR來引導他們找到訂單司機，80%的用戶給出好評。

有道少兒詞典應用使用AR來幫助孩子們以一種有趣和吸引人的方式學習新單詞。該應用將“三角龍Triceratops ”等單詞與其3D模型在AR中配對，父母可以把AR畫面錄制或拍照，方便日后成為孩子們可參考的學習材料。

關于更豐富的應用場景的應用，熊子青介紹了目前AR技術主要應用在學習、娛樂、出行、社交等場景，以此闡明AR技術正幫助將人們的生活變得更便利、更有趣。

例如，在Google search中，設計了許多3D模型，老虎、獅子，甚至是數學公式，讓用戶在搜尋時能360度觀看，也可以用AR方式投射到家中，立體化地了解信息。疫情期間，獲得了全球使用者的廣大回響。

關于Google lens智慧鏡頭應用，用戶打開攝像頭就可以識別花草、文字、電視、地標、菜單。

在YouTube中的應用。用戶可以一邊看美妝博主示范化妝方式，一邊可以使用AR功能進行實時試妝。

Google Map中也應用了AR戶型導航。用戶可以看到方向指示牌和導覽提示，仿佛一個專屬的私人導游。該應用是目前GoogleAR應用中使用者最多的應用之一。

隨著手機的普及，營銷媒介也發展出基于手機相機的新應用。運用AR將人們帶入沉浸式體驗，將人們帶入品牌世界。Google display network中，Google推出了3D Swirl營銷工具，該營銷應用在今年下半年正式完成了beta測試版，并且已經看到了用戶參與度及品牌影響力的顯著提升。

5G實踐前沿。隨著5G商用化，ARCore與LG Uplus合作，在韓國首爾進行了AR+5G的實踐嘗試。在首爾地鐵站布建了AR藝術長廊和展示車廂，5G加持能夠克服地鐵站人多信號差的缺陷，人們能夠順暢地體驗到豐富的AR藝術內容。

昌德宮。聯合國教科文組織世界遺產站點。Google與SK Telecom和文化遺產管理局合作，創建了全球首個5G賦能的AR文旅體驗。AR導覽由一個活化的石獅子帶領，游客可以穿越到朝鮮王朝，體驗傳統習俗和體會朝鮮貴族生活。

總結

通過2020 Google 開發者大會，我們看到了谷歌基于算法API方面對于ARCore的進一步升級。讓手機會“看”、能“懂”的需求已經隨著機器學習、深度API的更新進程不再是困擾AR體驗的攔路虎。

值得一體的是，谷歌正加大力度將人工智能算法整合到ARCore底層，以確保盡可能多的支持市場上參差不齊的手機品類。應用方面，谷歌ARCore采用廣撒網的方式，與國內出行、教育、醫療、文化等領域的領先企業進行合作，通過催生越來越多的AR應用場景的誕生，隨著量變到質變的轉換，爆款AR應用的誕生值得期待。

責任編輯：xj