XR（Extended Reality，擴(kuò)展現(xiàn)實(shí)）是一種將現(xiàn)實(shí)世界與虛擬世界相結(jié)合的技術(shù)，它包括了AR（Augmented Reality，增強(qiáng)現(xiàn)實(shí)）和VR（Virtual Reality，虛擬現(xiàn)實(shí)）等多種技術(shù)。

一、XR、AR和VR的概念

1. XR（擴(kuò)展現(xiàn)實(shí)）

XR是一種將現(xiàn)實(shí)世界與虛擬世界相結(jié)合的技術(shù)，它通過計(jì)算機(jī)生成的圖像、聲音、觸覺等感官信息，增強(qiáng)用戶對現(xiàn)實(shí)世界的感知。XR技術(shù)可以讓用戶在現(xiàn)實(shí)世界中看到虛擬物體，或者在虛擬環(huán)境中感受到現(xiàn)實(shí)世界的物體。XR技術(shù)包括了AR、VR、MR（Mixed Reality，混合現(xiàn)實(shí)）等多種技術(shù)。

2. AR（增強(qiáng)現(xiàn)實(shí)）

AR是一種將虛擬信息疊加到現(xiàn)實(shí)世界中的技術(shù)，它通過計(jì)算機(jī)生成的圖像、聲音等感官信息，增強(qiáng)用戶對現(xiàn)實(shí)世界的感知。AR技術(shù)可以讓用戶在現(xiàn)實(shí)世界中看到虛擬物體，但這些虛擬物體與現(xiàn)實(shí)世界的物體是相互獨(dú)立的。AR技術(shù)的應(yīng)用領(lǐng)域包括游戲、教育、醫(yī)療、零售等。

3. VR（虛擬現(xiàn)實(shí)）

VR是一種通過計(jì)算機(jī)生成的虛擬環(huán)境，讓用戶完全沉浸在虛擬世界中的技術(shù)。VR技術(shù)可以讓用戶在虛擬環(huán)境中看到、聽到、感受到虛擬物體，但這些虛擬物體與現(xiàn)實(shí)世界的物體是完全隔離的。VR技術(shù)的應(yīng)用領(lǐng)域包括游戲、教育、醫(yī)療、軍事等。

二、XR、AR和VR的區(qū)別

1. 技術(shù)實(shí)現(xiàn)方式

XR技術(shù)是一種綜合性的技術(shù)，它包括了AR、VR、MR等多種技術(shù)。XR技術(shù)通過計(jì)算機(jī)生成的圖像、聲音、觸覺等感官信息，增強(qiáng)用戶對現(xiàn)實(shí)世界的感知。而AR技術(shù)主要通過在現(xiàn)實(shí)世界中疊加虛擬信息，增強(qiáng)用戶對現(xiàn)實(shí)世界的感知；VR技術(shù)則是通過計(jì)算機(jī)生成的虛擬環(huán)境，讓用戶完全沉浸在虛擬世界中。

2. 用戶體驗(yàn)

XR技術(shù)可以提供更加豐富的用戶體驗(yàn)，它可以根據(jù)用戶的需求，將AR、VR、MR等多種技術(shù)進(jìn)行組合，實(shí)現(xiàn)不同的應(yīng)用場景。而AR技術(shù)主要提供現(xiàn)實(shí)世界與虛擬世界的疊加體驗(yàn)，用戶可以在現(xiàn)實(shí)世界中看到虛擬物體，但這些虛擬物體與現(xiàn)實(shí)世界的物體是相互獨(dú)立的。VR技術(shù)則提供完全沉浸式的虛擬環(huán)境體驗(yàn)，用戶在虛擬環(huán)境中可以完全感受到虛擬物體，但與現(xiàn)實(shí)世界的物體是完全隔離的。

3. 應(yīng)用領(lǐng)域

XR技術(shù)的應(yīng)用領(lǐng)域非常廣泛，包括游戲、教育、醫(yī)療、軍事、零售、旅游等。由于XR技術(shù)可以提供更加豐富的用戶體驗(yàn)，因此在很多領(lǐng)域都有廣泛的應(yīng)用前景。而AR技術(shù)主要應(yīng)用于游戲、教育、醫(yī)療、零售等領(lǐng)域，通過在現(xiàn)實(shí)世界中疊加虛擬信息，增強(qiáng)用戶對現(xiàn)實(shí)世界的感知。VR技術(shù)則主要應(yīng)用于游戲、教育、醫(yī)療、軍事等領(lǐng)域，通過提供完全沉浸式的虛擬環(huán)境體驗(yàn)，讓用戶在虛擬環(huán)境中進(jìn)行學(xué)習(xí)和訓(xùn)練。

三、XR、AR和VR在不同領(lǐng)域的應(yīng)用

1. 游戲領(lǐng)域

在游戲領(lǐng)域，XR技術(shù)可以提供更加豐富的游戲體驗(yàn)，通過將AR、VR、MR等多種技術(shù)進(jìn)行組合，實(shí)現(xiàn)不同的游戲場景。例如，通過AR技術(shù)，用戶可以在現(xiàn)實(shí)世界中看到虛擬的游戲角色和道具；通過VR技術(shù)，用戶可以完全沉浸在虛擬的游戲世界中，體驗(yàn)更加真實(shí)的游戲場景。

2. 教育領(lǐng)域

在教育領(lǐng)域，XR技術(shù)可以提供更加生動的教學(xué)體驗(yàn)，通過將虛擬信息與現(xiàn)實(shí)世界相結(jié)合，幫助學(xué)生更好地理解和掌握知識。例如，通過AR技術(shù)，學(xué)生可以在現(xiàn)實(shí)世界中看到虛擬的科學(xué)實(shí)驗(yàn)和歷史場景；通過VR技術(shù)，學(xué)生可以完全沉浸在虛擬的實(shí)驗(yàn)室和歷史場景中，進(jìn)行實(shí)踐操作和探索。

3. 醫(yī)療領(lǐng)域

在醫(yī)療領(lǐng)域，XR技術(shù)可以提供更加精確的診斷和治療手段，通過將虛擬信息與現(xiàn)實(shí)世界相結(jié)合，幫助醫(yī)生更好地進(jìn)行手術(shù)和治療。例如，通過AR技術(shù)，醫(yī)生可以在現(xiàn)實(shí)世界中看到虛擬的人體結(jié)構(gòu)和病變部位；通過VR技術(shù)，醫(yī)生可以在虛擬環(huán)境中進(jìn)行手術(shù)模擬和訓(xùn)練，提高手術(shù)技能。

4. 軍事領(lǐng)域

在軍事領(lǐng)域，XR技術(shù)可以提供更加真實(shí)的訓(xùn)練環(huán)境，通過將虛擬信息與現(xiàn)實(shí)世界相結(jié)合，幫助士兵進(jìn)行實(shí)戰(zhàn)訓(xùn)練。例如，通過AR技術(shù)，士兵可以在現(xiàn)實(shí)世界中看到虛擬的敵人和戰(zhàn)場環(huán)境；通過VR技術(shù)，士兵可以完全沉浸在虛擬的戰(zhàn)場環(huán)境中，進(jìn)行戰(zhàn)術(shù)訓(xùn)練和模擬戰(zhàn)斗。

5. 零售領(lǐng)域

在零售領(lǐng)域，XR技術(shù)可以提供更加便捷的購物體驗(yàn)，通過將虛擬信息與現(xiàn)實(shí)世界相結(jié)合，幫助消費(fèi)者進(jìn)行商品選擇和購買。例如，通過AR技術(shù)，消費(fèi)者可以在現(xiàn)實(shí)世界中看到虛擬的商品信息和評價(jià)；通過VR技術(shù)，消費(fèi)者可以完全沉浸在虛擬的購物環(huán)境中，進(jìn)行商品瀏覽和購買。

6. 旅游領(lǐng)域

在旅游領(lǐng)域，XR技術(shù)可以提供更加豐富的旅游體驗(yàn)，通過將虛擬信息與現(xiàn)實(shí)世界相結(jié)合，幫助游客更好地了解和體驗(yàn)旅游景點(diǎn)。

如何使用人工智能開發(fā)更小、更輕的擴(kuò)展現(xiàn)實(shí)眼鏡

如今的沉浸式擴(kuò)展現(xiàn)實(shí)（XR）設(shè)備需要重型光學(xué)器件和顯示器用頭帶固定，這增加了體積并形成了社會障礙。在設(shè)想的未來，頭帶將不再是必要的。在過去的幾年里，NVIDIA Research 一直在與斯坦福大學(xué)計(jì)算成像小組合作，研究如何開發(fā)更小、更輕的 XR 眼鏡，該小組由 Gordon Wetzstein 教授領(lǐng)導(dǎo)。

XR 眼鏡光學(xué)設(shè)計(jì)中最重要的規(guī)則是顯示器應(yīng)該靠近用戶的面部，以實(shí)現(xiàn)緊湊和輕便的設(shè)計(jì)，而圖像應(yīng)該看起來更遠(yuǎn)。隨著顯示器移動得離眼睛更遠(yuǎn)，重心也發(fā)生了變化。

然而，人眼無法正確感知離得太近的顯示器，因此必須使用透鏡等光學(xué)系統(tǒng)將圖像中繼到舒適的觀看距離。為了使該系統(tǒng)有效，顯示器需要位于透鏡的焦距附近，這反諷地需要將顯示器放置得更遠(yuǎn)。

一種解決方案是使用折疊光路的煎餅透鏡，這種方法引入了新的問題，如像差和額外的重量。光波導(dǎo)也經(jīng)常用于實(shí)現(xiàn)緊湊型 XR 眼鏡，但它們也有自己的挑戰(zhàn)，包括有限的視角和無限遠(yuǎn)的固定焦點(diǎn)。

XR 全息眼鏡

全息近眼顯示器作為一種能夠克服這些限制的技術(shù)正在受到關(guān)注。新的顯示元件，空間光調(diào)制器（SLM），不是操縱光的強(qiáng)度，而是操縱光的相位，從而能夠在 SLM 之前或之后重建三維全息圖。使用此功能，三維圖像可以定位在鏡頭焦距附近，即使顯示器非?？拷R頭。

利用這一原理，我們的團(tuán)隊(duì)推出了厚度僅為 2.5 毫米的虛擬現(xiàn)實(shí)全息眼鏡（圖 2），如虛擬現(xiàn)實(shí)全息玻璃所示。通過波導(dǎo)、全息近眼顯示器和幾何相位透鏡，VR 眼鏡可以在沒有自由空間傳播的情況下以最小的厚度制造，該團(tuán)隊(duì)實(shí)施了臺式和可穿戴原型進(jìn)行測試。

我們的雙目可穿戴原型支持 3D 焦點(diǎn)提示，它提供了 22.8 度的對角視野，帶有 2.3 毫米的靜態(tài)眼盒和帶光束轉(zhuǎn)向的動態(tài)眼盒的額外功能，同時(shí)重量僅為 60 克，不包括驅(qū)動板。利用用戶瞳孔作為自然傅立葉濾波器的思想，我們首次提出了一種真正的眼鏡形狀因子全息 VR。

雜志 《自然》最近刊登了這項(xiàng)研究，即全彩 3D 全息增強(qiáng)現(xiàn)實(shí)顯示器，具有金屬表面波導(dǎo)。本研究介紹了獨(dú)特的全息增強(qiáng)現(xiàn)實(shí)（AR）眼鏡，它結(jié)合了逆向設(shè)計(jì)的全色元表面光柵、緊湊的色散補(bǔ)償波導(dǎo)幾何結(jié)構(gòu)和人工智能驅(qū)動的全息算法。

采用與我們之前的工作類似的方法，這項(xiàng)研究從光路中消除了透鏡，并戰(zhàn)略性地使用全色超表面光柵作為內(nèi)耦合器和外耦合器。如圖 3所示，傳統(tǒng)的 AR 眼鏡使用振幅 SLM，如有機(jī)發(fā)光二極管或微型發(fā)光二極管，這些都需要基于投影儀的光引擎，該光引擎通常至少與投影透鏡的焦距一樣厚。

基于波導(dǎo)的 AR 顯示器的光學(xué)原理。我們的全息 AR 眼鏡的設(shè)計(jì)使用了僅相位 SLM，可以安裝在耦合光柵附近，從而最大限度地減小器件的形狀因子

我們的全息 AR 眼鏡的設(shè)計(jì)使用了僅相位 SLM，該 SLM 可以安裝在非?？拷鼉?nèi)耦合光柵的位置，從而最大限度地減小了器件的形狀因子。與傳統(tǒng)的 AR 眼鏡不同，我們的全息設(shè)計(jì)可以為虛擬內(nèi)容提供全 3D 深度提示。圖4顯示了通過我們的緊湊型全息顯示器原型捕獲的實(shí)驗(yàn)結(jié)果。這項(xiàng)創(chuàng)新工作是首次在完全透明的玻璃結(jié)構(gòu)中成功實(shí)現(xiàn)全彩 3D 全息。

我們設(shè)計(jì)的另一個(gè)重要特征是使用了人工智能驅(qū)動的全息算法，這使得能夠使用之前介紹的緊湊、輕便的全息 XR 眼鏡。SLM 由相干光源（如激光）供電，其中波導(dǎo)系統(tǒng)中相干波前的精確操作對于全息顯示器至關(guān)重要，但由于相干光的干擾性質(zhì)，這一點(diǎn)非常具有挑戰(zhàn)性。為了應(yīng)對這一挑戰(zhàn)，我們開發(fā)了一個(gè)數(shù)學(xué)模型，該模型結(jié)合物理精確建模技術(shù)和人工智能來描述波導(dǎo)中相干波的傳播。

如圖 5 所示，波導(dǎo)的物理方面（以綠色突出顯示）與從相機(jī)反饋中學(xué)習(xí)的 AI 組件（以橙色突出顯示）相結(jié)合。在我們的模型中，輸入相位模式（左）將從 0 到 2π的每像素相位延遲應(yīng)用于會聚照明，然后波前被所學(xué)習(xí)的耦合器內(nèi)效率調(diào)制。本文中的效率是指表征元表面的物理量。

然后，該波陣面被發(fā)送到耦合器內(nèi)平面處的 CNN，并使用其物理激勵(lì)傳遞函數(shù)通過波導(dǎo)傳播，然后使用額外的學(xué)習(xí)輸出耦合器效率來確定輸出耦合波陣面（中心）。后者被傳播到距離用戶不同距離的目標(biāo)場景，在那里應(yīng)用 CNN，將復(fù)值場轉(zhuǎn)換為觀察到的強(qiáng)度（右）。

提出的波浪傳播模型。當(dāng)該模型在捕獲的數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí)，所學(xué)習(xí)的參數(shù)使其能夠準(zhǔn)確預(yù)測我們的全息 AR 眼鏡的輸出，并在運(yùn)行時(shí)計(jì)算目標(biāo)場景的相位模式

當(dāng)在捕獲的數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí)，CNNs 的學(xué)習(xí)參數(shù)、耦合器效率和波導(dǎo)傳播使該模型能夠準(zhǔn)確預(yù)測我們的全息 AR 眼鏡的輸出該模型是完全可微分的，使得簡單的梯度下降計(jì)算機(jī)生成的全息算法能夠在運(yùn)行時(shí)計(jì)算目標(biāo)場景的相位模式

該模型可以通過神經(jīng)網(wǎng)絡(luò)組件參數(shù)化，這些組件可以從相機(jī)反饋中自動學(xué)習(xí)。在實(shí)際的全息顯示器中，即使是波長尺度的錯(cuò)位也會導(dǎo)致圖像質(zhì)量的顯著下降，使得人工智能驅(qū)動的校準(zhǔn)至關(guān)重要，尤其是在波導(dǎo)等復(fù)雜結(jié)構(gòu)中。所提出的波傳播模型準(zhǔn)確地表示了物理光學(xué)，相比其他模型顯著提高了圖像質(zhì)量（圖 2和圖 4）。

總結(jié)

一度被認(rèn)為不可能，但人工智能使實(shí)用的全息顯示器變得可行，并使 3D XR 眼鏡能夠支持聚焦提示。這一研究領(lǐng)域?yàn)槿斯ぶ悄茉陲@示器中開辟了新的可能性。雖然人工智能已經(jīng)被用于內(nèi)容創(chuàng)建和人機(jī)交互，但它也可以顯著減少顯示器本身的尺寸和重量，這是一個(gè)真正突破性的成就，超越了傳統(tǒng)的期望。這些創(chuàng)新還為新的顯示器外形因素帶來了潛力，超越了自誕生以來一直占據(jù)主導(dǎo)地位的傳統(tǒng) 2D 矩形顯示器。