從人形機器人到工廠，基于物理 AI 的工業系統正在通過訓練、仿真和推理加速發展。

ChatGPT 標志著生成式 AI 的大爆炸時刻。它幾乎可以針對任何查詢生成答案，有助于改變知識型員工在內容創作、客戶服務、軟件開發和業務運營等方面的數字工作。

物理 AI 是 AI 在人形機器人、工廠和其它工業系統設備中的具象化體現，目前尚未達到突破點。

這阻礙了運輸和移動、制造業、物流和機器人等行業的發展。但由于三臺計算機能夠將先進的訓練、仿真和推理結合在一起，這種情況即將改變。

多模態物理 AI 的崛起

60 年來，“軟件 1.0”（由人類程序員編寫的串行代碼）在 CPU 驅動的通用計算機上運行。

隨后，在 2012 年，Alex Krizhevsky 在 Ilya Sutskever 和 Geoffrey Hinton 的指導下，開發了革命性的圖像分類深度學習模型 AlexNet，贏得了 ImageNet 計算機圖像識別大賽。

這標志著該行業首次接觸 AI。在 GPU 上運行神經網絡，機器學習的這項突破開啟了軟件 2.0 時代。

如今，軟件自己就可以編寫軟件。世界上的計算工作負載正在從 CPU 上的通用計算轉向 GPU 上的加速計算，把摩爾定律遠遠地甩在后面。

借助生成式 AI，經過訓練的多模態 transformer 和擴散模型可以生成響應。

大語言模型是一維的，能夠以字母或單詞等模式預測下一個 token。圖像和視頻生成模型是二維的，能夠預測下一個像素。

這些模型都無法理解或解釋三維世界。而這就是物理 AI 大顯身手之處。

物理 AI 模型可以通過生成式 AI 來感知、理解物理世界，與物理世界交互和進行導航。借助加速計算，多模態物理 AI 領域的技術突破和基于物理的大規模仿真正在讓人們能夠通過機器人來實現物理 AI 的價值。

機器人是一個能夠感知、推理、計劃、行動和學習的系統。通常，人們把自主移動機器人（AMR）、機械臂或人形機器人看作機器人，但機器人體現類型還有很多。

在不久的將來，所有移動或監控移動物體的東西都將是自主機器系統。這些系統將能夠感知環境，并對其做出反應。

從手術室到數據中心，從倉庫到工廠，甚至交通控制系統或整個智慧城市，一切都將從手動操作的靜態系統轉變為由物理 AI 體現的自主交互式系統。

下一個前沿：人形機器人

人形機器人是一種理想的通用機器人表現形式，因為它們可以在為人類構建的環境中高效地運行，同時只需最小的部署和操作調整。

據高盛稱，到 2035 年，全球人形機器人市場的規模預計將達到 380 億美元，比近兩年前預測的約 60 億美元增長了六倍多。

世界各地的研究人員和開發者都在競相制造新一代機器人。

借助三臺計算機開發物理 AI

為了開發人形機器人，需要三個加速計算機系統來處理物理 AI 和機器人的訓練、仿真和運行時。兩項計算技術的進步正在加速人形機器人的發展：多模態基礎模型和可擴展的、基于物理的機器人及其世界的仿真。

生成式 AI 的突破正在為機器人帶來 3D 感知、控制、技能規劃和智能。大規模的機器人仿真可以讓開發者在模擬物理定律的虛擬世界中改進、測試和優化機器人技能，這有助于降低現實世界的數據采集成本，并確保它們能夠在安全、可控的環境中運行。

NVIDIA 打造了三個計算機和加速開發平臺，助力開發者創建物理 AI。

首先，在一臺超級計算機上訓練模型。開發者可以在 NVIDIA 平臺上使用NVIDIA NeMo來訓練和微調強大的基礎和生成式 AI 模型。他們還可以利用NVIDIA Project GR00T（一項為人形機器人開發通用基礎模型的計劃），使人形機器人能夠理解自然語言，并通過觀察人類動作來模仿動作。

其次，在NVIDIA OVX服務器上運行的NVIDIA Omniverse通過NVIDIA Isaac Sim等應用程序編程接口和框架，為測試和優化物理 AI 提供了開發平臺和仿真環境。

開發者可以使用 Isaac Sim 來仿真和驗證機器人模型，或者生成大量基于物理的合成數據來引導機器人模型的訓練。研究人員和開發者還可以使用NVIDIA Isaac Lab，這是一個開源的機器人學習框架，為機器人強化學習和模仿學習提供動力，幫助加快機器人策略的訓練和完善。

最后，訓練好的 AI 模型被部署到運行時計算機上。NVIDIA Jetson Thor機器人計算機專為滿足緊湊型板載計算需求而設計。由控制策略、視覺和語言模型構組成的模型集合構成了機器人的大腦，并部署在一個節能的板載邊緣計算系統上。

根據他們的工作流和面臨的挑戰領域，機器人制造商和基礎模型開發者可以根據需要，使用盡可能多的加速計算平臺和系統。

打造下一代自主設施

機器人設施是所有這些技術的結晶。

Foxconn等制造商或亞馬遜機器人等物流公司可以組織自主機器人車隊與人類工人一起工作，并通過成百上千個傳感器來監控工廠的運營情況。

這些自主倉庫和工廠將擁有數字孿生。數字孿生用于布局規劃和優化、操作仿真，最重要的是，用于機器人車隊的軟件在環測試。

基于 Omniverse 構建的“Mega”是工廠數字孿生的藍圖，使工業企業能夠在將機器人部署到實體工廠之前，先在仿真環境中測試和優化機器人車隊，這有助于確保無縫集成、最佳性能和最小干擾。

Mega 允許開發者把虛擬機器人及其 AI 模型或機器人的大腦放入他們的工廠數字孿生中。數字孿生中的機器人通過感知環境、推理、規劃下一個動作，最后完成計劃的動作來執行任務。

這些動作通過 Omniverse 中的世界仿真器，在數字環境中進行仿真。結果通過 Omniverse 傳感器仿真被機器人大腦感知。

通過傳感器仿真，機器人大腦決定下一個動作，循環繼續進行，與此同時，Mega 則一絲不茍地跟蹤工廠數字孿生中每個元素的狀態和位置。

這種先進的軟件在環測試方法使工業企業能夠在 Omniverse 數字孿生的安全范圍內來仿真和驗證更改，幫助他們預測和解決潛在問題，以在實際部署過程中降低風險和成本。

利用 NVIDIA 技術

賦能開發者生態

NVIDIA 通過三臺計算機，加速全球機器人開發者和機器人基礎模型構建者生態的工作。

利用NVIDIA Isaac Manipulator、Isaac 加速庫和 AI 模型以及NVIDIA Jetson Orin，泰瑞達旗下的優傲機器人公司構建了 UR AI 加速器，這是一個即用型硬件和軟件工具包，使協作機器人開發者能夠開發應用程序、加速開發，并縮短 AI 產品的上市時間。

RGo Robotics 使用NVIDIA Isaac Perceptor來幫助其 wheel.me 自主移動機器人隨時隨地工作，并通過賦予它們類似人類的感知能力和視覺空間信息，來做出明智的決策。

1X Technologies、Agility Robotics、Apptronik、波士頓動力公司、傅利葉、銀河通用、Mentee、Sanctuary AI、宇樹科技和小鵬機器人等人形機器人制造商正在采用 NVIDIA 的機器人開發平臺。

波士頓動力公司正在使用 Isaac Sim 和 Isaac Lab制造四足和人形機器人，以提高人類生產力，解決勞動力短缺問題，并優先解決倉庫的安全問題。

傅利葉正在利用 Isaac Sim 來訓練人形機器人，使其能夠在科學研究、醫療和制造業等需要高水平互動和適應性的領域中運行。

利用 Isaac Lab 和 Isaac Sim，銀河通用開發了名為 DexGraspNet 的大型機器人靈巧抓取數據集，該數據集可應用于各種靈巧機器手，以及用于評估靈巧抓取模型的仿真環境。

使用 Isaac 平臺和 Isaac Lab，Field AI 開發了風險受限的多任務和多用途基礎模型，使機器人能夠在戶外現場環境中安全地運行。

物理 AI 時代已經到來，它正在改變世界的重工業和機器人技術。