在手術(shù)室中，手術(shù)視頻流的延遲和可靠性會對患者的預(yù)后產(chǎn)生重大影響。傳感器輸入的超高速幀速率支持下一代 AI 應(yīng)用程序，可為外科醫(yī)生提供新級別的實時感知和控制。

為了將實時人工智能能力構(gòu)建到醫(yī)療設(shè)備中，以用于手術(shù)導(dǎo)航、內(nèi)窺鏡等圖像引導(dǎo)干預(yù)和醫(yī)療機器人等用例，開發(fā)人員需要能夠低延遲處理來自多個通道的組合傳感器數(shù)據(jù)的人工智能管道。

正如 GTC 2022 所宣布的， NVIDIA Clara Holoscan SDK v0.3 現(xiàn)在為 4K 視頻提供了 240 Hz 的閃電般快速幀速率。這使得開發(fā)人員能夠結(jié)合來自更多傳感器的數(shù)據(jù)，并構(gòu)建能夠提供手術(shù)指導(dǎo)的 AI 應(yīng)用程序。隨著通過高速以太網(wǎng)連接的傳感器實現(xiàn)更快的數(shù)據(jù)傳輸，開發(fā)人員有了更多的工具來構(gòu)建加速的 AI 管道。

前端傳感器的實時人工智能處理

NVIDIA Clara Holoscan 通過 ConnectX SmartNIC 和 NVIDIA Rivermax SDK 實現(xiàn)高速傳感器輸入， GPUDirect RDMA 繞過 CPU 。這允許傳感器將數(shù)據(jù)高速以太網(wǎng)輸出到 AI 計算系統(tǒng)。結(jié)果是邊緣 AI 的性能無與倫比。

傳統(tǒng)的 GStreamer 和基于 OpenGL 的內(nèi)窺鏡管道在 1080p 60 Hz 的流上具有 220 ms 的端到端延遲，而使用 Clara Holoscan 的高速管道在 4K 240 Hz 的流中僅有 10 ms 的端對端延遲。

在 NVIDIA IGX Orin Developer Kit 上以 4K 60 Hz 、 50 ms 以下的頻率流式傳輸數(shù)據(jù)，團隊可以運行 15 個并發(fā) AI 視頻流和 30 個并發(fā)模型。

NVIDIA Rivermax 軟件開發(fā)工具包

NVIDIA Clara Holoscan 附帶的 NVIDIA Rivermax SDK 支持與 GPU 之間的直接數(shù)據(jù)傳輸。它繞過主機內(nèi)存并使用 ConnectX SmartNIC 的卸載功能，以最低的流式工作負(fù)載利用率提供一流的吞吐量和延遲。 NVIDIA Clara Holoscan 利用 Rivermax 功能為高帶寬網(wǎng)絡(luò)傳感器帶來可擴展連接，并支持非常快速的數(shù)據(jù)傳輸。

視頻 G-SYNC

NVIDIA G-SYNC 通過將顯示器刷新率與 GPU 同步，實現(xiàn)了高顯示性能，從而消除了屏幕撕裂現(xiàn)象，并最大限度地減少了顯示器斷斷續(xù)續(xù)和輸入延遲。因此， AI 推理可以以非常低的延遲顯示。

NVIDIA Clara HoloViz

Clara HoloViz 是 Holoscan 中用于可視化數(shù)據(jù)的模塊。 Clara HoloViz 將實時幀流與多個不同的其他層（如分段掩碼層、幾何體層和 GUI 層）組合在一起。

為了獲得最佳性能， Clara HoloViz 使用了 Vulkan ，它已經(jīng)作為 NVIDIA 驅(qū)動程序的一部分安裝。

Clara HoloViz 在其 API 中使用了立即模式設(shè)計模式的概念。應(yīng)用程序不會創(chuàng)建和存儲任何對象。這使得在 Holoscan 應(yīng)用程序中快速構(gòu)建和更改可視化效果變得容易。

改進的開發(fā)人員體驗

NVIDIA Clara Holoscan SDK v0.3 版本顯著改善了開發(fā)體驗。首先，為創(chuàng)建 GXF 擴展添加了一個新的 C ++ API ，這為開發(fā)人員構(gòu)建他們想要的應(yīng)用程序提供了額外的途徑。其次，對 x86 處理器的支持允許開發(fā)人員快速開始開發(fā) AI 應(yīng)用程序，然后可以輕松地部署在 IGX 開發(fā)工具包上。第三，這個最新版本豐富了自帶模型（ BYOM ）支持。

Holoscan C++ API

Holoscan C ++ API 提供了一種新的方便的方式來組成 GXF 工作流，而無需編寫 YAML 文件。 Holoscan C ++ API 使創(chuàng)建應(yīng)用程序的方法更加靈活和可擴展。它被設(shè)計成 GXF 框架 API 的直接替代品，并為 GXF 組件提供了通用接口。

圖 1.Holoscan API 的主要組件

應(yīng)用： 應(yīng)用程序獲取并處理流數(shù)據(jù)。應(yīng)用程序是片段的集合，其中每個片段都可以分配到 Holoscan 集群的物理節(jié)點上執(zhí)行。

片段： 片段是應(yīng)用程序的構(gòu)建塊。它是運算符的有向無環(huán)圖（ DAG ）。在執(zhí)行期間，可以將片段分配給 Holoscan 集群的物理節(jié)點。運行時執(zhí)行管理跨片段的通信。在片段中，操作符（圖形節(jié)點）通過流（圖形邊）相互連接。

運算符： 運算符是此框架中最基本的工作單元。操作員在輸入端口接收流數(shù)據(jù)，對其進行處理，并將其發(fā)布到其輸出端口之一。 GXF 中的 codelet 將替換為框架中的運算符。運營商將 GXF 實體的接收器和發(fā)射器封裝為運營商的 I / O 端口。

資源： 操作員執(zhí)行作業(yè)所需的資源，如系統(tǒng)內(nèi)存或 GPU 內(nèi)存池。資源在應(yīng)用程序的初始化階段分配。該資源與 GXF 內(nèi)存分配器或從 GXF 中的組件類派生的任何其他組件的語義相匹配。

條件： 條件是一個謂詞，可以在運行時進行計算，以確定是否應(yīng)該執(zhí)行運算符。這與 GXF Scheduling Term 類的語義相匹配。

端口： 兩個運算符之間的交互點。操作員在輸入端口接收數(shù)據(jù)，并在輸出端口發(fā)布數(shù)據(jù)。 GXF 中的接收器、發(fā)射器和 MessageRouter 被替換為操作員的 I / O 端口概念。

執(zhí)行器： 執(zhí)行器管理物理節(jié)點上片段的執(zhí)行。框架提供了一個使用 GXF 調(diào)度程序執(zhí)行應(yīng)用程序的默認(rèn)執(zhí)行器。

您可以在 SDK documentation 中找到有關(guān)新 C ++ API 的更多信息。請參閱 public source code repository 中使用新 C ++ API 跟蹤內(nèi)窺鏡工具的完整 AI 應(yīng)用程序示例。

支持 x86 系統(tǒng)

NVIDIA Clara Holoscan SDK 的設(shè)計考慮了各種硬件系統(tǒng)。除了 NVIDIA IGX DevKit 和 Clara AGX DevKit 之外，它還支持在 x86 系統(tǒng)上使用 SDK 。有了 x86 支持，沒有 DevKit 的研究人員和開發(fā)人員可以在 x86 機器上使用 Holoscan SDK 快速構(gòu)建醫(yī)療設(shè)備的 AI 應(yīng)用程序。

帶上你自己的模型

Holoscan SDK 提供 AI 庫和預(yù)處理的 AI 模型，以加快構(gòu)建自己的 AI 應(yīng)用程序的時間。您還可以通過自帶模型（ BYOM ）支持來參考內(nèi)窺鏡和超聲波應(yīng)用程序。

作為開發(fā)人員，您可以通過將自己的模型放入作為 SDK 一部分提供的參考應(yīng)用程序中來快速構(gòu)建 AI 管道。最后， SDK 還包括傳感器 I / O 集成選項和性能工具，用于優(yōu)化生產(chǎn)部署的 AI 應(yīng)用程序。

軟件堆棧更新

NVIDIA Clara Holoscan SDK v0.3 版本還集成了從 NVIDIA JetPack HP1 到 Holopack 1.1 的升級，運行 Tegra Board Support Package （ BSP ）版本 34.1.2 ，以及從版本 2.4.2 到版本 2.4.3 的 GXF 升級。

開始為醫(yī)療設(shè)備構(gòu)建 AI

從培訓(xùn) AI 模型到驗證和驗證 AI 應(yīng)用程序，最終部署到商業(yè)生產(chǎn)， Clara Holoscan 有助于簡化 AI 開發(fā)和部署。

關(guān)于作者

Julien Jomier 是 NVIDIA 的高級軟件工程經(jīng)理。他領(lǐng)導(dǎo) Holoscan Embedded SDK 的開發(fā)人員體驗。在加入 NVIDIA 之前， Julien 曾擔(dān)任 Kitware 在美國的商業(yè)解決方案總監(jiān)和 Kitware-France 的首席執(zhí)行官，他在那里領(lǐng)導(dǎo)開發(fā) HPC 、計算機視覺和醫(yī)學(xué)成像的開源解決方案。朱利安在醫(yī)學(xué)領(lǐng)域有 20 多年的經(jīng)驗，曾任放射科研究講師。

審核編輯：郭婷