這家云計算巨頭的計算機視覺和數據科學服務使用 NVIDIA Triton 推理服務器來加速 AI 預測。

作為一名狂熱的自行車愛好者，Thomas Park 深知擁有多個變速檔位對于平穩、快速騎行的重要性。

因此，當這位軟件架構師為 Oracle Cloud Infrastructure（OCI）的視覺 AI 服務設計 AI 推理平臺時，他選擇了 NVIDIA Triton 推理服務器，因為它可以通過變換“檔位”，來快速高效地處理幾乎任何 AI 模型、框架、硬件和運行模式。

Park 表示：“NVIDIA AI推理平臺為我們的全球云服務客戶帶來了巨大的靈活性，讓他們可以構建和運行 AI 應用?！盤ark 是一位在蘇黎世工作的計算機工程師，同時也是一名富有競爭力的自行車手，他曾先后就職于四家全球超大型云服務提供商。

具體而言，Triton 將 OCI 的總擁有成本降低了 10%、將遷移到 Triton 的 OCI 視覺和文檔理解服務模型的預測吞吐量提高了 76%，并將推理延遲降低了 51%。Park 和一位同事在今年早些時候發布的一篇 Oracle 博客中指出，全球有超過 45 個區域數據中心在運行這些服務。

計算機視覺加速深入洞察

依靠 OCI 視覺 AI，客戶可以進行各種物體檢測和圖像分類工作。例如，美國的一家運輸公司利用它來自動檢測經過的車軸數，以計算和結算過橋費，從而節省了忙碌的卡車司機在收費站的等待時間。

OCI AI 還通過 Oracle NetSuite 提供，Oracle NetSuite 是全球 37,000 多個企業組織使用的一套商業應用程序，它可以用于自動識別發票等工作。

在 Park 的努力下，Triton 如今也被其他 OCI 服務所采用。

能夠識別 Triton 的數據服務

負責處理 Oracle 內外部用戶機器學習事務的 OCI 數據科學服務產品管理總監 Tzvi Keisar 表示：“我們的 AI 平臺能夠識別 Triton，以造福于我們的客戶?！?/p>

Keisar 提到：“想要使用 Triton 的客戶不必擔心配置問題，因為平臺會自動完成配置，為他們啟動一個 Triton 驅動的推理終端節點?！?/p>

Triton 包含在 NVIDIA AI Enterprise 中，該平臺可提供企業所需的全方位的安全和支持，并且可以在 OCI Marketplace 上獲得

一個龐大的 SaaS 平臺

OCI 的數據科學服務是一個適用于 Oracle NetSuite 和 Oracle Fusion 應用程序的機器學習平臺。

“這些商業應用套件規模龐大，有數以萬計的客戶也在我們的服務上構建他們的框架?！盞eisar 說。

這些客戶主要是來自于制造業、零售業、交通運輸業等行業的企業用戶。他們正在構建和使用幾乎所有形態與規模的 AI 模型。

推理是該團隊推出的首批服務之一，而 Triton 在推出后不久就進入了該團隊的視線。

最佳的推理框架

“我們看到 Triton 作為一流的服務框架越來越受歡迎，于是開始試用?！盞eisar 說，“我們發現它的性能非常出色，彌補了現有產品的不足，尤其是在多模型推理方面。它是目前功能最全面、最先進的推理框架?！?/p>

Triton 于 3 月在 OCI 上發布，已經吸引了 Oracle 許多內部團隊的關注。他們希望將其用于需要同時運行多個 AI 模型以作出預測的推理工作。

他表示：“當用于部署在單個端點上的多個模型時，Triton 的表現和性能都非常好。”

加快未來發展

展望未來，復雜的大語言模型（LLM）激發了眾多用戶的想象力。為了能夠在未來為這些模型上的推理提供更強大的助力，Keisar 的團隊正在對 NVIDIA TensorRT-LLM 軟件進行評估。

身為一名活躍的博主，Keisar 在其最新文章中詳細介紹了在 NVIDIA A10 Tensor Core GPU 上運行具有高達 700 億參數的 Llama 2 LLM 的量化技術。

他表示：“即使減低到四位參數，模型輸出的質量仍然相當不錯。在 NVIDIA GPU 上的部署使我們能夠靈活地在延遲、吞吐量和成本之間找到良好的平衡點。”

審核編輯：劉清