作者：Arm 開發者平臺副總裁 Geraint North

在持續快速發展的人工智能 (AI) 時代，我們堅定地支持全球數百萬開發者，確保他們能夠獲得所需的性能、工具和軟件庫，從而順利打造下一波令人驚嘆的 AI 體驗。

為此，我們推出了 Arm Kleidi，這是一項廣泛的軟件和軟件社區參與計劃，旨在加速 AI 發展。其中的第一個舉措是推出面向熱門 AI 框架的 Arm Kleidi 軟件庫。這使開發者可以直接取得 Arm CPU 的出色 AI 功能，而如今全球從云端到邊緣側的大多數 AI 推理工作負載都在這些 Arm CPU 上運行。開發者可以借助 Arm 超過 20 年的架構創新，從 Armv7 架構首次引入高級單指令多數據 (SIMD) 擴展以支持機器學習 (ML) 工作負載，到如今的 Armv9 架構在 Arm CPU 上囊括了加速和保護高級生成式 AI 工作負載的功能，這些創新持續推動 AI 能力和性能的提升。

Kleidi 軟件庫包含面向 AI 工作負載的 KleidiAI 和面向運行于 Arm CPU 上出色的計算機視覺工作負載的 KleidiCV。該軟件庫可以被直接嵌入到熱門的 AI 框架中，開發者無需進行任何操作。如此一來，開發者可以輕松地啟用 Arm CPU 的 AI 功能，從而快速構建 AI 應用，并在盡可能廣泛的設備上實現最出色性能。

加速 AI 發展

為了應對設備類型、神經網絡和推理引擎的爆發式增長，KleidiAI 是我們所給出的解決方案。它由一系列高度優化的 AI 內核組成，可在生成式 AI 等用例中實現高性能。KleidiAI 的優勢在于，我們不會給開發者額外增加工作量，而是直接與領先的 AI 框架合作，包括 MediaPipe（通過 XNNPACK）、LLAMA.cpp、PyTorch（通過 ExecuTorch）和 TensorFlow Lite（通過 XNNPACK），以集成 KleidiAI。這不僅加快了開發流程，并釋放了 AI 性能，為開發者提供了默認的高性能，使他們能夠順利地打造出色的 AI 體驗。KleidiAI 還提供了前瞻性的兼容性，隨著我們推出更多的技術，這將確保開發者能夠充分利用未來 AI 加速機會。

KleidiAI 的集成已經為生成式 AI 工作負載帶來了顯著的性能提升。與參考實現方案（基于 llama.cpp，但不含我們的軟件 Kleidi 優化）相比，在新的 Arm Cortex-X925 CPU 上，使用（集成了 KleidiAI 的）llama.cpp 的 Meta Llama 3 和微軟 Phi-3 大語言模型 (LLM) 的詞元 (Token) 首次響應時間加快了 190%。KleidiAI 非常易于集成，Arm 的工程團隊只用不到 24 小時就測出了 Llama 3 的優化性能。此外，KleidiAI 還通過 XNNPACK 與 MediaPipe 集成，為在移動設備上運行的開源 Gemma LLM 提供支持。得益于此，Google Pixel 8 Pro 智能手機上 Gemma 2B 的詞元首次響應時間縮短了 25%。

與此同時，我們正在與 Unity 合作開發 Sentis，這是一個端側 AI 推理引擎，可讓游戲開發者在所有支持 Unity 游戲引擎的設備上打造創新的 AI 游戲體驗。在集成 KleidAI 后，Unity Sentis 成功啟用了 int4 量化功能，將模型內存占用率降低了 72.5%，同時在運行 Phi-2 LLM 時性能提升了 660%。

加速計算機視覺發展

KleidiCV 能夠加速許多攝像頭用例中的計算機視覺管線。OpenCV 是全球最大的計算機視覺庫，包含 2,500 多種算法，為數十萬開發者提供支持。基于 KleidiCV 集成，OpenCV 發現各種圖像處理任務的典型性能提升高達 75%。作為我們與 OpenCV 的戰略軟件合作關系[1]的一部分，我們還首次將安卓構建引入 Maven Central，這是一個面向 Java 開發的開源軟件組件、軟件庫的資源庫。

CPU 上的 AI 優勢

Arm Kleidi 專注于加速 CPU 上的 AI 功能，因為在大多數情況下，所有 AI 工作負載都會從CPU 上開始運行。這使得 CPU 成為開發者在為其 AI 工作負載設定目標時的最便捷路徑。因此，我們為開發者提供的這一路徑性能越出色，他們就更有可能在開發過程中繼續使用 CPU 并將其作為目標。此外，隨著 LLM 變得更小更高效，越來越多的 AI 工作負載將適合在 CPU 上處理。最終，開發過程將變得更加順暢、無縫，進而優化開發者的 AI 工作負載性能。

在 Arm 平臺上構建 AI 的未來

Arm Kleidi 的推出再次突顯了 Arm 作為端側生成式 AI 計算平臺的領先地位。它使開發者無需學習額外的工具和技能，就能夠在非常廣泛的硬件中獲得 Arm CPU 的出色 AI 性能。隨著我們不斷創新，持續為新一代 AI 打造前沿架構，開發者未來將能夠獲得更強大、更先進的 AI 功能。對于最終用戶來說，這意味著更快速、更智能、更具交互性、更沉浸式、更安全的出色 AI 體驗。

Arm Kleidi 的推出只是一個開端，我們未來還計劃推出更多軟件庫、計算內核和引擎集成。我們將持續在 Arm 平臺上構建 AI 的未來。