Arm KleidiAI 協助開發人員加速創新

 

June 28, 2024

 

作者：Arm 開發者平台副總裁 Geraint North

 

無需開發人員自行整合，Arm Kleidi 可協助在各類軟體平台上釋放 Arm CPU 的 AI 功能和效能。

 

 

在持續快速發展的人工智慧（AI）時代，我們堅定地支持全球數百萬開發人員，確保他們能夠獲得所需的效能、工具和軟體函式庫，進而順利地打造下一波令人驚歎的 AI 體驗。

 

為此，我們推出了 Arm Kleidi，這是一項廣泛的軟體和軟體社群參與計畫，目的在於加速 AI 發展。首先推出運用於熱門 AI 框架的 Arm Kleidi 軟體函式庫。開發人員可以直接取得 Arm CPU 出色 AI 功能，而如今全球從雲端到邊緣的大多數 AI 推理工作負載，都在這些 Arm CPU 上運行。開發人員可以借助 Arm 超過 20 年的架構創新，從 Armv7 架構首次導入高階的單指令多資料（SIMD）擴展以支援機器學習（ML）工作負載，到現今的 Armv9 架構在 Arm CPU 上囊括了加速和保護高階生成式 AI 工作負載的功能，這些創新持續推動著AI 能力和效能的提升。

 

Kleidi 軟體函式庫包含運用於 AI 工作負載的 KleidiAI 和運用於 Arm CPU 上出色的電腦視覺工作負載的 KleidiCV。該軟體函式庫可以被直接嵌入到熱門的 AI 框架中，開發人員無需進行任何操作。如此一來，開發人員可以輕鬆地啟用 Arm CPU 的 AI 功能，進而快速建構 AI 應用，並在最廣泛的裝置上實現最出色效能。

 

加速 AI 發展

 

因應裝置類型、類神經網路和推理引擎的爆發式成長，KleidiAI 是我們提出的解決方案。它由一系列高度最佳化的 AI 核心組成，可在生成式 AI 等場景中展現高效能。KleidiAI 的優勢在於不會為開發人員增加額外工作量，而是直接與先進的 AI 框架合作，包括 MediaPipe（通過 XNNPACK）、LLAMA.cpp、PyTorch（通過 ExecuTorch）和 TensorFlow Lite（通過 XNNPACK），以整合 KleidiAI。這不僅加快了開發流程，並釋放了 AI 效能，為開發人員提供了內建的高效能，使他們能夠順利地打造出色的 AI 體驗。KleidiAI 還提供了前瞻性的相容性，隨著更多技術的推出，將確保開發人員能夠充分利用未來 AI 加速機會。

 

KleidiAI 的預先整合為生成式 AI 工作負載帶來顯著的效能提升。與參考實現方案（基於 llama.cpp，但不含 Arm 的軟體 Kleidi 優化）相比，在新的 Arm Cortex-X925 CPU 上，使用（整合了 KleidiAI 的）llama.cpp 的 Meta Llama 3 和微軟 Phi-3 大語言模型（LLM）的詞元（Token），首次回應時間加快了 190%。KleidiAI 非常易於整合，Arm 的工程團隊只用不到 24 小時就測出了 Llama 3 的優化效能。此外，KleidiAI 還通過 XNNPACK 與 MediaPipe 整合，為在行動裝置上運行的開源 Gemma LLM 提供支援。因此，Google Pixel 8 Pro 智慧手機上 Gemma 2B 的詞元首次回應時間縮短了 25%。

 

同時， Arm 正在與 Unity 合作開發 Sentis，這是一個邊緣 AI 推理引擎，可讓遊戲開發人員在所有支援 Unity 遊戲引擎的裝置上打造創新的 AI 遊戲體驗。在整合 KleidAI 後，Unity Sentis 成功啟用了 int4 量化功能，將模型記憶體佔用率降低了 72.5%，同時在運行 Phi-2 LLM 時效能提升了 660%。

 

加速電腦視覺發展

 

KleidiCV 能夠加速許多攝影鏡頭場景中的電腦影像線路。OpenCV 是全球最大的電腦影像庫，包含 2,500 多種演算法，為數十萬開發人員提供支援。基於 KleidiCV 整合，OpenCV 發現各種影像處理任務的典型效能提升高達 75%。做為我們與 OpenCV 的策略軟體合作關係的一部分，我們還首次將安卓建構導入 Maven Central，這是一個運用於 Java 開發的開源軟體元件、軟體庫的資源庫。

 

CPU 上的 AI 優勢

 

Arm Kleidi 專注於加速 CPU 上的 AI 功能，因為在大多數情況下，所有 AI 工作負載都會從 CPU 上開始運行。這使得 CPU 成為開發人員在為其 AI 工作負載設定目標時的最便捷的路徑。因此，我們為開發人員提供的這一路徑的效能越出色，他們就更可能在開發過程中繼續使用 CPU 並將其作為目標。此外，隨著 LLM 變得更小、效能更高，越來越多的 AI 工作負載將適合在 CPU 上處理。最後，這將使開發過程變得更加順暢、無縫，進而優化開發人員的 AI 工作負載效能。

 

在 Arm 平台上建構 AI 的未來

 

Arm Kleidi 的推出再次突顯了 Arm 作為邊緣生成式 AI 運算平台的領先地位。它使開發人員無需學習額外的工具和技能，就能夠在非常廣泛的硬體中獲得 Arm CPU 的出色 AI 效能。隨著我們不斷創新，持續為新一代 AI 打造領先架構，開發人員未來將能夠獲得更強大、更先進的 AI 功能。對於最終使用者來說，這意味著更快速、更智慧、更具互動性、更沉浸式、更安全的出色 AI 體驗。

 

Arm Kleidi 的推出只是一個開端，我們未來還計畫推出更多軟體函式庫、運算核心和引擎整合。我們將持續在 Arm 平台上建構 AI 的未來。

 

原文連結：Accelerating AI Developer Innovation Everywhere with New Arm Kleidi