協助各個地方的人工智慧開發人員順利加速效能 

若要擴大人工智慧商機,開發人員需要取得最快速的人工智慧部署方法,以及要求最嚴苛的次世代工作負載最佳效能。Arm Kleidi 的靈感來自希臘文的「key」,旨在協助每位開發人員、每個模型及每個工作負載提供關鍵功能,在 Arm 架構上輕鬆實現人工智慧加速。Kleidi 的目標是納入廣大的軟體計畫及社群交流,協助加速人工智慧。

Arm Kleidi 的第一項產品:Arm Kleidi 函式庫

Kleidi libraries

Arm Kleidi 計畫始於全新的 KleidiAI 及 KleidiCV 效能函式庫:這類輕量型核心專為快速輕鬆整合至最熱門的人工智慧框架所設計。

Arm Kleidi 函式庫是高效能的開源 Arm 常式輕量套件,能夠輕鬆協助任何機器學習 (ML) 及電腦視覺 (CV) 框架以最佳效能為目標,並運用最新功能在初步的 Arm Cortex-A CPU 設計中強化人工智慧及電腦視覺。函式庫的設計原則,是能夠輕鬆融入 C 或 C++ 機器學習和人工智慧框架中,並讓其中執行的模型能夠大幅加速。

Arm Kleidi 可協助確保現今框架及編譯器能夠加速人工智慧,不必由開發人員處理。

Arm Kleidi 函式庫的特色與效益

具彈性的各種核心組合 

Arm Kleidi 提供具有彈性的各種核心組合,協助在框架上強化人工智慧。在 Arm 架構上提供廣泛的多面向人工智慧進展成果,從實現更多人工智慧功能、提升人工智慧準確性、到加速或減少記憶體負擔。

精簡、高效且輕量

全新 KleidiAI 及 KleidiCV 效能函式庫非常輕量精簡,沒有記憶體配置,也沒有其他函式庫相依性或二進位版本,因此更容易採用,並能快速高效地整合至現有框架程式碼基底。

釋放大眾市場的人工智慧效能

Kleidi 可於框架層級最佳化人工智慧,而每項最佳化都能讓數十億個 Arm 架構裝置的數百項工作負載從中獲益。應用程式開發人員只要在 Kleidi 最佳化框架執行模型,就能依預設達成頂尖效能。

實現大規模的生成式人工智慧

Kleidi 可協助以最輕鬆快速的方式,讓作業最繁重的人工智慧推論工作負載部署於 Arm。KleidiAI 函式庫可在爆炸性成長的生成式人工智慧及大型語言模型 (LLM) 市場中導入同級最佳效能,部署範圍涵蓋雲端資料中心至邊緣的受限裝置。

讓所有人隨處享有最佳化人工智慧

Kleidi 的目標是在全系列的 Arm Neoverse 及 Arm Cortex-A CPU 產品中,從雲端至邊緣輕鬆地促成最佳化。效能函式庫利用特定技術在 Arm 架構強化人工智慧功能,例如 Arm Neon、Arm 可擴展向量延伸指令集 (SVE) 及 Arm 可擴展矩陣延伸指令集 (SME)。

降低開發人員所需費用

Arm Kleidi 函式庫的願景是將其直接整合至關鍵人工智慧框架中,包括 MediaPipe (透過 XNNPACK)、LLAMA.ccp、PyTorch (透過 ExecuTorch) 及 TensorFlow Lite (透過 XNNPACK)。

整合後,開發人員就能自動享有 Kleidi 最佳化框架的效能強化效益,無須承受任何直接費用。

開始使用 Arm Kleidi

在我們持續擴充的套件中取得可用軟體。

於 GitLab 提供 KleidiAI

適合所有人工智慧框架的效能函式庫

於 GitLab 提供 KleidiCV

適用於電腦視覺框架的效能函式庫

使用場景

在 Arm CPU 上的任何一處都使 AI 推論功能更先進

生成式人工智慧

KleidiAI 正在 Arm Cortex-A CPU 上為全球部分最先進的語言模型實現最佳效能。KleidiAI 函式庫已證明能在框架最佳化的基礎上加速效能,例如名為 LLAMA 的 Meta 進階開源 LLM,以及名為 Phi 的 Microsoft 高功能小型語言模型 (SLM),效能加速幅度高達 190%。

電腦視覺

除了新興的人工智慧使用場景以外,Arm Kleidi 也能讓傳統電腦視覺使用場景從中獲益。其中一個範例就是 OpenCV 這個全球最大的電腦視覺函式庫,包含 2,500 項以上演算法,並支援成千上萬名開發人員。

在以 KleidiCV 整合為基礎執行多種影像處理作業後,OpenCV 的一般效能可提升 75%。

遊戲領域的人工智慧

Unity Sentis 可協助遊戲開發人員在所有支援 Unity 引擎的裝置上,打造人工智慧驅動的創新遊戲體驗。Unity Sentis 利用量化技術縮小人工智慧模型,然後利用 KleidiAI 在 Arm Cortex-A CPU 架構提升模型速度。Unity Sentis 藉由整合 KleidiAI,協助人工智慧在其平台提升 660% 效能。

諮詢專家

如果您有任何與 Kleidi 相關的問題,請洽詢 Arm 專家。

聯絡我們