世界中のAI開発者向けのシームレスなパフォーマンスアクセラレーション
AIの機会を最大限に活用するためには、開発者が最速のAI導入手法にアクセスできることが重要です。また、最も要求の厳しい次世代のワークロードに対して最適なパフォーマンスが必要です。ギリシャ語で「鍵」を意味する言葉からインスピレーションを得たArm Kleidiは、その名のとおり、すべての開発者、モデル、ワークロードにとって、Arm上でAIアクセラレーションを容易に行うための鍵となります。Kleidiは、AIを加速させるための幅広いソフトウェアプログラムとコミュニティエンゲージメントを網羅する予定です。
Arm Kleidiライブラリの特長とメリット
Arm Kleidiは、フレームワーク上でAIを強化する柔軟なカーネルの一式を提供します。AIの機能や精度の向上から、高速化やメモリオーバーヘッドの削減まで、ArmをベースとしたAIの多面的な進歩の範囲を拡大します。
新しいKleidiAIおよびKleidiCVパフォーマンスライブラリは、驚くほど軽量で簡潔です。ライブラリ依存性やバイナリリリースがなく、フレームワーク内におけるメモリの割り当ての重複やマルチスレッド実装を回避できます。そのため、既存フレームワークのコードベースへの迅速かつ効率的な導入と統合が容易にできるようになります。
KleidiはフレームワークレベルでのAI最適化を支援するため、各最適化は数十億台のArmベースのデバイスにわたって数百のワークロードにメリットをもたらすことができます。アプリケーション開発者は、Kleidiで最適化されたフレームワーク上でモデルを実行するだけで、デフォルトでトップパフォーマンスを達成できます。
Kleidiは、最も要求の厳しいAI推論ワークロードをArmに展開する際の容易さとスピードを最大化します。KleidiAIライブラリは、クラウドデータセンターから制約のあるエッジデバイスまで、生成AIと大規模言語モデル(LLM)の爆発的な市場にトップクラスのパフォーマンスをもたらす支援をします。
Kleidiは、クラウドからエッジまで、Arm NeoverseおよびArm Cortex-A CPUのフルレンジにわたる最適化を容易にすることを目指しています。このパフォーマンスライブラリは、Arm Neon、Arm Scalable Vector Extensions(SVE)、Arm Scalable Matrix Extensions(SME)などのArmアーキテクチャでAI機能を強化するための特別なテクノロジーを活用しています。
Arm Kleidiライブラリのビジョンは、MediaPipe(XNNPACK経由)、LLAMA.ccp、PyTorch(ExecuTorch経由)、TensorFlow Lite(XNNPACK経由)などの主要なAIフレームワークに直接統合することです。
統合されると、開発者は直接的なオーバーヘッドなしで、Kleidiで最適化されたフレームワークのパフォーマンス向上がもたらすメリットを自動的に享受できます。
Arm Kleidiを始めてみる
拡大し続けるスイートで提供されているソフトウェアにアクセスしてください。
あらゆるAIフレームワーク向けのパフォーマンスライブラリ
コンピュータービジョンフレームワーク向けのパフォーマンスライブラリ
Arm CPUであらゆる場所の推論を進化させる
生成AI
KleidiAIは、Arm Cortex-A CPUで稼働する世界最先端言語モデルの最適なパフォーマンスを可能にします。KleidiAIライブラリは、Metaの高度なオープンソースLLMであるLLAMAと、Microsoftの高機能な小規模言語モデル(SLM)であるPhiについて、フレームワークの最適化に基づいた最大190%のパフォーマンス向上がすでに実証されています。
コンピュータービジョン
新興のAIユースケースに加えて、Arm Kleidiは従来のコンピュータービジョンのユースケースにも恩恵をもたらします。この一例が世界最大規模のコンピュータービジョンライブラリ、OpenCVであり、2,500を超えるアルゴリズムを擁し、数十万人の開発者をサポートしています。
KleidiCVの統合をベースとしたさまざまな画像処理の実行後、OpenCVは75%のパフォーマンス向上を通常達成できることが分かっています。
ゲーミングにおけるAI
Unity Sentisは、あらゆるUnity Engine対応デバイスで革新的なAI駆動のゲームプレイ体験を生み出す力をゲーム開発者に与えます。Armとのコラボレーションは量子化の実現を促進し、Sentisで構築するUnity開発者は、モデルサイズを最大72.5%削減することができます。KleidiAIは、Armアーキテクチャでの実装と最適化を容易にします。