Arm KleidiでCPUパフォーマンスにおいてかつてないAIを実現
すべてのArmプラットフォームの中心にあるのがArm CPUです。そのユビキタス性は、ディープラーニングと生成AIを含む多くのAI推論ワークロードに柔軟性とエネルギー効率に優れたターゲットを提供します。ギリシャ語の「鍵」にヒントを得たArm Kleidiは、これらのワークロードがベースとなるArm Cortex-AまたはArm Neoverse CPUから最大限の性能を引き出せるよう確約することに重点を置いています。
PyTorch
ArmはPyTorchコミュニティと緊密に連携し、PyTorchで動作するモデルがArmで動作するよう確約することで、最も過酷なAIワークロードにもシームレスなアクセラレーションを実現します。
BERT-Large
Armは、主要な実行モード、Eager Mode、Graph Modeの最適化を含め、Arm CPUでのPyTorchの推論性能向上に取り組んでいます。
Kleidiの統合により、Llamaモデルの推論を最大18倍、Gemma 2 2Bを15倍、そしてBert-Largeでの2.2倍向上を含む自然言語処理（NLP）モデルのパフォーマンスを向上させます。
Llama 3.1 8B
Arm Neoverse V2ベースのGraviton4プロセッサーを使用し、PyTorchに適用したKleidiAIの最適化で、チャットボットのデモではトークン生成率が12倍向上されると見積もられています。
このデモは、既存のArmベースのコンピュート能力を利用し、LLMを使用したAIアプリケーションを容易に構築できることを示しています。
RoBERTa
AWSはArmと連携し、oneDNNを使用してArmコンピューティングライブラリ（ACL）カーネルで、Neoverse V1ベースのGraviton3プロセッサー向けにPyTorch torch.compile機能を最適化しました。
この最適化により、Hugging Faceで最も一般的なNLPモデルの推論性能が最大2倍になります。
FunASR Paraformer-Large
FunASRは、Alibaba DAMO Academyにより開発された高度なオープンソース自動音声認識（ASR）ツールキットです。
oneDNNを介してACLをPyTorchと統合することで、Neoverse N2ベースのAliCloud Yitian710プロセッサーにおけるParaformerモデルの実行時、2.3倍のパフォーマンス向上を実現しました。
ExecuTorch
Armと軽量MLフレームワークであるExecuTorchを組み合わせることで、エッジでの効率的なオンデバイス推論機能が実現します。
Llama 3.2 1B
ArmとMetaの協力により、AI開発者は量子化されたLlama 3.2モデルをArm CPU上でこれまでより最大20%速く実行できるようになりました。
KleidiAIをExecuTorchと統合し、最適化された量子化スキームを開発することで、モバイル上の生成AIワークロードのプリフィルステージで350トークン/秒を超える速度を達成しました。
Llama.cpp
LLM推論に関するArmベースCPUの能力を示すために、Armとそのパートナーは、llama.cppで実装されているint4カーネルとint8カーネルを最適化し、これらのより新しい命令を活用できるようにしています。
MediaPipe
MediaPipeとXNNPACKでのArmとGoogle AI Edgeのパートナーシップは、現在そして未来のArm CPUでAIワークロードを加速させています。これは、開発者がモバイル、ウェブ、エッジ、そしてIoTで卓越したAIパフォーマンスを実現することを可能にします。
Gemma 1 2B
ArmはGoogle AI Edgeと連携し、GemmaやFalconなど数多くのLLMをサポートするGoogleのMediaPipeフレームワークにKleidiAIを統合しました。
XNNPACKを通じたKleidiAIの統合により、ArmベースのプレミアムスマートフォンにおけるGemma 2B LLMでのチャットボットデモ実行時、TTFTの30%加速を実現しました。
Hunyuan
TencentのHunyuan AIフレームワークは、スマートフォンを含む幅広いデバイスでAI機能を実現する汎用モデル、Hunyuan LLMをサポートします。
Hunyuan
Armは、LLMが100Bを超えるパラメーターを擁するHunyuanにKleidiテクノロジーを組み込むためにTencentと協力してきました。
2024 Tencent Global Digital Ecosystem Summitで発表されたこのパートナーシップは、実世界のワークロードにポジティブな影響を与えるものです。
CPUのパフォーマンスを加速させるための重要な開発者向けテクノロジー
Arm Kleidiは、AIモデルの能力、正確性、スピードを進化させる最新の開発者向けイネーブルメントテクノロジーを含んでいます。
KleidiAIおよびKleidiCVライブラリは、機械学習（ML）やコンピュータービジョン（CV）フレームワークを容易にし、Arm CPUベースの設計において最適なパフォーマンスを目指すとともに、AIとCVを強化する最新機能を活用するために設計された軽量カーネルです。
Cortex-AおよびNeoverse CPUに最適化されたML機能の独立系ソフトウェアベンダーによるソーシングを可能にする、包括的かつ柔軟なライブラリです。このライブラリはOSに依存せず、Android、Linux、ベアメタルシステムに移植できます。
AIの導入を簡素化
Armは、開発者によるAI導入の容易さとスピードを最大化することにコミットしています。Kleidiは、数百万人にAI最適化をアクセス可能にするさまざまな方法の1つに過ぎません。
CPUパフォーマンスを大規模に解き放つ
Kleidiは、Arm NeoverseおよびArm Cortex-A CPUのフルレンジにわたり最適化を容易にします。これらのテクノロジーは、Arm Scalable Vector Extensions（SVE）やArm Scalable Matrix Extensions（SME）など、AIパフォーマンスのアクセラレーションをターゲットとするArmアーキテクチャの高度な機能を活用しています。
