著：Geraint North、Arm 開発プラットフォーム担当バイスプレジデント

※本資料は、英Armが英国時間2024年5月29日に公開したブログ記事の抄訳です。

急速に進化するAI時代において、Armは世界の無数の開発者をサポートし、次世代の高度なAI機能をシームレスに生み出すパフォーマンス、ツール、ソフトウェアライブラリの提供に努めています。

Armは、AIを加速するソフトウェアとソフトウェアコミュニティの取り組みをまとめたプログラム「Arm Kleidi」を発表しました。第1弾は、一般的なAIフレームワークを集めたArm Kleidiライブラリです。これにより開発者は、クラウドからエッジまで世界のAI推論ワークロードの大半を実行するArm CPUの優れたAI処理機能に自動的にアクセスできます。Advanced Single Instruction Multiple Data（SIMD）拡張を最初に機械学習（ML）ワークロードに導入したArmv7アーキテクチャから、高度な生成AIワークロードをArm CPUで高速処理し、保護する機能を備えた現在のArmv9アーキテクチャまで、20年以上にわたってAIの機能とパフォーマンスを着実に高めてきた革新的なArmアーキテクチャを活用することが可能です。

あらゆるAIワークロードに対応するKleidiAI、あらゆるレベルのArm CPUでクラス最高のコンピュータービジョン（CV）ワークロードを処理するKleidiCVを備えたKleidiライブラリは、開発者の操作なしで一般的なAIフレームワークに直接組み込まれます。開発者は、Arm CPUのAI処理機能をスムーズに利用可能で、さまざまなデバイスで最善のパフォーマンスを確保し、迅速にAIベースのアプリケーションを作成できるようになります。

AIの高速化

KleidiAIは、デバイスタイプ、ニューラルネットワーク、推論エンジンの爆発的な増加に対するArmのソリューションです。高度に最適化されたAIカーネル群が生成AIなどのユースケースで高いパフォーマンスを提供します。KleidiAIのメリットは、開発者の手間を増やすのではなく、Armが主要AIフレームワーク（MediaPipe [via XNNPACK]、LLAMA.cpp、PyTorch [ via ExecuTorch]、TensorFlow Lite [via XNNPACK]）を直接KleidiAIに統合する点にあります。これにより開発工程が短縮され、AI処理性能が向上して開発者のパフォーマンスが高まり、優れたAI機能のシームレスな開発が促進されます。将来を見据えた互換性の提供により、Armがさらなる技術を市場に投入すれば開発者も高速処理の機会を最大限に活用可能です。

KleidiAIの統合はすでに生成AIワークロードの大幅な性能向上につながっています。たとえば新しいArm Cortex-X925 CPUでは、MetaのLlama3、MicrosoftのPhi-3 LLM（llama.cppを使用）のTTFTを、リファレンス実装（llama.cppベースでソフトウェアのKleidi最適化なし）と比べて190%高速化します。KleidiAIの統合は非常に簡単なので、Armのエンジニアリングチームは24時間もかからずLlama3の最適化した性能を測定できました。また、モバイルでオープンソースのGemma LLMをサポートするXNNPACKを介したMediaPipeとKleidiAIの統合では、Google Pixel 8 ProスマートフォンでGemma 2BのTTFTが25%改善されました。

さらにArmはUnityとSentisで協力しています。SentisはオンデバイスのAI推論エンジンであり、Unity Game Engineをサポートするすべてのデバイスで革新的なAIゲームの開発を支えています。KleidAIの統合後、Unity Sentisはint4を量子化し、モデルのメモリ利用を72.5%削減するとともに、Phi-2 LLMの実行性能を660%向上させました。

CVの高速化

KleidiCVはカメラに多く使用されるCVパイプラインを高速化します。2,500以上のアルゴリズムを含み、世界最大のCVライブラリとして多数の開発者をサポートするOpenCVは、KleidiCV統合をベースとした各種の画像処理タスクで、すでに75%の標準的な性能向上を確認しました。ArmはOpenCVとの戦略的なソフトウェアパートナーシップの一環として、Java開発向けソフトウェアとライブラリのオープンソースリポジトリであるMaven CentralにAndroidビルドを初めて公開する予定です。

CPUにおけるAIのメリット

Arm KleidiはCPUでのAI処理の高速化に力を注いでいます。多くの場合、すべてのAIワークロードは最初はCPU上で実行されるからです。それがAIワークロードをターゲットとする開発者にとって最もシンプルな手順で、これを高速化すればするほど、開発者は開発プロセスでCPUを使い続け、CPUをターゲットとすることになります。またLLMが小型化、効率化するにつれ、CPUでの処理が妥当なAIワークロードが増えると期待されます。この結果、開発プロセスがさらにスムーズかつシームレスとなり、開発者のAIワークロードのパフォーマンスが最適化されます。

ArmでAIの未来を築く

Arm Kleidiの導入は、オンデバイスの生成AIに対応する主要なコンピューティングプラットフォームとしてのArmの役割を強調しています。開発者はArm Kleidiにより、ツールやスキルを追加することなく極めて幅広いハードウェアでArm CPUの卓越したAIのパフォーマンスを利用することが可能です。将来的にも、Armが次世代のAIに対応する最先端アーキテクチャを開発するとともに、開発者はさらに高度なAI機能を利用できるようになります。エンドユーザーにとっては、さらに高速、インテリジェント、インタラクティブ、没入感のある、セキュアなAIエクスペリエンスを生み出します。

Arm Kleidiには将来さらに多くのライブラリ、コンピュートカーネル、エンジンの統合が予定されています。今後もArmはAIの未来を構築し、最新情報を提供していきます。

Armについて

Armは、業界最高の性能と電力効率に優れたコンピューティング・プラットフォームであり、コネクテッドな世界における人口の100%に貢献する比類のないスケールを備えています。Armは、演算に対する飽くなき需要に応えるため、世界をリードするテクノロジー企業に先進的なソリューションを提供し、各社がAIによるかつてない体験や能力を解き放つことができるよう支援しています。世界最大のコンピューティング・エコシステムと2,000万人のソフトウェア開発者とともに、私たちはArm上で築くAIの未来を形作っていきます。

全ての情報は現状のまま提供されており、内容について表明および保証を行うものではありません。本資料は、内容を改変せず、出典を明記した上で自由に共有いただけます。ArmはArm Limited（またはその子会社や関連会社）の登録商標です。その他のブランドあるいは製品名は全て、それぞれの権利者の所有物です。©1995-2024 Arm Limited.