利用 Arm CPU 提供出色的人工智慧推論

人工智慧的版圖迅速演進發展，每天都有各種新型與多元的人工智慧應用問世，而大規模部署的人工智慧也即將到來。Arm CPU 是讓人工智慧無所不在的基礎，也是全球最普及的人工智慧運算平台的核心。人工智慧解決方案在雲端到邊緣的每個領域中，都仰賴我們的高效能、效率、安全性及擴充性組合而成長茁壯。Arm CPU 對滿足持續演進的人工智慧工作負載需求來說居於有利位置，涵蓋推動生成式人工智慧的大型語言模型 (LLM)，乃至於小型的專門領域人工智慧模型。Arm CPU 在所有領域促成熱門的工具鏈，並與所有主要作業系統及人工智慧框架整合，確保順暢的開發體驗及無縫加速效果。

瞭解 CPU 推論的指南

A Comprehensive Guide to Understand AI Inference on the CPU thumbnail

這份全方位指南深入探討在 CPU 處理人工智慧工作負載，以及可能適合的使用場景。探索已受益於 CPU 推論的產業，並瞭解實際範例。

下載指南

哪些人工智慧工作負載最適合在 CPU 執行？

ML icon

傳統機器學習及深度學習

結合機器學習 (ML) 和深度學習的各種應用，例如電影攝影、媒體及音訊處理、汽車工作負載 (包括車載資訊娛樂系統及先進駕駛輔助系統 L2+)、即時語音助理、即時分析及建議 (適用於社群媒體及電子商務)，以及自然語言處理 (包括情感分析)。

進一步瞭解
Generative AI icon

生成式人工智慧

生成式人工智慧使用場景包含利用小型語言模型 (SLM) 及 LLM 的使用場景，例如交談摘要、虛擬助理、客戶 UX (包含代理程式及聊天機器人)、內容翻譯及摘要，以及內容生成等等。

進一步瞭解

Arm CPU 為人工智慧提供的各項效益

享有彈性及節能效能，無須犧牲安全性

我們功耗效率是我們所有產品的基礎，涵蓋微控制器到超大規模業者。Arm CPU 以具吸引力的節能效能及彈性組合，成為眾多人工智慧工作負載的首選基礎。

我們 30 多年來不斷精進安全性架構，保護數十億裝置對抗常見的駭客攻擊；現在於 CPU 執行的人工智慧，可受益於這類架構安全性功能，包括 Armv9 的最新強化功能。


普及的全球平台為開發人員移除碎片化

Arm 架構 CPU 是人工智慧普及全球的核心。我們的技術遍及各個領域，協助 Arm 開發人員在各種應用快速採用機器學習 (ML) 技術，因應模型的演進發展。

我們投資各式各樣的軟體函式庫及工具，並與所有主要作業系統及人工智慧框架整合，協助確保開發人員能夠輕鬆在 Arm CPU 進行最佳化、開發及部署人工智慧。我們也持續承諾投資軟體生態系，以配合不斷進展的人工智慧工作負載。

打造客製化異質人工智慧的獨特途徑

對於受益於額外加速的工作負載，Arm CPU 能與 Arm 及合作夥伴的繪圖處理器和 NPU 緊密配合提供客製化途徑，讓人工智慧的未來成真。

我們的合作夥伴探索次世代人工智慧運算的各項需求，而 Arm 種類多樣的 IP 及運算子系統 (CSS) 則為合作夥伴提供途徑協助打造客製化系統，並擁有可因應獨特的人工智慧工作負載需求的彈性。

Two Decades of AI Architecture Innovation thumbnail

20 年來的人工智慧架構創新成果

Arm 將工作重點放在快速進展的架構創新，協助廣大的生態系做好準備，因應瞬息萬變的運算需求及人工智慧的未來發展。Arm 過去 20 年來持續主動發展 CPU 的人工智慧功能，提供 Neon、Helium、可擴展向量延伸指令集 (SVE)、可擴展矩陣延伸指令集 (SME) 及其他功能。最新的 Armv9 架構功能除了提升運算效能，也降低人工智慧工作負載的耗電量。

Armv9 架構

以頂尖的人工智慧框架加速工作負載

Arm Kleidi Thumbnail

Arm 與頂尖的人工智慧框架及作業系統合作，協助確保在各種 Arm CPU 快速輕鬆地部署，因應持續擴展的人工智慧工作負載。我們採用使用量化及開源軟體來最佳化新模型的技術支援關鍵合作夥伴，以加速人工智慧，例如獲得各種框架及獨立軟體供應商使用的 Arm Kleidi。針對人工智慧框架層級進行加速，有助於在 Arm CPU 以最廣大的範圍推動人工智慧加速，涵蓋數十億個在邊緣、行動裝置及雲端安裝的人工智慧推論工作負載。在沒有進行任何額外最佳化的情況下，應用程式開發人員可預期人工智慧工作負載於 Arm CPU 達到預設的最佳效能，這些都要歸功於我們在遊戲、電腦視覺及語言模型等領域的工作成果。

探索 Arm Kleidi

訂閱即可掌握 Arm 人工智慧最新消息

電子報訂閱