ExecuTorch 測試版發表於 Arm 平台上加速實現邊緣端的生成式 AI
新聞要點：
- 透過 Arm 運算平台與 ExecuTorch 框架的結合，使得更小、更優化的模型能夠在邊緣端運行，加速邊緣端生成式 AI 的實現
- 新的 Llama 量化模型適用於基於 Arm 平台的裝置端和邊緣端 AI 應用，可減少記憶體佔用，提高精度、效能和可攜性
- 全球 2,000 萬名 Arm 開發人員能夠更迅速地在數十億台邊緣端裝置上大規模開發和部署更多智慧的 AI 應用
Arm 正在與 Meta 公司的 PyTorch 團隊攜手合作，共同推進新的 ExecuTorch 測試版 (Beta) 上線，其目標在為全球數十億邊緣端裝置和數百萬開發人員提供人工智慧 (AI) 和機器學習 (ML) 功能，進而確保 AI 真正的潛力能被最廣泛的裝置和開發人員所使用。
借助 ExecuTorch 和新的 Llama 量化模型，Arm 運算平台優化生成式 AI 效能
Arm 運算平台無處不在，為全球眾多邊緣端裝置提供支援，而 ExecuTorch 則是專為行動和邊緣端裝置部署 AI 模型而設計的 PyTorch 原生部署框架。兩者的緊密合作，使開發人員能夠促成更小、更優化的模型，包括新的 Llama 3.2 1B 和 3B 量化模型。這些新模型可以減少記憶體佔用、提高準確性、強化效能和提供可攜性，成為小型裝置上的生成式 AI 應用的理想選擇，例如虛擬聊天機器人、內容摘要和 AI 助理等。
開發人員無需額外的修改或優化，便可將新的量化模型無縫整合到應用中，進而節省時間和資源。因此，他們能夠迅速在廣泛的 Arm 裝置上大規模開發和部署更多智慧的 AI 應用。
隨著 Llama 3.2 大語言模型 (LLM) 新版本的發佈，Arm 正在透過 ExecuTorch 框架優化 AI 效能，使得在 Arm 運算平台邊緣端裝置運行的真實生成式 AI 工作負載能更加快速。在 ExecuTorch 測試版發佈的首日起，開發人員便能享有這些效能的提升。
整合 KleidiAI，加速行動裝置生成式 AI 的實現
在行動裝置領域，Arm 與 ExecuTorch 的合作代表眾多生成式 AI 應用，如虛擬聊天機器人、內容生成和摘要、即時語音和虛擬助理等，完全能夠在搭載 Arm CPU 的裝置上以更高的效能運行。這一成果受惠於 KleidiAI，它導入了針對 4 位元量化優化的微核心，並透過 XNNPACK 整合在 ExecuTorch 中，因此，在 Arm 運算平台上運行 4 位元量化的 LLM 時，可無縫加速 AI 工作負載的執行。例如，透過 KleidiAI 的整合，Llama 3.2 1B 量化模型預填充階段的執行速度可以提高 20%，使一些基於 Arm 架構的行動裝置上的內容生成速度超過了每秒 400 個詞元 (token)。這代表終端裝置使用者將從他們的行動裝置上獲得更快速、回應更靈敏的 AI 體驗。
瞭解更多 Arm 在行動裝置市場對 ExecuTorch 的支持，請參考這篇部落格。
為物聯網在邊緣端 AI 應用加速即時處理能力
在物聯網領域，ExecuTorch 將提高邊緣端 AI 應用的即時處理能力，包括智慧家電、可穿戴裝置以及自動零售系統等。這代表物聯網裝置和應用能夠以毫秒級的速度回應環境變化，這對保障安全性和功能可用性相當重要。
ExecuTorch 可在 Arm® Cortex®-A CPU 和 Ethos™-U NPU 上運行，以加速邊緣端 AI 應用的開發和部署。事實上，透過將 ExecuTorch 與 Arm Corstone™-320 參考平台 (也可做為模擬固定虛擬平台 (FVP) 使用）、Arm Ethos-U85 NPU 驅動程式和編譯器支援整合到一個套裝軟體中，開發人員可在平台上市前幾個月就著手開發邊緣端 AI 應用。
瞭解更多 Arm 在物聯網領域對 ExecuTorch 的支持，請參考這篇部落格。
更易獲取、更快捷的邊緣端 AI 開發體驗
ExecuTorch 有潛力成為全球最受歡迎的高效率 AI 和 ML 開發框架之一。透過將應用最廣泛的 Arm 運算平台與 ExecuTorch 相結合，Arm 正在透過新的量化模型加速 AI 的普及，讓開發人員能夠更快地在更多裝置上部署應用，並將更多生成式 AI 體驗導入邊緣端。
關於 Arm
Arm 是業界效能最高且最節能的運算平台，其無可比擬的應用範疇觸及全球所有連網使用者。為因應全球對運算永無止境的需求，Arm 提供先進的解決方案，使全球領先的科技公司得以釋放前所未有的 AI 體驗與功能。透過與全球最大的運算生態系及 2,000 萬名軟體開發人員的共同努力，我們正在 Arm 平台上建構 AI 的未來。
所有資訊都「依目前情況」提供，且並不帶保證或代表性。此文件可以自由分享，但不得修改且必須註明出處。Arm 是 Arm Limited（或其子公司與附屬機構）的註冊商標。所有品牌或產品名稱均為所屬公司之財產。© 1995-2024 Arm Limited.