實現大規模的生成式人工智慧

生成式人工智慧爆炸性成長只是剛開始而已。Boston Consulting Group 預測人工智慧將增加三倍的能源使用量,光是生成式人工智慧就預期佔據其中的 1%,對現今電網造成挑戰。同時大型語言模型 (LLM) 也會隨時間提升效率,而在邊緣大規模部署推論也預期會大幅增加。這項成長趨勢早已開始,面對未來的各種難題,技術生態系正在 Arm 架構上部署生成式人工智慧。

生成式人工智慧的未來建構於 Arm 之上

使用 ExecuTorch 最佳化在邊緣的生成式人工智慧

透過與 Meta 的合作,Arm 讓數十億個邊緣裝置都能接觸使用人工智慧。Arm 協助加速從文字產生和摘要到即時虛擬助理和人工智慧代理程式的推論工作負載。

藉由小型語言模型 (SLM) 有效率地產生程式碼

小型語言模型 (SLM) 提供量身打造的人工智慧解決方案,不但降低成本,也更容易取得並提升效率。這類模型易於自訂及控制,是各種應用的理想選擇,例如用於產生內容和程式碼。

在 Arm 架構的 AWS Graviton3 CPU 上達到同級最佳的文字產生

伺服器 CPU (例如基於 Arm Neoverse 架構的 Graviton 處理器) 可提供效能優異且具成本效益的彈性選項,協助開發人員在生成式人工智慧應用程式中,部署更小且更著重於特定目標的 LLM。

使用場景

智慧型手機上的生成式人工智慧

 
 
 
閱讀部落格

生成式人工智慧由 CPU 開始

Inference on Arm CPUs

Arm 技術提供高效基礎,推動人工智慧大規模加速,促成生成式人工智慧在手機、個人電腦及資料中心執行。這要歸功於 20 年來 CPU 架構在向量及矩陣處理方面的架構創新成果。

這些投資所促成的創新成果,除了加速人工智慧運算,也提供安全性協助保護寶貴模型,並讓開發人員享有流暢的部署體驗。

探索 CPU 上的生成式人工智慧

適用於生成式人工智慧推論的異質解決方案

為了讓生成式人工智慧快速擴展規模,我們必須確保在平台層級考量人工智慧需求,以實現所有運算工作負載。

進一步瞭解我們頂尖的人工智慧運算平台,包括繪圖處理器和 NPU 等一系列的 CPU 及加速器產品組合。

探索人工智慧技術

生成式人工智慧創新的軟體合作關鍵要素

Arm 參與多項策略合作關係,推動人工智慧架構的體驗,同時提供廣泛的軟體函式庫及工具,並與所有主要作業系統及人工智慧框架合作整合。我們的目標是確保開發人員能夠順利進行最佳化,無須浪費寶貴資源。

Arm Kleidi Libraries logo

協助人工智慧工作負載順暢加速

深入探索 Arm 如何確保讓每名開發人員、每個模型及每個工作負載都能順暢加速。Arm Kleidi 讓 CPU 推論能夠容易取得及使用,即使是最繁重的生成式人工智慧工作負載也不例外。

Arm and Hugging Face logo

在 Arm 架構上高效執行生成式人工智慧

需要建議,瞭解如何在 Arm 架構上高效執行以生成式人工智慧強化的工作負載嗎?這類放在 Hugging Face 的資源,可協助您更快速建構、部署及加速各種模型,包括大型及小型語言模型,以及自然語言處理 (NLP) 模型。

探索人工智慧軟體

訂閱即可取得 Arm 人工智慧最新消息

電子報訂閱