實現大規模的生成式人工智慧
生成式人工智慧爆炸性成長只是剛開始而已。Boston Consulting Group 預測人工智慧將增加三倍的能源使用量,光是生成式人工智慧就預期佔據其中的 1%,對現今電網造成挑戰。同時大型語言模型 (LLM) 也會隨時間提升效率,而在邊緣大規模部署推論也預期會大幅增加。這項成長趨勢早已開始,面對未來的各種難題,技術生態系正在 Arm 架構上部署生成式人工智慧。
生成式人工智慧的未來建構於 Arm 之上
智慧型手機上的生成式人工智慧
創新的語音筆記摘要功能
本示範顯示 LLM 及語音轉換文字模型如何在管道中共同運作,以製作語音筆記的摘要及逐字稿。這在無法收聽音訊的情況下,可說是省時的理想選擇,例如在特別嘈雜的環境中。
實際文字摘要使用場景
在這項示範中,包含多名參與者的群組聊天訊息,以易於理解的格式迅速去蕪存菁列出關鍵要點。這也可用於產生電子郵件摘要,或用於包含相片的多模態使用場景,做為產生摘要過程的一部分。
聊天機器人演進發展成為即時助理
結合 LLM 與自動語音辨識和語音產生模型,就有機會實現保留情境的即時對話。在飛航模式中示範執行此項虛擬助理,展現 Arm CPU 完全在裝置內處理生成式人工智慧工作負載的能力。
生成式人工智慧由 CPU 開始
Arm 技術提供高效基礎,推動人工智慧大規模加速,促成生成式人工智慧在手機、個人電腦及資料中心執行。這要歸功於 20 年來 CPU 架構在向量及矩陣處理方面的架構創新成果。
這些投資所促成的創新成果,除了加速人工智慧運算,也提供安全性協助保護寶貴模型,並讓開發人員享有流暢的部署體驗。
適用於生成式人工智慧推論的異質解決方案
為了讓生成式人工智慧快速擴展規模,我們必須確保在平台層級考量人工智慧需求,以實現所有運算工作負載。
進一步瞭解我們頂尖的人工智慧運算平台,包括繪圖處理器和 NPU 等一系列的 CPU 及加速器產品組合。
生成式人工智慧創新的軟體合作關鍵要素
Arm 參與多項策略合作關係,推動人工智慧架構的體驗,同時提供廣泛的軟體函式庫及工具,並與所有主要作業系統及人工智慧框架合作整合。我們的目標是確保開發人員能夠順利進行最佳化,無須浪費寶貴資源。
協助人工智慧工作負載順暢加速
深入探索 Arm 如何確保讓每名開發人員、每個模型及每個工作負載都能順暢加速。Arm Kleidi 讓 CPU 推論能夠容易取得及使用,即使是最繁重的生成式人工智慧工作負載也不例外。
在 Arm 架構上高效執行生成式人工智慧
需要建議,瞭解如何在 Arm 架構上高效執行以生成式人工智慧強化的工作負載嗎?這類放在 Hugging Face 的資源,可協助您更快速建構、部署及加速各種模型,包括大型及小型語言模型,以及自然語言處理 (NLP) 模型。