Arm運算平台助力Llama 3.2LLM 實現AI推論加速與擴展

隨著人工智慧（AI）技術的快速發展，大型語言模型（LLM）不斷推陳出新。為了充分發揮AI的潛力並應對其帶來的挑戰，Arm與Meta攜手合作，在Arm CPU上優化運行全新的Llama 3.2 LLM，為從雲端到邊緣設備的AI應用提供強大支援。

此次合作的核心在於整合開源創新與Arm運算平台的優勢，以應對AI帶來的計算和能源需求挑戰；得益於Arm十年來在AI領域的持續投資及與各類新型LLM的廣泛合作，Arm平台已成為AI推論開發者的首選。

在效能方面，新的Llama 3.2 LLM在Arm CPU上展現了顯著提升。對於小型模型（如1B和3B），在Arm驅動的行動裝置上，提示詞處理速度提高了5倍，詞元生成速度提升3倍，達到每秒19.92個詞元。這大大減少了裝置上AI工作負載的延遲，提升了使用者體驗。

對於大型模型（如11B和90B），在雲端的表現同樣出色。以11B模型為例，在基於Arm架構的AWS Graviton4上運行時，可在生成階段實現每秒29.3個詞元的處理速度，遠超人類閱讀速度。

Arm還通過Kleidi進一步支援軟體社群，使AI技術堆疊能充分發揮優化後的CPU效能。最近Kleidi與PyTorch的整合使得在AWS Graviton處理器上運行Llama 3 LLM的詞元首次回應時間加快了2.5倍。在行動裝置上，借助KleidiAI函式庫，在新的Arm Cortex-X925 CPU上運行Llama 3的詞元首次回應時間比參考實作提升了190％。

這項合作不僅提升了AI效能，還為未來AI應用奠定了基礎。從個人化的裝置端推薦到企業級應用的工作效率優化，Arm技術的整合使得AI能夠無處不在地改善使用者體驗。值得注意的是，在裝置端處理更多AI工作負載還能減少往返雲端的資料傳輸，從而節省能源和成本。

Arm與Meta的合作代表了產業協作的新標竿，結合了Arm運算平台的靈活性和普及性，以及Meta等科技巨頭的專業知識。這種開放式合作模式被視為實現無處不在的AI創新和促進AI可持續發展的最佳途徑。

展望未來，Arm預計到2025年，將有超過1000億台基於Arm架構的裝置支援AI功能。這意味著AI將更深入地融入我們的日常生活，從個人設備到企業應用，為用戶帶來更智能、更高效的體驗。

更多中時新聞網報導
只有一筆錢「該買00919還是00929？」楚狂人：先別急著罵，降息循環啟動「它是受惠者」
靠玉山金年領息100萬 他問「現在該換成中信金？」億元教授：併購成功翻倍至6字頭
存股族注意！「00878季配改月月配？」國泰投信：確定不更動