《科技》Arm、Meta攜手提升AI效能 Llama 3.2在Arm CPU大展身手

【時報記者王逸芯台北報導】人工智慧（AI）的快速發展讓各種大型語言模型（LLM）不斷更新。為了讓AI技術更廣泛應用，必須從雲端到裝置端都能順利運行，這也帶動了運算和能源需求的增加。為此，Arm與Meta展開了合作，在Arm CPU上成功啟用了新的Llama 3.2語言模型。這次合作結合了開源技術和Arm的運算平台，為解決AI帶來的挑戰提供了解決方案。Arm持續投資並與最新的語言模型合作，讓Arm CPU成為AI開發人員的首選平台。

小型的LLM（例如Llama 3.2 1B和3B）可以處理基礎的文字生成AI工作，這對於大規模AI運算非常重要。透過Arm CPU的優化，在行動裝置上運行Llama 3.2 3B，可以讓文字生成速度提升5倍，並在生成階段達到每秒生成19.92個詞元，這大幅減少了裝置端處理AI工作時的延遲，讓使用者體驗更加流暢。此外，當更多的AI運算在裝置端進行時，能減少與雲端之間的資料傳輸，進一步節省能源與成本。

除了小型模型運行在裝置端，更大的模型如Llama 3.2 11B和90B則可以在雲端上運行。這些模型非常適合在Arm Neoverse V2平台上進行基於CPU的推論運算，能生成文字和圖像。以Arm架構的AWS Graviton4平台為例，運行Llama 3.2 11B模型時，每秒能生成29.3個詞元，遠超過人類每秒讀取五個詞元的速度。

為了進一步支援開發者，Arm推出了Kleidi技術，這項技術能在任何AI框架中發揮Arm CPU的優勢，開發者無需額外進行整合工作。Kleidi與PyTorch的整合讓基於Arm架構的開發者能在雲端到裝置端之間獲得無縫的AI效能，並加快Llama 3模型的反應速度。

Arm與Meta的合作為產業帶來了新的標準，結合了Arm的靈活運算平台和Meta的技術專長，提供了更多AI的應用機會。未來，AI將不只在裝置端提升使用者體驗，還能透過企業應用提升工作效率。到2025年，將有超過1,000億台基於Arm架構的裝置支援AI。