《科技》Arm與Meta合作推進 ExecuTorch加速AI邊緣應用

時報資訊

【時報記者王逸芯台北報導】Arm正在與Meta公司的PyTorch團隊攜手合作，共同推進新的ExecuTorch測試版上線，目標是為全球數十億邊緣端裝置和數百萬開發人員提供人工智慧（AI）和機器學習（ML）功能，確保AI的潛力能被最廣泛的裝置和開發人員所利用。此次合作不僅提升了生成式AI的效能，還讓更多邊緣端裝置能享受到AI帶來的便利。

ExecuTorch是一款專為行動和邊緣端裝置部署AI模型而設計的PyTorch原生部署框架，結合Arm的運算平台，可大幅優化生成式AI效能。開發人員無需額外的修改或優化，即可將新的量化模型無縫整合到應用中，從而節省時間和資源。特別是新的Llama3.2 1B和 3B量化模型，能減少記憶體佔用、提高準確性和效能，使小型裝置上的生成式AI應用（如虛擬聊天機器人、內容摘要和AI助理等）更具可行性和高效性。

在行動裝置領域，Arm與ExecuTorch的合作加速了生成式AI的實現。此次合作整合了KleidiAI，導入針對4位元量化優化的微核心，並透過XNNPACK整合在ExecuTorch中，使Llama3.2 1B量化模型在Arm裝置上的預填充階段執行速度提高了20%，生成內容的速度達到每秒超過400個詞元（token）。這使得使用者能在搭載ArmCPU的行動裝置上享受到更快速且靈敏的AI互動體驗。

除了行動裝置外，ExecuTorch在物聯網（IoT）領域也展現了強大的應用潛力。它提升了邊緣端AI應用的即時處理能力，使智慧家電、可穿戴裝置、自動零售系統等物聯網裝置能以毫秒級速度回應環境變化，對安全性和功能的即時可用性至關重要。ExecuTorch可在ArmCortex-ACPU和Ethos-UNPU上運行，開發人員可在平台上市前的幾個月內著手開發邊緣端AI應用。

透過這次合作，Arm正在讓AI和ML的開發變得更易獲取、更快捷，並進一步將生成式AI技術普及到更多邊緣端裝置上。ExecuTorch 測試版的推出，使得開發人員能更快速地部署AI應用，帶來更多創新可能，未來有望成為全球最受歡迎的高效率AI開發框架之一。

相關內容

  • 《讀者》雜誌11月號焦點 AI面試是什麼體驗

    本期介紹企業運用AI（人工智慧）如何篩選應試者的過程。隨著線上交互技術的普及，愈來愈多的企業為了提高招聘效率開始採用AI工具作為面試的一道關卡。有著特殊運行邏輯 的AI面試，給職場新人帶來了不小的考驗。對HR（人力資源）管理者來說，雖然分擔HR的巨量工作，但HR也擔心有一天被AI取代。

  • 《各報要聞》經部AI產業化目標 四項應用打頭陣

    【時報-台北電】AI是全球產業趨勢，經濟部對於產業AI應用也訂下「AI產業化」目標，預計2028年製造業應用AI普及率達50％，服務業及中小微企業導入AI應用8萬家。為達成目標，經濟部爭取免費資源，協助業者開發示範案例，包括智慧客服助理、企業文稿生成、行銷文案生成、互動影音生成等。 同時，為滿足產業需求的AI人才上，經濟部規劃，與國際大廠微軟、人工智慧學校合作，規劃產業AI導入指引及公版教材、開設初級、中級及高級課程。並規劃2025年推出iPAS AI能力鑑定，就叫「AI應用規劃師」。 經部表示，已爭取國際大廠免費提供AI超級電腦部分算力資源，加速建構台灣專屬的生成式AI核心技術，並協助業者開發生成式AI應用示範案例。 首先「智慧客服助理」方面，運用國科會TAIDE完成客服領域AI 模型發展，已於台水8月完成客服對話系統雛形，預計將於2025年第一季提供服務。相較於傳統的客服模型，正確率提升5％～10％。 「企業文稿生成」應用可讓文件撰寫者僅須透過描述需求，包括風格、色調及排版即生成專業文件。經濟部表示，目前已與政府單位、產業顧問、金控產業洽談合作，其中在金融保險領域，已於今年8月底完

  • 《半導體》創意迎接AI ASIC浪潮 外資維持優於大盤、上看1680

    【時報記者王逸芯台北報導】美系外資針對創意（3443）出具最新研究報告，考量創意來自AI ASIC的收入增長，維持「優於大盤」評等，目標價1680元。 美系外資表示，創意第三季業績表現超預期，主要受惠非經常性工程設計（NRE）收入。創意第三季每股盈餘（EPS）達7.71元，高於市場預估的6.45元。主因是毛利率達35.8%，超越原本預期的32.2%。根據管理層的說法，創意於第三季完成了一項6奈米NRE（非經常性工程設計）專案，為日本某消費品牌客戶（可能為數位相機）提供服務。 美系外資表示，預計創意第四季收入可能小幅下滑，主要預計是因加密貨幣專案尚未完全量產。預計創意NRE收入在2024年第四季將繼續增長，但交鑰匙服務收入可能相較第三季下降。只有3奈米的加密貨幣專案於第四季進入量產，4奈米及5奈米專案預計將於2025年第一季開始量產，主要受限於台積電(2330)的產能限制。預期加密貨幣相關業務將成為創意在2025年的主要收入來源。 至於HBM基底晶片專案，美系外資表示，海力士HBM4基底晶片的客製化需要更多時間來確認。在之前的報告中曾提到，NVIDIA和AMD應設計自己的基底晶片。其他C

  • 經部AI產業化目標 四項應用打頭陣

    AI是全球產業趨勢，經濟部對於產業AI應用也訂下「AI產業化」目標，預計2028年製造業應用AI普及率達50％，服務業及中小微企業導入AI應用8萬家。為達成目標，經濟部爭取免費資源，協助業者開發示範案例，包括智慧客服助理、企業文稿生成、行銷文案生成、互動影音生成等。

  • 國科會科技計畫 族語AI雙向翻譯吸睛

    【記者郭玉屏台北報導】「包容科技」計畫30日發表階段成果，有團隊開發具備印尼語、台語雙向翻譯功能的APP，協助外籍看護與被照顧者順暢溝通，另有團隊開發全球首個太魯閣語料庫，研發族語AI模型。國...

    1

  • Meta：2025年AI支出將大增！盤後股價跌逾3%

    臉書母公司Meta30日公佈財報，第3季營收405.9億美元，年增19%，優於市場預期的402.9億美元。

  • AI正改寫產業新規則 但投資AI如何抗波動？

    近年來，大型科技巨頭紛紛灑幣投資AI，以美國前4大雲端服務供應商亞馬遜、Google、微軟、Meta來說，2025年的營運現金流上看1,760億美元，顯示足以應付這樣的AI競賽，這也帶動AI晶片需求和相關公司的股價，然而不少投資人擔心投資AI、科技股、機器人這樣的題材會不會波動太大？在台灣深耕邁入35年的主動式基金專家安聯投信分析，AI基礎建設、AI應用及AI可涉入產業都是明確的大趨勢，只要運用「多重資產」策略，投資AI也可以輕鬆一點、走久一點。 附圖：美國前4大雲端服務供應商 2025年可望產生1,760億美元營運現金流 資料來源：Morgan Stanley，2024年10月 AI三大趨勢 正顛覆各行各業 深入拆解AI的三大趨勢，第一，以「AI基礎建設」來說，在強勁資本投資持續加持之下，安聯投信看好大型語言模型訓練、推理、邊緣運算等AI基礎建設的長期需求，像是半導體、硬體、電子零組件、電子製造服務等產業，都是亮點。 第二，則是「AI應用」，基礎設施加速開發，提高了生成式AI效能，有助於軟體方面創造更大的價值及自動化機會，許多軟體公司擁有豐富的資料庫數據，藉此訓練AI模型，進而創造新

  • 華為提出「四新」戰略，助力運營商實現數智時代商業成功

    華為提出「四新」戰略，助力運營商實現數智時代商業成功

  • 晶技 外資投信青睞

    台股1日走跌，資金多數轉向非電子族群，不過晶技（3042）仍獲外資、投信買盤支撐，早盤以115元開低，盤中由黑翻紅，終場收121元，漲幅2.54％；成交量2,934張，外資買超841張，投信買超575張。

  • 美國科技巨擘AI資本支出大增 回報緩慢投資人擔憂

    （中央社舊金山31日綜合外電報導）包括微軟、Meta和亞馬遜在內的美國科技巨擘正加大對建設人工智慧（AI）資料中心的投資，以應對龐大需求，但投資人期待更快看到這數十億美元投資的回報。

  • 華為李鵬：擁抱移動AI時代，開創MBB商業新範式

    2024全球移動寬帶論壇（Global MBB Forum 2024）期間，華為高級副總裁、ICT銷售與服務總裁李鵬發表了主題演講。