《科技》Arm與Meta合作推進 ExecuTorch加速AI邊緣應用

時報資訊

【時報記者王逸芯台北報導】Arm正在與Meta公司的PyTorch團隊攜手合作，共同推進新的ExecuTorch測試版上線，目標是為全球數十億邊緣端裝置和數百萬開發人員提供人工智慧（AI）和機器學習（ML）功能，確保AI的潛力能被最廣泛的裝置和開發人員所利用。此次合作不僅提升了生成式AI的效能，還讓更多邊緣端裝置能享受到AI帶來的便利。

ExecuTorch是一款專為行動和邊緣端裝置部署AI模型而設計的PyTorch原生部署框架，結合Arm的運算平台，可大幅優化生成式AI效能。開發人員無需額外的修改或優化，即可將新的量化模型無縫整合到應用中，從而節省時間和資源。特別是新的Llama3.2 1B和 3B量化模型，能減少記憶體佔用、提高準確性和效能，使小型裝置上的生成式AI應用（如虛擬聊天機器人、內容摘要和AI助理等）更具可行性和高效性。

在行動裝置領域，Arm與ExecuTorch的合作加速了生成式AI的實現。此次合作整合了KleidiAI，導入針對4位元量化優化的微核心，並透過XNNPACK整合在ExecuTorch中，使Llama3.2 1B量化模型在Arm裝置上的預填充階段執行速度提高了20%，生成內容的速度達到每秒超過400個詞元（token）。這使得使用者能在搭載ArmCPU的行動裝置上享受到更快速且靈敏的AI互動體驗。

除了行動裝置外，ExecuTorch在物聯網（IoT）領域也展現了強大的應用潛力。它提升了邊緣端AI應用的即時處理能力，使智慧家電、可穿戴裝置、自動零售系統等物聯網裝置能以毫秒級速度回應環境變化，對安全性和功能的即時可用性至關重要。ExecuTorch可在ArmCortex-ACPU和Ethos-UNPU上運行，開發人員可在平台上市前的幾個月內著手開發邊緣端AI應用。

透過這次合作，Arm正在讓AI和ML的開發變得更易獲取、更快捷，並進一步將生成式AI技術普及到更多邊緣端裝置上。ExecuTorch 測試版的推出，使得開發人員能更快速地部署AI應用，帶來更多創新可能，未來有望成為全球最受歡迎的高效率AI開發框架之一。

相關內容

  • 大陸AI眼鏡明年爆出貨潮 「百鏡大戰」即將開打

    今年以來，包括華為、蜂巢科技、百度、Looktech、Rokid已先後發表AI眼鏡產品，有消息傳出小米等廠商將在明年發表...

  • 賺爛啦！ 明年台股上看28000 研究報告看這裡

    2024年底、外資開始放耶誕連假，今年台股也只剩最後七個交易日，內外資研究機構看好2025年投資大方向，還是以AI為主，其中大和資本證券最新預測，全球晶片業2025年將加速向上，持續到2026年之後，更認為AI趨勢會越來越強，金蛇年投資鎖定AI未來趨勢，可望獲利滿滿。

    8

  • 《台北股市》錢進ETF 金蛇年聚焦AI＋高息

    【時報-台北電】時序進入2024年末。ETF市場年初的高股息募集熱潮，開始出現配息金額下降的質疑聲浪，展望後市，投信法人指出，AI趨勢持續發燒，預料美科技股、台系供應鏈仍然是多方聚焦點，以此為主題的科技、市值型ETF績效連霸機率高。 此外，上市櫃2024年獲利亮眼，推升2025年配息規模，隨著下半年迎來除息活水，高股息ETF配息金額可望回升，也是投資人可留意的另一方向。 據統計，今年來ETF績效，扣除槓反型ETF表現，前十名分別為第一金太空衛星、富邦未來車、統一FANG+、富邦科技、國泰數位支付服務、富邦台50、元大台灣50、元大電子、國泰台灣5G+、國泰北美科技，期間漲幅皆逾4成，且成份股清一色由科技電子股掛帥，成為多方主流。 針對2025年ETF布局，野村投信表示，台股多頭格局不變，預期2025下半年表現將優於上半年，在台積電技術領先、台灣供應鏈享有AI紅利下，指數有望再創歷史新高。預期AI仍是2025投資關鍵字，以創新成長為主軸的科技型ETF可望持續受惠。 中信投信也說，隨著AI應用如雨後春筍般出爐，AI賽道贏家逐漸明朗化，無論是AI晶片龍頭，或是另闢ASIC蹊徑的網通王者博通，

    1

  • 熱門股－輔信 題材助陣爆大量

    輔信（2405）受整體經濟市況及產業復甦動能疲弱影響，今年前三季本業營運持續未能轉正，惟近年在聚焦商用迷你應用電腦、工控級電腦系統產品策略逐步發酵下，其毛利率持續拉升至上看5％。

  • 《半導體》創意進駐Arm全面設計生態系 打造次世代ASIC利器

    【時報記者王逸芯台北報導】創意（3443）宣布加入Arm全面設計（Arm Total Design）生態系，展現其致力於提供全面且創新的設計解決方案，協助客戶加速開發尖端半導體技術。 作為Arm全面設計生態系的一員，創意將優先取得Arm最新的Neoverse CSS運算平台。該平台專為雲端資料中心、高效能運算（HPC）及邊緣運算設計，為AISoC解決方案提供堅實基礎。憑藉在小晶片（chiplet）與3DIC技術上的豐富經驗，創意將提供具差異化的次世代系統整合服務，突破ASIC及小晶片設計的技術限制，並優化高效能運算解決方案。 創意首席技術長Igor Elkanovich表示：「我們目標是利用台積電（2330）的3D SoIC-X技術，打造高效能且具成本效益的Arm Neoverse CSS驅動處理器。設計特色包括將CPU核心置於最先進製程節點，同時讓SLC快取、CMN與UCIe採用主流製程，並將PCIe和DDR整合於獨立小晶片上。我們將透過矽驗證的超低延遲3D接口GLink-3D和已驗證的3D設計流程（如3Dblox、物理實現、電源布局優化、熱與機械管理），為此合作做出重要貢獻。」 創

  • 商研良語－生成式AI在國際行銷的優勢與機遇

    隨著人工智慧（AI）的發展，生成式AI的功能日益強大。過去，AI透過數據分析預測消費者行為，協助企業制定行銷策略。而生成式AI結合自然語言處理、圖像識別和深度學習技術，生成具有洞察力的內容，並提供智慧化的行銷解決方案，如AI數位可提供更人性化的客服服務。未來，生成式AI在國際行銷中的應用將更為多元，帶來更多機遇。

  • OpenAI正式開通電話服務 ChatGPT朝全方位互動模式邁進

    商傳媒｜記者許方達／綜合外電報導AI應用又有新突破，OpenAI近日宣布旗下ChatGPT推出電話語音聊天服務，民眾可直接撥打美國專線1-800-CHATGPT，以更多元的方式體驗與AI互動。這項服務主要目的，是讓AI技術更全方位的貼近人類生活，對於無法使用穩定網路的族群來說是一大福音。《CNN》記者撥打該專線後發表感想，首先AI以清晰女性聲音與之對話，談話期間不僅分享巧克力餅乾的食譜，還簡要概述美國內戰的歷史由來；然而，當談及個人話題時，AI顯得相對冷靜，僅以「我沒有感情，但我覺得我的工作非常有趣」回應致電者。此語音服務是OpenAI於「12天OpenAI」行銷活動中快速開發的新功能，用戶每月可免費使用15分鐘，對於不熟悉AI的用戶，此服務無需下載應用程式即可輕鬆上手；至於美國地區以外的用戶，可以透過WhatsApp向該號碼發訊息，體驗與其文字互動。目前的語音功能尚屬實驗性質，相較完整的ChatGPT應用，個人化程度較低，且回應範圍有限；同時，OpenAI表示用戶在使用語音功能前，需同意相關條款與隱私政策，並提醒資料可能被審查以確保安全性。OpenAI過去曾對AI語音模式可能引發人類

  • 蔡明忠：2025年經濟將受惠AI而成長

    台灣大（3045）繼日前尾牙宣布2025年啟動「超人計畫」，全面擁抱AI。董事長蔡明忠23日出席論壇時亦指出，台灣在AI相關領域（從AI伺服器、高速傳輸設備、冷卻系統等）皆具備關鍵優勢與領導地位。展望2025年，AI的熱度預料仍將持續升溫，台灣企業也會持續受惠，整體經濟發展可望因AI產業而維持成長動能。

  • 《國際產業》人工智慧還不夠！量子AI到底在做什麼

    【時報編譯張朝欽綜合外電報導】人工智慧現(AI)在已經開始滲透到人們的工作和日常生活中，AI可能已經在後台工作，或者人們可能直接的跟生成式AI互動，例如透過ChatGPT，而在不久的將來，將出現增強版的虛擬助理。 但是目前的人工智慧還不夠，現在更出現全新的飛躍發展：量子AI(Quantum AI)，它是人工智慧與(目前仍實驗性質的)量子運算的融合，形成了一種超高速的高效技術。據CNet的分析報導，量子電腦將是肌肉，而AI將是大腦。 谷歌量子AI實驗室創辦人Hartmut Neven在介紹Willow量子晶片時說，為何他要離開AI，而專注在量子運算，因為兩者都是這個時代革命性技術，但AI將將極大地受益於量子運算的進步。 目前對量子運算的前景有諸多推測，有人說比特幣將迎來「量子末日」，並且在未來10年內遭到破解，量子運算可以在幾分鐘內破解私鑰，比特幣的安全架構可能過時。 傳統計算和量子運算有些不同，差異在處理方式，傳統計算是線性處理(逐步的計算)，而量子運算是使用平行處理(一次多個計算)。 另一個不同之處，在於使用的基本處理單元。傳統運算使用位元作為最小的資料單元(0或1)。量子運算使用量

  • 《各報要聞》外資唱旺金蛇年 AI潮續嗨

    【時報-台北電】2024年來到最後七個交易日，內外資研究機構全力瞄準2025年投資大方向，大和資本證券最新預測，全球晶片業2025年將加速向上，持續到2026年之後，AI趨勢會持續更長時間、強度更強（longer and stronger），金蛇年可望牛氣沖天。 台股連二個交易日重挫，加權指數不僅丟失23,000大關，短短兩天回檔幅度達到2.9％，國際資金二個交易日分別賣超332.99億元與486.77億元，顯示聯準會2025年降息碼數預期縮減，市場解讀態度轉鷹，確實為市場投下不確定性，引動國際機構法人拋售以規避風險。惟隨時序接近2025年，法人研究機構已將布局策略轉向新年度長線題材，其中，科技股挑選AI、逢回尋求進場時機，為共識所在。 大和資本證券半導體產業分析師徐禕成指出，儘管股市在龍年波動度有所增加，但如市場所期待地飆升，就基本面分析，AI的動能強於預期，反而非AI需求疲弱。針對即將到來的金蛇年，得益於AI持續強勁表現，以及非AI領域全面回補庫存推動，預期全球晶片市場加速上升。 大和資本預期，這次產業景氣上升持續時間將比典型周期更長（如同蛇一般擁有長尾），帶動本波牛市延續至202

  • 《電週邊》美智慧倉儲運用及日智慧駕駛專案落地 圓剛下季完成出貨

    【時報記者任珮云台北報導】圓剛(2417)今法說會，公司預測明年AI邊緣運算系統全年的貢獻約佔30-35%，較去年同期成長25-30%，其中今年第四季已有美國智慧倉儲運用及日本智慧駕駛等專案落地，預計於12月到明年第一季完成出貨。 圓剛旗下三大事業群分別是，消費運用解決方案、商業運用解決方案、AI邊緣運算系統。在消費運用解決方案業績全年的貢獻約佔55- 57%。較去年同期衰退20%。雖然全球市佔為No.2，但全球市場總體需求大幅度衰退約40%，再加上產品價格帶從中高階轉移到中低階等因素影響到整體績效表現。商業運用解決方案部分全年的貢獻約佔10-15%。較去年同期衰退20%，主要因受到歐美等區域的視訊產品市場需求減弱影響。AI邊緣運算系統全年的貢獻約佔30-35%，較去年同期成長25-30%，其中第四季已有美國智慧倉儲運用及日本智慧駕駛等專案落地，預計於12月到明年第一季完成出貨。圓剛累計前三季合併營收為25.28億元，較去年同期成長3％，毛利率為57％；稅後淨利為-42.96百萬元，每股盈餘（EPS）-0.32元。其中流動比率為253%，速動比率為205%，負債比率為28%，財務狀況穩