群聯邊緣AI訓練與推論解決方案aiDAPTIV+,導入消費性AI筆電
【財訊快報/記者李純君報導】NAND控制晶片大廠群聯(8299)今日宣布,其邊緣AI訓練與推論解決方案aiDAPTIV+再度升級,提供更多擴充能力,尤其將正式導入筆電市場,提前搶攻消費性電子的AI邊緣運算商機。群聯表示,aiDAPTIV+將整合至Maingear的ML系列筆電,這款AI筆電將成為全球首款支援LLMOps (Large Language Model Operations; 大型語言模型運作業)的消費級筆電,使用者用戶將可使用自身企業或個人資料來微調(Post-training/Fine-tuning)最多80億(8B)參數的大型語言模型(LLM),讓預訓練(Pre-trained)的AI模型能依據邊緣應用場景與使用者需求進行客製化(Post-training),以達到真正的AI落地普及化。
此款搭載NVIDIA GPU的AI筆電將於本週(3/17-21, San Jose, USA)於NVIDIA GTC 2025展示概念機並開放登記購買。此外,群聯也將aiDAPTIV+擴展至支援NVIDIA Jetson平台的邊緣運算設備,強化在邊緣端的生成式AI推論與機器人應用。
隨著此次升級aiDAPTIV+,群聯提到,全新的aiDAPTIVLink 3.0中介軟體(Middleware Software),提供更快的首次回應時間(Time to First Token, TTFT),並延長Token長度,以提升推論效能與準確性。此擴展將進一步開啟更多應用機會,無論是大學生或AI產業專業人士學習LLM訓練,或是研究人員透過PC深入解析自身資料,甚至是製造工程師透過邊緣運算設備自動化工廠生產流程。
AI與邊緣運算應用場景日益增多,市場對AI開發人才的需求持續攀升。開發者需要親身操作LLM訓練解決方案,以建立未來AI應用所需要的AI軟體或是專屬邊緣AI模型,而政府機構、研究機構、醫療與工業組織等高度受監管之產業,則需要邊緣、安全的地端AI設備來進行私有資料的AI模型微調訓練(Post-training/Fine-tuning)。
「延續去年GTC展出的aiDAPTIV+ AI訓練工作站熱潮,我們與群聯深化合作,推出概念性AI筆電,讓強大的邊緣AI推論與裝置端模型訓練無處不在。」Maingear執行長Wallace Santos表示,「這項技術突破將邊緣AI能力帶入輕便的行動平台,為企業、教育機構與學生提供經濟高效的AI開發工具,無需倚賴傳統數據中心基礎設施。」
群聯執行長潘健成表示,AI的發展已經來到一個關鍵時刻,企業、學術界與開發者都需要更靈活、高效的邊緣AI解決方案來擴大AI的落地應用。群聯的aiDAPTIV+讓用戶能在個人筆電或邊緣設備上訓練與推理AI模型,還確保資料安全、降低成本,真正實現AI邊緣運算的便利性。今年,我們與Maingear攜手推出全球首款支援LLMOps的AI筆電,也將進一步擴展與NVIDIA Jetson平台的合作,將aiDAPTIV+導入邊緣運算與機器人應用。