《科技》高通CES火力全開!AI本地裝置掀企業轉型潮
【時報記者王逸芯台北報導】高通於CES 2025宣布推出高通AI本地裝置解決方案(Qualcomm AI On-Prem Appliance Solution)和高通AI推論套組(Qualcomm AI Inference Suite)。前者為桌上型或壁掛式的硬體解決方案,後者則是一套完整的軟體與服務,專為AI推論應用設計,範圍涵蓋近邊(near-edge)至雲端。這兩款產品的結合,讓中小企業、大型企業及產業組織能在本地運行客製化或現有的AI應用,包括生成式工作負載,相較於依賴第三方AI基礎架構,大幅降低了營運成本和總體擁有成本(TCO)。
透過這些解決方案,企業可使用其專有資料、微調模型及技術基礎設施,將生成式AI應用於多種工作流程,並建立自動化、可重複的終端環境。例如,零售店、速食餐廳、購物中心、經銷商、醫院、工廠和生產現場等皆可受益於此技術,實現人力與機器流程的全面自動化。
高通技術公司汽車、工業及嵌入式物聯網和雲端運算部門總經理Nakul Duggal表示,這些全新的解決方案透過將生成式AI工作負載從雲端轉移至本地部署,徹底改變AI的部署經濟效益。他指出,針對如店內助理、員工培訓、資訊管理、安全規範遵循,以及場內銷售與服務支援等應用,AI本地裝置解決方案有效降低企業AI營運成本,同時加速生成式AI應用的落地。企業可藉此使用自有模型,確保隱私性與客製化,並對資料保持完全掌控。
高通AI本地裝置解決方案由高通雲端AI加速器系列提供動力,結合資料中心推論伺服器的效能與本地AI解決方案的功耗效率,提供優異的資料隱私和個人化體驗。該解決方案支援多種功能,包括語音助理、小型語言模型(SLM)、大型語言模型(LLM)、多模態模型(LMM)、AI代理、圖像生成、程式碼生成及電腦視覺應用。此外,該解決方案支持從桌上型設備到壁掛裝置叢集的多樣化配置,靈活應對各種企業需求。
高通AI推論套組則提供企業與開發者一系列完整的工具與設計資源,用於開發或移植生成式AI應用。該套組包含豐富的應用程式介面(API),支援聊天、圖像生成、音訊與影片生成功能,並與OpenAI API相容,方便整合多種流行的AI模型和框架,同時支援Kubernetes或裸機容器部署。
多家產業領導者已開始採用高通的AI解決方案。例如,漢威聯合(Honeywell)與高通合作,設計和部署AI工作流程自動化應用;Aetina則基於高通AI本地裝置推出輕巧、節能的企業AI應用裝置,運用多個語言模型實現自然語言處理與工作流程自動化;IBM亦計畫將其watsonx data和AI平台,以及Granite系列AI模型,整合至高通的本地AI應用裝置,應用於汽車、製造、零售及通訊等多個領域。
這些創新解決方案展現高通在AI技術領域的強大實力,為企業實現生成式AI應用提供了更具成本效益且靈活的選擇,推動AI技術的全面普及。