AI推論重要性升 世芯、安國受惠

張珈睿／台北報導
推論晶片對重複運算需求高，因此為特定任務定製的ASIC晶片更受到業者青睞。圖／本報資料照片
推論晶片對重複運算需求高，因此為特定任務定製的ASIC晶片更受到業者青睞。圖／本報資料照片

OpenAI針對大型語言模型一本正經說廢話痛點進行改善，o1模型透過多次確認產出之答案，增進語言模型商用之可能。業內人士解釋，現階段AI作為客戶服務最大問題即是有小概率跳出錯誤答案或完全無關乎主題，o1模型會針對結果在三進行確認，這將使推論（Inference）算力需求增加。以AWS為首之CSP業者針對推論應用推出自研晶片，法人認為，推論重要性提升，將為ASIC業者帶來新商機，其中如世芯-KY（3661）、安國（8054）有望受惠。

語言模型訓練所需算力高為市場共識，並隨著參數增加、耗用成本提升，而推論基於預訓練模型進行結果產出，運算需求相對較低。不過OpenAI推出o1模型，開始推升推論對算力需求，其中，o1是首個IQ超過人類的AI模型，因此進行數學運算或邏輯推理，效果較好，另外就是改善一本正經講廢話或講錯誤答案的問題，商業實際應用空間擴大。

相關業者分析，過往推論相對簡單，但是o1透過將答案進行多次審核，需要的算力有額外的提升。CSP業者如AWS、Meta針對推論需求都有推出自研晶片，如Inferentia 3、MTIA等。

有望推升台廠商機，法人指出，推論晶片對重複運算需求高，因此為特定任務定製的ASIC晶片更受到業者青睞，加上CSP建置量龐大，自研晶片分攤成本會較GPU划算，台廠即接獲不少ASIC訂單，以世芯和AWS之合作最為人所熟知。

法人分析，Inferentia 3的單位價值將高於Inferentia 2，不僅因為製程從7nm 升級到3nm，且包括更多的運算晶片和HBM。供應鏈透露，世芯在後年為Inferentia 3保留的產能超過目前水準，此外，AWS 的Trainium也可能採用Inferentia 3運算晶片，有望受惠市場份額的成長。

安國在第四季亦逐步開花結果，除原有的ASIC Turnkey外，CoWoS後段委託設計服務（Design Service）有望到手。法人認為，儘管現階段客戶大部分來自大陸，但未來先進製程、封裝會以非大陸客戶為主，大手筆購入Arm IP，進一步利用Arm生態系資源，擴大市場能見度。

更多工商時報報導
美經濟重啟 Nike財報超預期
工商社論》數位貨幣監管大突破 美國將立法規範「穩定幣」
當沖降稅三讀 台股添火力

相關內容

  • AI推理能力尚不足

    在近年來，人工智慧（AI）迅速發展，尤其是大型語言模型（LLMs）如OpenAI的GPT系列、Google的Gemma 2、Meta的Llama等，展示了在語言處理、推理能力以及解決問題方面的巨大潛力。但最近有一個研究報告揭露了這些語言模型在邏輯推理上的重大缺陷，進一步點出目前AI技術的局限性與挑戰。

  • 《科技》聯發科 AI小模型助邊緣運算

    【時報-台北電】隨AI模型快速發展，晶片大廠高通與聯發科不約而同，分別針對AI語言模型及邊緣終端技術，提出最新見解與應用展望，揭示AI小模型及邊緣推論的趨勢。聯發科企業策略與前瞻技術資深處長梁伯嵩日前指出，小型參數語言模型的出現，對於邊緣裝置使用AI提供更多可能性；高通資深技術行銷總監江坤霖也表示，生成式AI（Generative AI）若僅依賴雲端，將難以實現普及化，AI推論轉移邊緣將是趨勢。 模型提供業者轉向推出小規模模型，包括微軟、Google等公司。梁伯嵩認為，對於常見的AI使用情境，小型及中型模型更有意義；且小型模型使用算力較少，運行成本也更低。他比喻，對於企業來說，並不需要一個博士應對日常使用，小型語言模型更像是研究生、大學生即可解題。 聯發科AI AGENT不限語言文字的多模型態即能符合邊緣裝置需求。緊接而來的旗艦級晶片連發，供應鏈透露，Vivo、OnePlus主品牌將採用聯發科，子品牌則使用高通，左右逢源。 江昆霖分析，未來邊緣AI朝向小而美的方式邁進，而CPU、NPU都是AI訓練的關鍵，但因應產品設計概念，需要不同處理器達到最佳化，每個處理器單元充分合作，加上軟體提升

  • 聯發科 AI小模型助邊緣運算

    隨AI模型快速發展，晶片大廠高通與聯發科不約而同，分別針對AI語言模型及邊緣終端技術，提出最新見解與應用展望，揭示AI小模型及邊緣推論的趨勢。聯發科企業策略與前瞻技術資深處長梁伯嵩日前指出，小型參數語言模型的出現，對於邊緣裝置使用AI提供更多可能性；高通資深技術行銷總監江坤霖也表示，生成式AI（Generative AI）若僅依賴雲端，將難以實現普及化，AI推論轉移邊緣將是趨勢。

  • 產業分析－生成式AI正在翻轉電信產業

    AI熱潮帶動全球電信商陸續導入大語言模型，發展各項生成式AI應用服務，目前已陸續展開初期應用場景驗證。觀察台灣電信商情況，業者將生成式AI服務以整體解決方案模式提供給企業用戶，帶動整體營收。

  • 《各報要聞》CSP加重設計地位 台積、聯發科、世芯拉風

    【時報-台北電】AI基礎設施布局加速，有別輝達大力推進通用型GPU，博通認為，ASIC專注於不同市場，兩者角色各異。博通透露，CSP（雲端服務供應商）未來產品路線圖漸臻明確，更大的市場需求在智駕車專用ASIC，世芯-KY進度最為迅速，率先拿下陸系品牌廠5奈米ADAS專案；另台積電則為特斯拉生產5奈米Dojo晶片、三星則拿到特斯拉Autopilot 4.0專案，傳統車廠GM也加入，據傳是由日系業者搶下。 博通憑藉領先技術，手握谷歌、Meta自研晶片訂單，博通管理階層強調，與輝達專注在不同市場、兩者角色各異。持續與Google攜手合作TPU（張量處理器），並強調仍舊會是主要供應業者。 台廠相關業者透露，目前聯發科有針對TPU v7 Inference（推論）進行開發，不過目前都還未有明確訊息。但谷歌近期已有加大倚重台廠趨勢，從Pixel手機Tensor G5轉由台積電3奈米生產外，Axion CPU亦委由台廠進行設計。 臉書母公司Meat也針對自家的社群平台開發晶片，MTIA委由博通設計，台廠則有取得oculus ASIC專案。另外，AWS則由世芯-KY協助打造，自研晶片趨勢不可逆，為追求

  • 【圖解】邊緣AI的多元宇宙！和雲端AI有何不同？6G發展為何少不了它？

    邊緣運算模型是基於簡單概念：使某些應用程式所需的運算更接近最終端用戶，不需將資料傳送到雲端，因此可減少網路流量。

  • AWS生成式AI創新產業應用日登場 1111導入GenAI解決求職痛點

    【記者郭嘉 / 綜合報導】2024 Amazon Web Services（AWS）生成式AI創新產業應用日，15日於台北國際會議中心登場，以3大主題、橫跨10幾個產業，探索各行業AWS生成式AI解決方案。其中，1111人力銀行分享如何深化使用GenAI解決求職者3大痛點，以實現企業業務增長。

  • 元智大學 主辦大語言模型高峰論壇

    在2024年即將進入尾聲之際，全球科技大廠紛紛推出的大語言模型（Large Language Model, LLM）不斷推升人們對人工智慧發展的關注程度，包括Llama 3.1 405B、GPT、Gemini、Claude 3.5 Sonnet、BLOOM、Cohere、Falcon、Ernie、Mistral 7B、 MPT-30B等大語言模型繽紛展現。

  • 卓： AI民主供應鏈 台灣不可或缺

    【記者郭穗台北報導】行政院長卓榮泰17日表示，台灣除硬體居世界領先，現在也要快速強化軟體發展，包含建立大型語言模型、主權AI；因此要以更大的力量維繫和平、穩定，政府責無旁貸。2024台灣創新技...

  • Cognite發布《Cognite Atlas AI™ LLM和SLM工業代理基準報告》

    德州奧斯汀與挪威奧斯陸, October 14, 2024--(美國商業資訊)--工業人工智慧的全球領導者Cognite今天宣布發布《Cognite Atlas AI™ LLM和SLM工業代理基準報告》。該報告首開先河，透過對客製化大型語言模型（LLM）和小型語言模型（SLM）的評估，解決了一般基準資料集的不足，將重點放在專門的工業任務上，確保了工業人工智慧解決方案的可靠性、準確性和有效性。

  • 《半導體》ASIC晶片出貨助攻 威盛強彈奪2線

    【時報記者王逸芯台北報導】威盛 (2388) 9月營收報喜，連續第二個月創新高，主要受惠於旗下ASIC（客製化晶片）子公司威宏的5奈米產品自8月開始出貨。威盛今日股價開高走高，漲幅一度接近3%，重回5日線與月線位置，顯示相對大盤抗跌。 威盛因為旗下ASIC子公司威宏的5奈米產品於8月開始出貨，成功帶動營收表現，已經連續兩個月創新高。據悉，該晶片不僅採用台積電（2330）的先進製程生產，後段封測也委由封測大廠以類CoWoS技術進行，單價較高，對威盛的營收有顯著助益。 威盛9月營收達26.49億元，月增44.32%，年增166.86%。第三季營收52.88億元，季增78.7%，更超越上半年的51.2億元。累計前9月營收104.08億元，年增23.41%。 根據威宏的財報，2024年獲利達4.74億元，而今年上半年獲利也達2.72億元，顯示威宏是威盛獲利的重要來源。展望未來，隨著ASIC應用的持續擴展，威宏將持續為威盛的營運做出重要貢獻。 此外，威盛在9月底完成2.1億美元的海外存託憑證（GDR）訂價，折價幅度為4.88%，此次發行的資金將用於支應外幣購料所需的資金。