《半導體》AI推論重要性升 世芯、安國受惠

時報資訊

【時報-台北電】OpenAI針對大型語言模型一本正經說廢話痛點進行改善，o1模型透過多次確認產出之答案，增進語言模型商用之可能。業內人士解釋，現階段AI作為客戶服務最大問題即是有小概率跳出錯誤答案或完全無關乎主題，o1模型會針對結果在三進行確認，這將使推論（Inference）算力需求增加。以AWS為首之CSP業者針對推論應用推出自研晶片，法人認為，推論重要性提升，將為ASIC業者帶來新商機，其中如世芯-KY（3661）、安國（8054）有望受惠。

語言模型訓練所需算力高為市場共識，並隨著參數增加、耗用成本提升，而推論基於預訓練模型進行結果產出，運算需求相對較低。不過OpenAI推出o1模型，開始推升推論對算力需求，其中，o1是首個IQ超過人類的AI模型，因此進行數學運算或邏輯推理，效果較好，另外就是改善一本正經講廢話或講錯誤答案的問題，商業實際應用空間擴大。

相關業者分析，過往推論相對簡單，但是o1透過將答案進行多次審核，需要的算力有額外的提升。CSP業者如AWS、Meta針對推論需求都有推出自研晶片，如Inferentia 3、MTIA等。

有望推升台廠商機，法人指出，推論晶片對重複運算需求高，因此為特定任務定製的ASIC晶片更受到業者青睞，加上CSP建置量龐大，自研晶片分攤成本會較GPU划算，台廠即接獲不少ASIC訂單，以世芯和AWS之合作最為人所熟知。

法人分析，Inferentia 3的單位價值將高於Inferentia 2，不僅因為製程從7nm 升級到3nm，且包括更多的運算晶片和HBM。供應鏈透露，世芯在後年為Inferentia 3保留的產能超過目前水準，此外，AWS 的Trainium也可能採用Inferentia 3運算晶片，有望受惠市場份額的成長。

安國在第四季亦逐步開花結果，除原有的ASIC Turnkey外，CoWoS後段委託設計服務（Design Service）有望到手。法人認為，儘管現階段客戶大部分來自大陸，但未來先進製程、封裝會以非大陸客戶為主，大手筆購入Arm IP，進一步利用Arm生態系資源，擴大市場能見度。(新聞來源 : 工商時報一張珈睿／台北報導)

相關內容

  • 2024年高雄雲端產業峰會　高雄展覽館登場

    【記者 王雯玲／高雄 報導】Amazon Web Services（AWS）「2024年高雄雲端產業峰會」，今

  • AWS雲端峰會 陳其邁： 打造城市級AI

    【記者郭文昌高雄報導】Amazon Web Services（AWS）「2024年高雄雲端產業峰會」， 19日在高雄展覽館登場，今年以「創新生成，AI賦能：從半導體到庶民經濟，引爆港都數位新經濟」為主...

  • 高雄雲端產業峰會 開幕

    Ama-zonWebServices（AWS）「二○二四年高雄雲端產 ...

  • 《電週邊》華碩攜手優必達 推動機器狗與虛擬人應用新紀元

    【時報記者任珮云台北報導】在美國SuperComputing24（SC24）展會上，華碩（2357）與全球雲端遊戲與AI解決方案領導者優必達（Ubitus）聯手亮相，展示AI技術應用的新高度。此次展覽以機器狗與AI虛擬人為主角，結合大型語言模型（LLM），為零售、醫療、娛樂等多領域開創嶄新的應用場景。 機器狗以NVIDIA Jetson Orin邊緣運算設備為核心，搭載優必達量身打造的大型語言模型UbiGPT。該模型基於超過300億字的語料庫進行訓練，具備深度理解與精確回應的能力。此外，機器狗整合檢索增強生成（RAG）技術，可即時搜尋資料並生成智慧回應，滿足使用者需求。 使用者僅需語音指令即可與機器狗自然互動，例如下達「趴下」、「握手」或「尋找物品」等指令，機器狗能迅速理解並執行。不僅如此，其語言與物體辨識能力更可應用於陪伴助手、物品尋找、偵測與運送等專業領域，展現極大潛力。 優必達的大型語言模型由友崴超算中心提供運算支援，該中心擁有45PFlops的強大運算能力，於11月名列全球Top 500超算中心前25名，同時為亞洲最大綠能AI運算中心。這為語言模型技術的精確度與反應速度提供了堅

  • 《電週邊》SC24 和碩秀AI運算創新力

    【時報記者任珮云台北報導】和碩(4938)於今年SC24以「為AI而生，激發高效運算的想像力」為主題，展出適合即時大型語言模型(LLM)運算與先進散熱基礎設施的解決方案。並透過發表多節點高密度運算效能設計的液冷(DLC)伺服器產品，引領資料中心向增進能源效率之路邁進。 呼應今年超級運算大會SC24的展覽主題「創造高效運算」，和碩展出的一系列與合作夥伴AMD，Intel，NVIDIA合作設計支援高效運算的伺服器與機架(Rack)級方案。本次亮點產品包括： 1.大規模生成式AI運算的機架解決方案：RA4401-72N1。和碩針對生成式AI運算需求，推出RA4401-72N1機架伺服器，採用NVIDIA GB200 NVL72高密度GPU解決方案，支援Liquid-to-Air Sidecar或Liquid-to-Liquid CDU散熱架構。此係統提升LLM推論速度達30倍，總擁有成本（TCO）降低25倍，並減少25倍能源消耗，成為生成式AI推論的最佳選擇。 2.NVIDIA MGX架構下的AI邊緣推論伺服器。針對AI邊緣推論需求，和碩展示多款基於NVIDIA MGX架構的伺服器，包括2U

  • Appier全產品線導入AI功能

    東京證交所上市的軟體公司Appier於20日宣布，全線產品整合生成式 AI 創新應用，將最新的大型語言模型（Large Language Model，LLM）前瞻技術研究成果導入廣告雲、個人化雲、及數據雲三大平台。

  • 和碩、仁寶參展SC24 發表伺服器及冷卻解決方案

    （中央社記者吳家豪台北19日電）代工廠和碩今天宣布參加2024年美國超級運算大會Supercomputing（簡稱SC24），展出適合即時大型語言模型（LLM）運算與先進散熱基礎設施的解決方案，並發表採用多節點高密度運算效能設計的直接液冷（DLC）伺服器產品。仁寶宣布展出多款伺服器與冷卻解決方案。

  • 高雄導入AI創新應用 陳其邁：成功是最先行動的人

    （中央社記者林巧璉高雄19日電）「2024AWS高雄雲端產業峰會」今天在高雄展覽館登場，高雄市長陳其邁表示，高雄導入各項AI創新應用，並強調「成功是留給準備好的人」，而且是最先採取行動的人。

  • 鉅亨速報 - Factset 最新調查：歐力士(IX-US)EPS預估上修至11.37元，預估目標價為132.31元

    FactSet 最新調查：歐力士(IX-US)EPS預估上修，預估EPS、預估營收、目標價、歷史獲利表現、即時新聞資訊

  • AI引爆用電需求 避險基金Q3加碼布局核電股

    MoneyDJ新聞 2024-11-21 11:04:19 記者 李彥瑾 報導AI運算帶動龐大用電需求，各大科技巨頭購電若渴，電力概念股躍居市場吸金焦點。知名投行高盛(Goldman Sachs)分析發現，隨著AI外溢效應不斷擴大，避險基金大舉搶進布局核電股，把握AI外溢商機。 MarketWatch報導，高盛分析師統計697檔避險基金，管理的資產總額超過3兆美元，從第三季籌碼動向來看，避險基金經理人持續加碼核電股部位，占整體資產配置比重明顯攀升，顯示核電股已成為避險基金的投資布局重點。 其中，美國德州知名發電公司Vistra(VST.US)最受避險基金青睞，並被列入高盛避險行業VIP名單。在買盤追捧下，Vistra今年以來股價狂漲301.43%，漲幅超越AI晶片霸主NVIDIA的194.60%。 今年9月，微軟率先宣布擁抱核能，和美國星座能源公司(Constellation Energy)簽署為期20年的電力採購協議，位於賓州Middletown的三哩島(Three Mile Island)核電廠將重啟營運，電力由微軟全數購入使用。 Google不久前也宣布與小型核電商Kairos

  • 《歐股》憂地緣政治衝突惡化 歐股摔至三個月低

    MoneyDJ新聞 2024-11-20 06:48:30 記者 黃智勤 報導俄羅斯下修動用核武門檻，引發市場不安，投資人擔憂地緣政治衝突惡化、避險心態轉濃，資金也湧向避風港資產，歐股延續跌勢、摔至三個月新低。 泛歐STOXX 600指數11月19日下挫0.45%(2.24點)、收500.60點。產業方面，汽車類股和奢侈品類股均下挫逾1.1%。 歐洲主要指數19日全線下跌。德國DAX指數下挫0.67%(128.88點)、收19,060.31點；英國FTSE 100指數下挫0.13%(10.30點)，收8,099.02點；法國CAC 40指數下挫0.67%(48.59點)、收7,229.64點。 俄羅斯總統普丁19日批准更新版的「核準則」(nuclear doctrine)，下修動用核武的門檻，以報復拜登批准烏克蘭以遠程飛彈攻打俄羅斯境內目標；受此影響，資金湧向公債、日圓和黃金等避險資產。 Capital.com高級市場分析師哈索恩(Daniela Hathorn)指出，所有國家都希望能避免核戰，但普丁的行動使得核威脅升高，資金也流向避險資產，但目前並未出現恐慌性拋售。 市場持續消化川普