Intel Gaudi 3加速器Q3上市,供應鏈世芯、台積電、日月光、京元電受惠

【財訊快報/記者李純君報導】英特爾宣布AI新世代平台Intel Gaudi 3加速器,將於2024年第三季全面上市,值得注意的是,Intel‐Gaudi 3的供應鏈,在ASIC設計服務端是世芯,由台積電5奈米製程代工產出,並由台積電或與其外包場日月光/矽品進行CoWoS製程,並委由京元電完成終端測試(FT),也因此Intel Gaudi 3的上市,替其台系供應鏈帶入新業績。英特爾揭露,向OEM提供通用基板和開放加速器模型(Open accelerator module, OAM)的業界標準配置。包含戴爾科技、慧與科技(HPE)、聯想和美超微等知名OEM,都將採用Gaudi 3,英特爾Intel Gaudi 3加速器會在第二季起開始對OEM供貨,並於第三季全面上市,Intel Gaudi 3 PCIe附加卡預計於2024年第四季上市。

英特爾在其近日的Vision 2024大會上,宣布推出Intel Gaudi 3 AI加速器,與前代產品相比,Gaudi 3為BF16提供4倍AI運算能力、1.5倍記憶體頻寬以及2倍網路頻寬,可擴充大規模系統,將有助大型語言模型(LLM)和多模態模型的AI訓練和推理,大幅提升效能和生產力。Intel Gaudi 2 AI加速器是市場上通過MLPerf基準測試的LLM解決方案。

英特爾執行副總裁暨資料中心與AI解決方案總經理Justin Hotard表示:「AI市場瞬息萬變,但產品間仍存在巨大差距。不論是來自客戶還是更廣泛市場的回饋,皆反映對更多選擇的渴望。企業須權衡可用性、可擴充性、效能、成本和能源效率等因素。Intel Gaudi 3作為生成式AI的新選擇。」

金融、製造和醫療保健等關鍵領域的企業,目前正快速提升AI的普及化,並積極將生成式AI計畫從試驗階段轉為全面實施。為了因應轉型、推動創新並達成營收成長目標,企業需要開放、符合成本效益且更節能的解決方案和產品,以符合投資報酬率(ROI)和營運效率需求。此外,Gaudi 3高速PCIe附加卡是全新產品,適用於微調、推理和檢索增強生成(RAG)等工作。

Intel Gaudi 3加速器將為領先生成式AI模型的訓練和推理,帶來顯著的效能提升。與Nvidia H100相比,Gaudi 3加速器的平均效能預期將為,在Llama2 7B和13B參數以及GPT-3 175B參數模型的訓練時間加快50%。在Llama 7B和70B以及Falcon 180B參數模型上,推論吞吐量提升50%2,推論能源效率提升40%。在較長的輸入和輸出序列中,具有更大的推理效能優勢。與Nvidia H200相比,在Llama 7B和70B以及Falcon 180B參數模型的推理速度提升30%。