英特爾推出新一代AI解決方案Xeon 6與Gaudi 3
隨著AI技術不斷顛覆各行各業,企業對於兼顧成本效益與快速部署的AI基礎設施需求日益增長。英特爾24日正式發表搭載效能核心(P-core)的全新Xeon 6處理器與Gaudi 3 AI加速器,進一步鞏固其在AI與高效能運算(HPC)領域的領導地位,新產品強調提升每瓦效能並降低總持有成本(TCO),協助企業建構更強大、靈活且具成本效益的AI系統。
Xeon 6處理器採用效能核心(P-core)設計,專為運算密集型工作負載打造,特別針對AI應用進行了全面優化;與前一代相比,Xeon 6在處理效能上實現了2倍的提升,核心數與記憶體頻寬均加倍,並且在每個核心中嵌入AI加速功能,使其能夠輕鬆應對從邊緣設備到資料中心、雲端環境等多樣化場景中的AI需求。
Gaudi 3 AI加速器專為生成式AI設計,具備64個張量處理器核心(TPC)和8個矩陣乘法引擎(MME),能顯著提升深度神經網路的運算效能。此外,配備128 GB的HBM2e記憶體,能處理大規模AI模型的訓練與推論。Gaudi 3的吞吐量相比前一代提高了20%,且在與Nvidia H100的競爭中展現出強大優勢,在相同成本下執行LLaMa 2 70B模型推論時,其效能高出2倍。
Gaudi 3完美支援PyTorch框架,並與Hugging Face Transformer和diffuser模型無縫相容。英特爾與IBM的合作將Gaudi 3作為服務布署至IBM Cloud,進一步擴大生成式AI的應用範疇,幫助企業在提升AI效能的同時,降低整體的總持有成本。
為了促進企業AI的規模化應用,英特爾與多家OEM合作夥伴,包括戴爾科技與美超微,共同設計針對Gaudi 3與Xeon 6的AI解決方案,尤其是基於檢索增強生成(RAG)技術的系統。這些解決方案建立在Open Platform For Enterprise AI(OPEA)平台上,整合Kubernetes、Red Hat OpenShift AI等技術,並針對Xeon和Gaudi AI系統進行最佳化,旨在幫助企業輕鬆應對AI部署過程中的安全性、擴展性與監控等挑戰。
英特爾持續推動AI技術的創新,並推出了Tiber產品組合,專為解決橫跨AI、雲端與邊緣環境的挑戰而設計。企業客戶現可透過Intel Tiber Developer Cloud,提前體驗Xeon 6與Gaudi 3的強大效能,進行技術評估與測試。Gaudi 3預計下一季開始大規模布署,進一步加速AI解決方案的普及,透過此次全新AI技術的發表,英特爾再次展示其在企業AI應用領域的深厚實力,並為各行各業開啟了更高效、更具成本效益的AI應用新紀元。
更多中時新聞網報導
提早領?延後領? 勞保年金最大化一文破解 「不是63歲」這領法總金額多幾10萬
統一、鴻海、富邦金…老先覺「2024最新存股名單」超完整:1招躺賺千萬
三星撐不住 韓中小企業更慘! 悲情破產現況曝