全球首家,將鞏固在業界領先地位 美光同時出貨HBM3E及SOCAMM
美光25日宣布成為全球首家且唯一同時出貨HBM3E及SOCAMM(小型壓縮附加記憶體模組)的記憶體廠商,這兩款產品專為資料中心AI伺服器設計,將進一步鞏固美光在業界的領先地位。
美光副總裁暨運算產品事業群總經理Praveen Vaidyanathan在美光線上記者會中,展示美光與NVIDIA合作的創新成果,並強調記憶體在AI生態系統中的核心角色。
他指出,從AI應用的角度來看,AI已經重新定義學習方式、自動駕駛、醫療研究等領域,這些應用高度依賴數據。
他分析,目前AI產業有兩大主要趨勢,分別是算力擴展的需求及AI模型的發展。GPU性能大約每兩年成長3倍,而記憶體的容量或效能成長為1.6倍,導致記憶體牆(Memory Wall)問題。
亦即處理器運算速度提升,遠快於記憶體存取速度的提升,使系統效能受限於記憶體存取瓶頸。
因此,美光持續投入創新,無論是晶片技術、封裝技術或新架構開發,目標是讓記憶體的性能代代提升,以應對算力的成長需求。
另一方面,近年來AI訓練與推理的效率提升,使得記憶體需求不斷增加,即便模型更加高效,但AI計算仍需要更高容量、更高頻寬的記憶體來支援運行。
美光此次在GTC大會,公布與NVIDIA聯合開發的SOCAMM,是一款模組化LPDDR5X記憶體,支援NVIDIA GB300 Grace Blackwell Ultra超級晶片。
相較傳統DDR5,SOCAMM尺寸縮減至三分之一,提供2.5倍頻寬、僅三分之一功耗,容量達128GB,目前該產品已量產。
另外,美光的HBM3E 12H 36GB則針對HGX B300及GB300 NVL72平台,頻寬達每秒1.2TB,容量較8H版本提升50%,功耗降低20%。HBM3E 8H 24GB應用於HGX B200及GB200 NVL72,全面支援NVIDIA Hopper與Blackwell系統。未來,美光將推出HBM4,效能預計超越HBM3E逾50%。