劍指輝達？Cerebras推出「號稱」全球最快AI推論解決方案

service@sunmedia.tw (商傳媒 SUN MEDIA)

商傳媒｜記者許方達／綜合報導

輝達在AI晶片市場的獨霸地位讓人虎視眈眈，在輝達公布財報之前，專門開發AI運算系統的Cerebras Systems搶先一步發表最新的「Cerebras Inference」AI推論工具平台，在Llama 3.1 8B模型上每秒可生成1800個Token，在Llama 3.1 70B模型上每秒可生成450個Token，號稱在AI推理方面，比起輝達旗下大型雲端解決方案快上20倍，且價格更便宜、只有輝達GPU的五分之一。

圖片來源：Cerebras

《金融時報》分析，輝達諸多競爭對手正另闢蹊徑，企圖攻破輝達在AI晶片市場的壟斷壁壘，包括Cerebras、d-Matrix和Groq等公司，目前均專注在更便宜且更快速的專業產品開發。Cerebras於本月稍早申請首次公開募股，預計在今年下半年上市。

「Cerebras Inference」的AI推論工具平台，基於旗下AI加速系統Cerebras CS-3，此款晶片尺寸是輝達H100的57倍，核心數量是H100的52倍，晶片記憶體是H100的800倍，記憶體頻寬更是H100的7000倍。Cerebras獨特的晶圓設計，能在單個晶片上集成44GB SRAM，也就是將記憶體直接內建在晶片晶圓中，以突破記憶體牆的瓶頸。

Cerebras執行長費德曼(Andrew Feldman)對輝達下戰帖，「打敗800磅大猩猩的方法就是向市場推出更好的產品，根據我的經驗，更好的產品通常會獲勝，而且我們已經從輝達那裡搶到有意義的客戶」。

賽斯(Sid Sheth)於2019年創立的d-Matrix公司，也計畫今年底推出自己的「Corsair」平台，d-Matrix打算將旗下產品與Triton等開放軟體配對，以加速與輝達展開對決。另一家AI新創公司Groq本月從由貝萊德BlackRock Private Equity Partners領投的融資中籌集到6.4億美元，公司估值也達到28億美元。

Groq的產品是「語言處理單元(LPU)」，公司曾聲稱「在Groq上運行大模型的推理速度，相較輝達GPU高出10倍之多」，其突出優勢點是在加快聊天機器人的回應速度，但綜合能力考量，可能還是與輝達A100、H100等多款GPU存在落差。

相關內容

  • 勁敵出現？ 傳「這家晶片」比輝達快20倍 超微、英特爾也吃灰

    在AI領域獨佔鰲頭的輝達（Nvidia），傳出遭遇勁敵！綜合外媒報導，總部位於加州的新創公司Cerebras Systems推出一款新型AI晶片，據稱速度比輝達GPU快20倍，連超微（AMD）和英特爾（Intel）都望塵莫及，令外界高度關注。

    47

  • 出現勁敵了！加州新創公司開發新晶片　比輝達快20倍

    繪圖晶片大廠輝達（Nvidia）專為新型資料中心所設計，處理龐大的數據以實現最大能源效率的產出。這些資料中心能夠執行各種工作負載，包括人工智慧、資料分析、超大規模雲端應用程式和高效能運算 (HPC)。不過輝達似乎出現勁敵了！總部位於加州的新創公司Cerebras Systems最近推出Cerebras Inference，據稱速度比輝達GPU快20倍，連超微和英特爾也望塵莫及，引發整個科技領域的關

    26

  • 《大陸股市》陸股放量齊揚 智譜AI概念續強

    【時報-台北電】A股今(29)日三大指數小幅開高，智譜AI概念漲幅居前。開盤15分鐘滬深兩市成交額突破5000億，較昨日此時放量超400億。滬指報3328.09點，漲0.18%；深成指報10706.02點，漲0.19%；創指報2231.82點，漲0.12%。 智譜AI概念股開盤延續漲勢，思美傳媒、正和生態、豆神教育漲停，首都在線、並行科技漲超10%。 房地產板塊發力，光大嘉寶、市北高新、萬通發展、華夏幸福相繼漲停。 軍工股震盪走低，觀典防務跌超8%，安達維爾、航新科技、中國海防、廣哈通訊、四川九洲等跟跌。 鋼鐵板塊盤初走低，盛德鑫泰跌超5%，武進不銹、西寧特鋼、三鋼閩光、山東鋼鐵、金嶺礦業、首鋼股份跟跌。（編輯：邱致馨）

  • 統一FANG+(00757)近兩年績效173%居ETF冠軍，未來仍具成長潛力！

    757)在今年以來仍為海外型ETF漲幅第一名，自2023年至今也還是台股ETF中的績效王，在得AI得天下的時代中，00757坐擁美國十大科技巨頭，現在投資00757還來的及嗎？本篇將針對這檔ETF來做一些介紹與未來產望解析。 《ETF存股計劃》內建存股計算機，免費幫你計算多久存到第一桶金！ ...

  • 超微財測讓投資人失望 盤前股價重挫8%

    （中央社紐約30日綜合外電報導）超微（Advanced Micro Devices）的營收預測未能讓期待受惠於AI（人工智慧）熱潮的投資人驚豔，超微今天盤前股價重挫8%。

  • 歐盟監管機構：輝達須獲當局批准才能收購AI新創公司Run:ai

    歐盟執委會周四 (31 日) 表示，美國晶片製造商輝達 (Nvidia)(NVDA-US) 收購人工智慧 (AI) 新創公司 Run:ai 必須要先獲得歐盟當局認可，因為這筆交易案可能有害歐洲市場競爭。

  • OpenAI揪博通拚晶片 台積製造

    OpenAI為了減輕AI支出壓力，日前傳出有意打造晶圓廠自行製造AI晶片的消息，但路透最新消息指出OpenAI基於成本與時間考量放棄自行製造，將和博通合作開發AI晶片，預計2026年由台積電製造。此外，OpenAI也將向超微採購晶片，分散晶片供貨來源。

  • 影響力教育基金會攜手新北高中校長　探討下一代的「教育AI大未來」！

    在人工智慧（AI）技術快速發展的時代，教育界迎來了嶄新的契機與挑戰。影響力教育基金會於10月21日舉辦「教育A […]

  • 《大陸股市》三大指數走軟、創指跌逾2% AI強整天

    【時報-台北電】三大指數集體調整，滬指收跌超1%，創指跌超2%。收盤，滬指報3286.41點，跌1.08%；深成指報10543.33點，跌1.33%；創指報2177.31點，跌2.32%。盤面上，智譜AI、種植業、貴金屬板塊漲幅居前，次新股、影視院線、煤炭開採加工板塊跌幅居前。 板塊方面，智譜AI概念持續強勢，豆神教育、思美傳媒等盤中漲停。 AI手機概念走高，格林精密、水晶光電雙雙漲停。 福建自貿區概念午後拉升，平潭發展、廈門信達等拉升漲停。 煤炭股走低，蘭花科創領跌。 鋼鐵板塊陷入調整，盛德鑫泰跌幅居前。 影視院線板塊走弱，唐德影視跌超9%。 整體來看，個股呈普跌態勢，下跌個股超4,200檔。（編輯：邱致馨）

  • Google台灣前董事總經理簡立峰：AI 時代 科技業最好機會

    Google台灣前董事總經理簡立峰昨（29）日表示，AI模型和推論能力更加進步，開始出現許多潛在商機，AI在各場景應用與...

  • 市場放大檢視AI成效？微軟預告雲端增長放緩、盤後股價挫低

    商傳媒｜記者許方達／綜合外電報導全球科技巨頭在AI軍備競賽中豪擲重本投資，微軟（Microsoft）今年持續加碼對AI基礎設施的支出，然而其數據中心容量限制卻成為頭號新挑戰。微軟最新財報顯示，儘管本季度的AI支出將顯著增加，但雲端業務Azure的增速放緩，意味即便重金投資AI也無法完全克服硬體基礎設施的瓶頸。微軟這季財報確實優於華爾街預期，但雲端業務增速放緩的隱憂導致其盤後股價下挫逾3.6%。微軟Azure在截至9月底財年的第一季度收入增長達33%，略高於分析師預期；但公司預估第二季度的Azure增速將下滑至31%-32%，低於市場普遍預期的32.25%，顯示AI帶來的增長無法完全抵消整體雲端增速放緩的阻力。 微軟負責投資者關係的副總裁艾弗森（Brett Iversen）也坦承，「受限於現有數據中心的容量限制，公司將無法在下半財年之前解決AI擴展所面臨的瓶頸」。根據Visible Alpha的數據顯示，微軟本季度Azure的增長中，有12個百分點來自AI貢獻，略高於前一季度的11個百分點。儘管AI的推動作用增強，但數據中心擴容的進度仍難以跟上增長需求，這使得公司面臨更高的基礎設施投入壓