輝達GPU降速影響?專家:陸AI訓練兩三年後撞牆

MoneyDJ新聞 2023-08-22 11:49:49 記者 郭妍希 報導

受到華盛頓當局祭出出口管制影響,輝達(Nvidia Corp.)決定將AI晶片降級、供應中國所需。分析人士直指,輝達AI晶片雖降級、效能依舊優於其他替代品,因此中國市場依舊需求若渴,但美國出口管制未來恐會產生更為重大的影響。

英國金融時報21日報導,輝達科學長Bill Dally指出,最先進AI系統的訓練要求大概每6~12個月就會加倍,也就是說,中國與全球其他地區販售的晶片差距會迅速拉大。

華盛頓當局去(2022)年發布的出口管制對晶片運算、傳輸資料的速率設限,此乃訓練大型AI模型的關鍵。訓練AI模型需要大量數據,得將許多晶片連結在一起。輝達決定調降當時最先進GPU「A100」的資料傳輸速度因應、專為中國推出「A800」,今年也推「H100」中國降級版「H800」,傳輸資料速率僅400 GB/s、低於美國設定的600 GB/s上限。H100資料傳輸速率高達900 GB/s。

傳輸速率下降,意味著中國晶片用戶須花費更長的時間才能訓練好AI系統,這會消耗更多電力、增加成本。然而,即便面臨這些限制,H800在中國的銷售依舊火熱。許多中國科技業者依舊處於大型語言模型(LLM)的預訓練(pre-training)階段,這要消耗許多GPU算力、對資料傳輸的要求也高。中國AI工程師透露,輝達800系列GPU的傳輸速率雖降級,卻依舊領先其他替代品。

廣告

業界專家相信,中國企業可能很快就會面臨800系列晶片的互聯速率限制,讓他們無法應付訓練AI益發龐大的數據量。86Research上海分析師Charlie Chai表示,這就好像在壅塞的公路旁興建大量工廠,即便企業能設法適應降級版晶片,也將在接下來兩三年遇到問題。

Tom`s Hardware 7月曾引述快科技報導,供應鏈消息顯示,輝達特供中國的A800和H800 GPU,從原來的12萬人民幣左右,變成了現在25萬甚至30萬,甚至有高達50萬一片,非常誇張。

許多通路網站顯示,輝達定價高昂的GPU仍舊處於缺貨狀態。根據信息技術產品和服務供應商CDW網站,H100報價高達30,602.99美元,但等待到貨時間已從7月稍早的長達4~6週縮減至5~7天。

(圖片來源:輝達)

*編者按:本文僅供參考之用,並不構成要約、招攬或邀請、誘使、任何不論種類或形式之申述或訂立任何建議及推薦,讀者務請運用個人獨立思考能力,自行作出投資決定,如因相關建議招致損失,概與《精實財經媒體》、編者及作者無涉。

延伸閱讀:

聯發科宣布運用Meta大型語言模型

霸榮:輝達H100扣除材料成本的利潤逼近1000%

資料來源-MoneyDJ理財網