AI晶片如何癱瘓「美國電網」？微軟工程師爆料：只要10萬片就完了

吳美觀

全球掀起人工智慧（AI）熱潮，也讓AI進化成吃電巨獸！一位微軟工程師爆料，如果在美國同一個州部署超過10萬片H100 GPU高階晶片，就會導致電網癱瘓。顯見AI運算速度愈快，電力供應需求暴增將成為令人擔憂的問題。

財聯社報導，人工智慧聊天機器人ChatGPT開發者OpenAI下個版本GPT-5模型尚未面世，似乎已開始著手訓練GPT-6，不過電力可能成爲一個「卡脖子」難題。

AI新創公司OpenPipe創辦人Kyle Corbitt在社群平台X上透露，自己最近與一位負責GPT-6訓練集群項目的微軟工程師討論新版本中遇到的問題，這位工程師抱怨，不同區域GPU之間部署infiniband（無線頻寛）級別鏈接，實在非常痛苦。

Corbitt接著問「為何不將訓練集群集中同一個區域？」這位微軟工程師回答，有嘗試過，但是如果在一個州放置超過10萬片H100 GPU，電網就會癱瘓。

10萬片H100是什麼概念？據市場調查機構Factorial Funds的報告顯示，OpenAI的文字生成影片模型Sora在高峰期間需要72萬片H100，依該工程師說法，這個數量足以讓美國7個州的電網崩潰。

Corbitt指出，隨著越強大的AI製造出來，開發這些模型的成本也越來越高，並面臨電力供應所帶來環境挑戰。

OpenAI 執行長奧特曼（Sam Altman）曾為AI的電力需求「叫苦」。在年初的達沃斯論壇上，他表示，AI發展需要能源方面的突破，AI將帶來遠超預期的電力需求。

廣告

有數據顯示，ChatGPT每天需要消耗超過50萬千瓦時的電力，用於處理約2億個用戶請求，相當於美國家庭日用電量的1.7萬多倍；至於搜尋巨頭谷歌，若在每次用戶搜尋中都調用AIGC，年耗電量將增至290億千瓦時，這甚至高於肯亞、瓜地馬拉等國1年的用電量。

更多中時新聞網報導
45元買CITY CAFE爽中千萬！小七開出特別獎發票 門市曝光
世界工廠2.0？越南缺電經濟損失450億 外商難忍日本想走了
他們不喊AI...塑化股跌出性價比！台塑4寶、東聯、台達化等11檔 法人精選

相關內容

  • 《半導體》記憶體價格H2漲幅更陡？十銓大讚營運向上

    【時報記者葉時安台北報導】十銓(4967)周一下午舉行線上法說會，由公司總經理陳慶文主持，周一股價率先以104元漲停價鎖在歷史新高價作收，外資連4天買超力挺。法說會中，十銓陳總說明，DDR5價格持續走強，每個月漲幅約5-10%，而DDR4預估一兩季庫存去化時間，後續可望跟隨DDR5的漲勢腳步。展望今年度記憶體價格，十銓認為，雖然整體實際現貨需求尚未全面回歸，不過看好AI熱潮以及景氣逐漸好轉，加上這一年來調整庫存跟產能，供需逐步回歸正常，兩大記憶體現貨價拉升，今年第二季第三季旺季甚至第四季並未減緩價格往上現象，樂觀看待現貨市場價格。公司看好後續換機潮，相當看好往後營運表現。 十銓今年第一季產品營收占比，DRAM升至65.54%、FLASH降至28.27%、其他占4.2%。十銓兩大產品均有成長，公司持續朝著高容量高速度方向著墨，聚焦中高階。 十銓目前庫存水位方面，目前DRAM庫存約4-5個月，NAND約2.5個月。 DRAM現貨價趨勢，DDR5持續走強，每個月漲幅約5-10%，DDR4則在去年第三季落底後逐步走揚，十銓說明，以原廠角度，DDR5與HBM產線重疊，且HBM產出成本跟時間是DD

  • AI雲端產品助攻 鴻海4月營收近5109億元創同期新高

    （中央社記者鍾榮峰台北2024年5月5日電）鴻海(2317)今天下午公布4月自結合併營收新台幣5108.96億元，創歷年同期新高，主要受惠AI雲端產品顯著成長；累計前4月營收1兆8330.59億元，年減3.11%。展望第2季，鴻海重申，第2季營運預估將呈現季增、年增表現。鴻海自結4月合併營收5108.96億元，較3月4475.4億元增加14.16%，比2023年同期4292.19億元成長19.03%，是歷年同期新高。從4大產品線來看，鴻海指出，4月電腦終端因客戶拉貨動能較大，比3月強勁成長。消費智能較3月顯著成長，元件及其他產品主要業務相關零組件出貨增加，雲端網路因人工智慧（AI）拉貨動能增加顯著成長。若與2023年同期相比，鴻海指出，4月元件及其他產品強勁成長，雲端網路因AI產品拉貨動能增加，抵銷網通產品庫存調整影響，較去年同期強勁成長。4月消費智能因客戶拉貨動能較大，較去年同期顯著成長，電腦終端受惠新產品上市，較去年同期強勁成長。整體來看，鴻海4月四大產品均顯著月增與年增，創同期新高。累計今年前4月鴻海自結營收1兆8330.59億元，較去年同期1兆8919.1億元減少3.11%。從

    2

  • 摩根大通發表旗下AI工具 協助推薦投資標的

    不只是生成文字、圖像以及影片，OpenAI的GPT-4現在也準備跨足金融產業。摩根大通推出IndexGPT人工智慧工具，將協助客戶推薦符合需求的投資標的。

  • 史上最強4月 鴻海Q2營收 有望雙增

    鴻海5日公布4月合併營收5,109億元，月增14.16％、年增19.03％，寫歷年同期新高；今年前四個月累計營收1.83兆元，年減3.11％。展望未來營運，鴻海指出，第二季仍屬傳統淡季，主要產品進入新舊產品轉換期，能見度大約與目前市場預期相當，預估將呈現季增、年增表現。

  • 巴菲特示警 AI詐騙恐是史上最成長行業

    有「股神」稱號的著名投資家巴菲特4日在旗下波克夏海瑟威公司（Berkshire Hathaway）年度股東大會上談及人工智慧（AI）時表示，自己對AI技術感到緊張，並警告AI詐騙恐成為史上最大的「成長行業」。

    9

  • AI軍備競賽 專家看好台供應鏈

    下月登場的台北國際電腦展將以「AI串聯、共創未來」為主軸，聚焦全球AI最新技術與產業趨勢，雖然資本市場已為AI題材瘋狂過數個波段...

  • 巴菲特：AI像核彈 是雙面刃

    「股神」巴菲特（Warren Buffett）在波克夏海瑟威股東大會上的談話中，關注人工智慧（AI）帶來的危險性，他將AI譬喻成核武，若不當使用恐怕會對社會造成毀滅性後果。巴菲特並指出，AI恐已推動詐騙產業，促使其成為大型「成長產業」。

  • 《各報要聞》巴菲特示警 AI詐騙恐是史上最成長行業

    【時報-台北電】有「股神」稱號的著名投資家巴菲特4日在旗下波克夏海瑟威公司（Berkshire Hathaway）年度股東大會上談及人工智慧（AI）時表示，自己對AI技術感到緊張，並警告AI詐騙恐成為史上最大的「成長行業」。 美媒報導，巴菲特4日在美奧瑪哈市（Omaha）參加波克夏海瑟威控股的股東大會時提及AI，將AI比喻為原子彈，若使用不當，兩者都可能對社會造成毀滅，「我們發展核武時，相當於釋放了瓶子裡的精靈，人工智慧也是如此，它已經部分離開瓶子了。」而且，他不知道有什麼方法，能讓精靈回到瓶子裡。 巴菲特坦言，AI最近的一些進展，讓他有一些緊張，AI技術創建的圖片和影像幾乎無法辨別真偽。因為近來他也看到自己的臉和聲音被AI仿造。巴菲特說，連他的太太和子女也很難辨別真偽，若有犯罪者利用來索取現金，他很可能會把錢寄給犯罪者。 巴菲特表示，若詐騙犯把握這項技術，AI對社會造成的危害可能大於好處。詐騙犯可以利用AI假冒他人、向被假冒者的親人行騙，「想想詐騙犯的潛力，如果我有興趣投資於詐騙產業，這就會是有史以來成長最快的產業，而且某程度而言會是AI推動的。」 在巴菲特的波克夏海瑟威公司，也已開

  • 4月出口佳 有望連六紅

    財政部8日將公布4月出口統計。人工智慧（AI）為今年第1季敲響景氣復甦訊號，財政部以「含苞待放」樂觀看待4月將出現的連六...

  • 巴菲特警告：AI對詐騙犯的好處可能比對社會還大

    股神巴菲特（Warren Buffett）4日參加旗下控股公司波克夏海瑟威（Berkshire Hathaway）股東年度大會時表示，人工智慧（AI）可能有重大好處，但危害也可能相當大，他無法預測AI對世界的最終影響會是如何，不過AI對投資詐騙犯的好處，可能比對整個社會更大。

    166

  • 股神示警！巴菲特以「核彈」比喻AI　恐將帶來毀滅性後果

    有「股神」之稱的美國投資家巴菲特，在今年的股東大會中，將AI比喻成20世紀所創造的核彈。巴菲特稱如果使用不當，可能會給社會帶來毀滅性的後果。 巴菲特指出，20世紀，當人類開發出核武之後，人類就把

    3