劉德音:半導體技術發展已走向隧道口 未來有更多可能性、不再受束縛
台積電(2330)董事長劉德音今(6)日受邀國際半導體展大師論壇,以「 Semiconductor Technology in the Era of Artificial Intelligence」為題分享AI演進及台積電在相關技術上發展。當中較特別的提到台積電發展光子引擎技術,也說明3D Blox助力設計人員自由進行3DIC系統設計。他更強調,過去50年,半導體技術發展就像走在隧道裡。現在已到隧道出口,未來充滿更多可能性,將不再受隧道束縛。
劉德音:CoWoS需求一年半後趕上、台積電AZ廠一定會做成功
劉德音一開始介紹,90 年代後期IBM 開發的深藍(Deep Blue)超級電腦擊敗了世界西洋棋冠軍加里·卡斯帕洛夫(Garry Kasparov),展現超級電腦技術突破性發展,也首次看到「高效能運算」有朝一日超越人類智慧的可能性。
接下來 10 年,AI應用於許多實際任務,如臉部辨識、語言翻譯、電影和商品推薦。再接下來的 10 年,AI 進步到另一個層次,能夠「匯整合成知識」。生成式AI可創作詩詞及藝術品、診斷疾病、撰寫報告和電腦代碼,甚至可設計出與人類打造的積體電路相媲美的相似產品。AI為人類的生活和工作帶來重大改變,也為半導體產業帶來龐大的商機。
他認為,AI 應用突破性發展來自三個因素,首先是高效深度學習演算法的創新;其次是透過網路取得的大量訓練資料;第三是半導體技術的發展提升了節能運算的能力。
劉德音說,AI發展過程中的幾個重要里程碑是由當時領先的半導體技術實現的。如深藍超級電腦採用0.13微米技術,深度神經網路初始圖像辨識採用45奈米,著名的AlphaGo採用28奈米技術,最初用於訓練的ChatGPT伺服器採用5 奈米技術,最近的ChatGPT 則是由採用台積電4奈米生產的伺服器提供支援。ChatGPT廣泛應用於日常生活中,展現了AI普遍使用於高效能運算技術,為社會中的每個人帶來助益。
劉德音認為,過去5年,AI訓練所需運算能力和記憶體容量增加了好幾個數量級。如GPT-3 模型需要超過5000 peta-FLOP-days(5E18 Flop-days)運算量和3兆位元組(3E12 位元組)記憶體容量。
但生成式AI應用所需的運算能力和記憶體仍在快速增長,半導體技術要如何以如此快的速度發展呢?劉德音提到,自積體電路發明以來,半導體技術一直在進行尺寸微縮,試圖將更多半導體元件(或電晶體)置入指甲般大小的晶片中。但現在整合技術已往上提升了一個層次,將許多晶片整合到一個緊密且大規模互連系統中。這是業界十多年來見證到半導體技術整合中的「典範轉移」。超越了2D微縮,進入到3D系統整合。
國際半導體展登場 吳田玉:台灣半導體該扛什麼責任「腦筋要清楚一點!」
劉德音提到,在人工智慧時代,系統能力與系統中整合的元件(或電晶體)數量成正比。可以利用中介層將整合系統的尺寸擴展到曝光光罩尺寸外,整合系統晶片比單晶片容納更多的元件。以台積電技術,CoWoS技術開發超級載體中介層能夠容納高達6個光罩曝光面積的運算晶片,以及12個 HBM3高頻寬記憶體堆疊。
劉德音認為,對AI來說,3D SoIC 是另一項越來越重要的關鍵技術。現在傳統的高頻寬記憶體(HBM)依賴矽穿孔(TSV)和焊接凸塊進行堆疊。台積電3D SoIC 可為HBM技術提供替代方案。在HBM測試結構中,有12層面對背堆疊(F2B)在低溫下接合,置於更大的基礎邏輯晶片之上,總厚度僅 600 微米。
他進一步說,藉由CoWoS或SoIC技術,系統整合晶片中的總元件(電晶體)數量遠大於一個單晶片容納的數量。AI 訓練使用的 GPU 晶片已達到了光罩曝光面積限制,其電晶體數量約為1000億個。電晶體數量增加趨勢的延續需要由多個與2.5D 或 3D 整合互連的晶片來執行運算。
他預告,十年內,多晶片GPU預估將由超過1兆個電晶體組成。透過互連間距微縮,將有足夠的空間容納更多比目前更大的SoIC互連數量。將互連密度進一步提高一個數量級或甚至更高並沒有基本限制。
不過,這些創新硬體技術如何對系統效能做出貢獻呢?劉德音分享,以伺服器 GPU能源效率(EEP)趨勢,過去15年中,半導體產業約每兩年將能源效率提高了三次,此趨勢必將延續下去,也會受到許多創新的驅動,包括新材料、元件和整合技術、極紫外光(EUV)和設計技術協同優化(DTCO)的進步、電路設計和系統架構設計。特別的是,CoWoS和SoIC發展將協助提高能源效率。此外,系統技術協同優化(STCO)等概念將變得越來越重要。
高效能運算系統由大量執行大型AI模型的晶片組成,高速有線通訊可能很快將會限制運算速度。目前光互連已用於連接資料中心的伺服器機架,光學介面可望很快與GPU和CPU配置在一起,為GPU到GPU通訊提供能量和區域效率擴展頻寬。因此,數百台伺服器將成為具有統一DRAM的單一巨型GPU。
劉德音透露,台積電緊湊型通用光子引擎(Compact Universal Photonic Engine)技術將扮演重要的角色,利用SoIC技術來整合在GPU和路由器交換器旁邊的積體電路(EIC)及積體光路(PIC)。「在AI應用的推動下,矽光子技術將成為半導體產業的關鍵技術。」
另外,劉德音回顧,1980年,加州理工學院的卡弗·米德教授(Prof. Carver Mead)和林恩·康威教授(Prof. Lynn Conway)發明了一種電腦輔助設計積體電路方法,使用一套設計法則來描述晶片微縮製程技術,因此電路設計人員無需具備太多製程技術知識即可輕鬆設計 VLSI 電路。
但現在3DIC領域,設計部分包括VLSI設計、系統架構設計和軟體/硬體優化設計。製程技術部分包括晶片微縮技術、3DIC 技術和先進封裝技術。業界需要一種描述語言來定義所述技術,並將其轉換為EDA技術檔,以便設計人員設計3DIC系統。
劉德音也介紹最近台積電推出3D Blox(一種硬體描述語言)的目的,使用通用解釋標準來描述各種3DIC技術。設計人員可自由進行3DIC系統設計,無須理會基本的3DIC技術。3D Blox已被現今大多數科技公司和EDA公司所接受。
劉德音最後提到,人工智慧時代,半導體技術是新AI能力和應用的關鍵推動力。新的半導體產品不再受限於晶片尺寸及新世代電晶體微縮。整合式AI系統涵蓋數量最大化的節能電晶體、專為運算工作負載設計的高效系統架構、以及軟體和硬體優化。
他有感,過去50年,半導體技術發展就像走在隧道裡一樣,前方有明確的道路,每個人都知道要做的是縮小電晶體。但現在已經抵達隧道出口。半導體技術開發日趨艱難,不過劉德音強調,「在隧道之外,未來充滿更多可能性,我們不再受隧道的束縛。」
延伸閱讀
國際半導體展6日開展 SEMI:2030年半導體產值邁向1兆美元
Yahoo財經特派記者 呂俊儀:資深財經媒體工作者,曾任採訪團隊主管,專訪過長榮集團創辦人張榮發、鴻海創辦人郭台銘,也歷經台積電創辦人張忠謀退休記者會等大事件,堅持產出最專業、富有洞見的新聞。