劉德音：AI 改變人類生活和工作，也為半導體帶來龐大商機

台積電董事長劉德音在 SEMICON Taiwan 2023 大師論壇演講時表示，十年內人工智慧（AI）會用於許多任務，如臉部辨識、語言翻譯、電影和商品推薦。再下個十年，AI 進步到另個層次，能「匯整合成知識」。生成式 AI 如 ChatGPT 會創作詩詞及藝術品、診斷疾病、撰寫報告和電腦代碼，甚至設計出積體電路類產品。AI 大大改變人類生活和工作，也為半導體產業帶來龐大商機。

劉德音說 AI 突破性發展有三因素。一是高效深度學習演算法創新；二是網路大量訓練資料；三是半導體發展提升節能運算。

AI 發展幾個重要里程碑是由領先半導體技術達成，如 IBM 超級電腦採 0.13 微米，深度神經網路原始圖像辨識採 45 奈米，知名 AlphaGo 採 28 奈米，最初訓練用 ChatGPT 伺服器採 5 奈米，最近 ChatGPT 採台積電 4 奈米晶片伺服器。ChatGPT 廣泛應用日常生活，展現 AI 高效能運算技術可助益每個人。

然過去五年，AI 訓練運算能力和記憶體容量增加好幾個等級，GPT-3 模型需超過 5,000 peta-FLOP-days（5E18 Flop-days）運算量和 3 兆位元組（3E12 位元組）記憶體。生成式 AI 運算能力和記憶體仍在增長，半導體技術要如何以同樣快速發展？

劉德音表示，自從積體電路發明，半導體技術一直在微縮，試圖將更多元件（或電晶體）置入指甲大小的晶片。現在整合技術又往上提升，可將許多晶片整合成一個緊密且大規模互連的系統，這是十多年來見證的半導體整合「典範轉移」，超越 2D 微縮，進入 3D 系統。

人工智慧時代，系統能力與整合元件（或電晶體）數量成正比。可用中介層將整合系統尺寸擴展到曝光光罩尺寸以外，整合系統晶片比單晶片容納更多元件。台積電基於 CoWoS 技術開發的超級載體中介層能容納高達 6 個光罩曝光面積運算晶片，以及 12 個 HBM3 高頻寬記憶體堆疊。

對人工智慧來說，3D SoIC 是另一項越來越重要的關鍵技術。現今傳統的高頻寬記憶體（HBM）依賴矽穿孔（TSV）和焊接凸塊堆疊。台積電 3D SoIC 技術為現今 HBM 技術提供替代方案。HBM 測試結構有 12 層面對背堆疊（F2B）低溫下接合，置於更大基礎邏輯晶片上，總厚度僅 600 微米。

藉 CoWoS 或 SoIC 技術，系統整合晶片的總元件（電晶體）數量遠大於一個單晶片可容納量。AI 訓練用 GPU 晶片已達光罩曝光面積限制，電晶體數量約 1,000 億個。電晶體數量增加趨勢的延續需要由多個與 2.5D 或 3D 整合互連的晶片執行運算。

十年內多晶片 GPU 將由超過 1 兆個電晶體組成。透過互連距離微縮，有足夠空間容納更多更大 SoIC 互連量。互連密度提高一個等級或更高並沒有基本限制。

劉德音強調，創新硬體技術如何貢獻系統效能？伺服器 GPU 能源效率（EEP）趨勢過去 15 年，半導體產業約每兩年提高三次，此趨勢必會延續，也會受許多創新驅動，包括新材料、元件和整合技術、極紫外光（EUV）和設計技術協同最佳化（DTCO）進步、電路設計和系統架構設計。特別的是，CoWoS 和 SoIC 發展協助提高能源效率，系統技術協同最佳化（STCO）等概念將越來越重要。