劉德音:AI 改變人類生活和工作,也為半導體帶來龐大商機

作者 | 發布日期 2023 年 09 月 06 日 19:20 | 分類 AI 人工智慧 , 半導體 , 封裝測試 line share follow us in feedly line share
劉德音:AI 改變人類生活和工作,也為半導體帶來龐大商機


台積電董事長劉德音在 SEMICON Taiwan 2023 大師論壇演講時表示,十年內人工智慧(AI)會用於許多任務,如臉部辨識、語言翻譯、電影和商品推薦。再下個十年,AI 進步到另個層次,能「匯整合成知識」。生成式 AI 如 ChatGPT 會創作詩詞及藝術品、診斷疾病、撰寫報告和電腦代碼,甚至設計出積體電路類產品。AI 大大改變人類生活和工作,也為半導體產業帶來龐大商機。

劉德音說 AI 突破性發展有三因素。一是高效深度學習演算法創新;二是網路大量訓練資料;三是半導體發展提升節能運算。

AI 發展幾個重要里程碑是由領先半導體技術達成,如 IBM 超級電腦採 0.13 微米,深度神經網路原始圖像辨識採 45 奈米,知名 AlphaGo 採 28 奈米,最初訓練用 ChatGPT 伺服器採 5 奈米,最近 ChatGPT 採台積電 4 奈米晶片伺服器。ChatGPT 廣泛應用日常生活,展現 AI 高效能運算技術可助益每個人。

然過去五年,AI 訓練運算能力和記憶體容量增加好幾個等級,GPT-3 模型需超過 5,000 peta-FLOP-days(5E18 Flop-days)運算量和 3 兆位元組(3E12 位元組)記憶體。生成式 AI 運算能力和記憶體仍在增長,半導體技術要如何以同樣快速發展?

劉德音表示,自從積體電路發明,半導體技術一直在微縮,試圖將更多元件(或電晶體)置入指甲大小的晶片。現在整合技術又往上提升,可將許多晶片整合成一個緊密且大規模互連的系統,這是十多年來見證的半導體整合「典範轉移」,超越 2D 微縮,進入 3D 系統。

人工智慧時代,系統能力與整合元件(或電晶體)數量成正比。可用中介層將整合系統尺寸擴展到曝光光罩尺寸以外,整合系統晶片比單晶片容納更多元件。台積電基於 CoWoS 技術開發的超級載體中介層能容納高達 6 個光罩曝光面積運算晶片,以及 12 個 HBM3 高頻寬記憶體堆疊。

對人工智慧來說,3D SoIC 是另一項越來越重要的關鍵技術。現今傳統的高頻寬記憶體(HBM)依賴矽穿孔(TSV)和焊接凸塊堆疊。台積電 3D SoIC 技術為現今 HBM 技術提供替代方案。HBM 測試結構有 12 層面對背堆疊(F2B)低溫下接合,置於更大基礎邏輯晶片上,總厚度僅 600 微米。

藉 CoWoS 或 SoIC 技術,系統整合晶片的總元件(電晶體)數量遠大於一個單晶片可容納量。AI 訓練用 GPU 晶片已達光罩曝光面積限制,電晶體數量約 1,000 億個。電晶體數量增加趨勢的延續需要由多個與 2.5D 或 3D 整合互連的晶片執行運算。

十年內多晶片 GPU 將由超過 1 兆個電晶體組成。透過互連距離微縮,有足夠空間容納更多更大 SoIC 互連量。互連密度提高一個等級或更高並沒有基本限制。

劉德音強調,創新硬體技術如何貢獻系統效能?伺服器 GPU 能源效率(EEP)趨勢過去 15 年,半導體產業約每兩年提高三次,此趨勢必會延續,也會受許多創新驅動,包括新材料、元件和整合技術、極紫外光(EUV)和設計技術協同最佳化(DTCO)進步、電路設計和系統架構設計。特別的是,CoWoS 和 SoIC 發展協助提高能源效率,系統技術協同最佳化(STCO)等概念將越來越重要。

高效能運算系統由大量執行大型 AI 模型的晶片組成,高速有線通訊可能很快限制運算速度。而光互連已用於連接資料中心伺服器機架,光學介面可望很快與 GPU / CPU 配在一起,為 GPU 到 GPU 的通訊提供能量和區域效率擴展頻寬。因此,數百台伺服器將成為具有統一 DRAM 的單一巨型 GPU。

台積電緊湊型通用光子引擎(Compact Universal Photonic Engine)技術將扮演重要角色,利用 SoIC 整合 GPU 和路由器交換器旁邊的積體電路(EIC)及積體光路(PIC)。AI 應用推動下,矽光子技術將成為半導體產業的關鍵技術。

劉德音指出,1980 年加州理工學院卡弗·米德教授(Prof. Carver Mead)和林恩·康威教授(Prof. Lynn Conway)發明電腦輔助設計積體電路的方法,使用整套設計法則描述晶片微縮製程,因此電路設計人員無需具備太多製程知識即可輕鬆設計 VLSI 電路。

現今 3DIC 領域,設計包括 VLSI 設計、系統架構設計和軟硬體最佳化。製程部分包括晶片微縮技術、3DIC 技術和先進封裝。同樣的,需要一種語言定義技術,並轉為 EDA 技術文件,以便設計人員設計 3DIC 系統。

這正是最近台積電推出 3D Blox(硬體描述語言)的目的,使用通用解釋標準描述各種 3DIC 技術。設計人員可自由設計 3DIC 系統,無需理會基本 3DIC 技術。3D Blox 已被多數科技公司和 EDA 公司接受。

人工智慧時代,半導體技術是新 AI 能力和應用的關鍵推動力。新半導體產品不再受限於晶片尺寸及新世代電晶體微縮。整合式 AI 系統涵蓋數量最大化的節能電晶體、專為運算工作負載設計的高效系統架構、軟體和硬體最佳化。

(首圖來源:科技新報)

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0
《關於請喝咖啡的 Q & A》