4 日三星電子總裁暨記憶體業務主管 Jung-Bae Lee 博士(首圖)獲邀擔任半導體展大師論壇演講嘉賓,他以四個數字破題探討 AI 對全球的巨大影響力,接著探討因 AI 的未來與記憶體創新。
Jung-Bae Lee先在螢幕秀出1966、200、1600、800四個數字,讓與會者猜猜數字代表什麼意義?
第一個數字1966年,是指1966年麻省理工學院的維森鮑姆(Joseph Weizenbaum)博士開發出第一個聊天機器人ELIZA。然而快轉到2022年,基於GPT-3.5的ChatGPT被開發出來,其參數數量達到驚人的 1.75 億個。那時起,生成式人工智慧開始迅速改變世界。
200,則是2023年AI加速器進行AI模型訓練時,一天內在GPU和記憶體之間產生的資料量高達200ZB(Zettabyte),這個數字是2019年的六倍,未來這個差距還會持續擴大。
1600,是2024年預估HBM(高頻記憶體)的出貨量,將高達1600 million GB,也就是16億GB的容量規模,是2016~2023年八年總和的兩倍之多。
至於數字800,則是預估至2027年市場規模將高達800 billion美元,也就是將從2023年的5,300億美元急遽攀升至8,000億美元的市場產值;但2021年前市場產值要達5,000億美元花了四年。
然AI也為記憶體產業帶來新的挑戰,Jung-Bae Lee列出的三大挑戰包括AI模型訓練導致耗電量激增、記憶體頻寬,以及儲存容量已捉襟見肘。
想當然爾,三星也針對AI推出眾多記憶體系列產品,包括DDR、SSD等相關產品線,但當中最引人關注的是6月三星發表技術文獻,也就是前瞻性3D HBM封裝。
大師論壇Jung-Bae Lee也首度對外揭櫫3D HBM封裝架構,以及為AI時代解決記憶體產業面臨的諸多難題。
「創新記憶體架構類似V-NAND(三星採用雙次堆疊技術開發的記憶體),但需要單獨電容器,使堆疊技術更有挑戰性,我們正在開發超越2D架構的結構。」Jung-Bae Lee指著螢幕創新封裝架構說。
《財訊》報導,人工智慧模型不斷增長,對記憶體頻寬和容量的需求不斷增加,功耗問題也隨之增加,目前的架構很難有效地解決這些需求和問題。後來,三星透過對HBM的功耗進行分析,發現主要的功耗發生在HBM和GPU之間的資料傳輸期間。
因此三星考慮引入創新結構,透過HBM內放置加速器最大限度減少GPU和HBM資料傳輸。Jung-Bae Lee自豪說,2013年,三星率先成功量產V-NAND,創造歷史;如今,三星透過綁定V-NAND可做到千層以上堆疊,並16層以下HBM堆疊,正在開發稱為銅混合鍵和(HCB)的下代堆疊技術。
「生態系範圍內合作十分必須!」Jung-Bae Lee很肯定地說,三星擁有終極內部協作,為全球半導體市場唯一整體解決方案提供商,處理從設計和製造到封裝一條龍業務。
(本文由 財訊 授權轉載)