日韓團隊提突破性 AI 記憶體設計，DRAM「側向立起」破解 HBM 散熱與頻寬瓶頸

韓國與日本研究團隊近日提出兩種全新的記憶體整合構想，試圖在不讓高頻寬記憶體（HBM）堆疊持續升高的情況下，提升容量與頻寬，同時緩解 AI 晶片最棘手的散熱壓力。兩項研究都在 6 月舉行的 2026 IEEE/JSAP VLSI Technology and Circuits Symposium 上發表，核心思路都是把 DRAM 晶片從傳統「向上堆疊」改為「側向立起」配置。

韓國國立蔚山科學技術院（UNIST）團隊提出的 Vertical-Die（V-Die）方案，將客製化 DRAM 晶片直立排列，移除晶片內的矽穿孔（TSV），改由底部邊緣 I/O 直接連接基板，並在相鄰晶片之間加入液冷通道。研究團隊表示，這種設計可讓連接數量達到 HBM4 的 4 倍，記憶體讀取時間縮短 37%；在模擬的 16 層堆疊、對應 H100 等級硬體與 GPT-3 規模工作負載下，V-Die 可達每秒 540 個 token，明顯高於 HBM4 的 296 個 token，首個 token 延遲也可降低 32%，約 24 毫秒。

日本東京大學團隊提出的 MOSAIC 則把重點放在製造可行性。由於晶片側放後，厚度些微差異就可能造成對位失準，研究人員改用感應耦合的無接觸晶片互連方式，讓資料透過微型線圈跨越極小間隙傳輸，不必依賴每個訊號焊墊都精準對上實體接點。團隊指出，原型介面最高可達每通道 4Gbps，並可在 DRAM-on-GPU 架構下將容量提升至 HBM4 的兩倍；相關硬體展示也顯示，這種堆疊方式在熱導率上可達傳統堆疊的 3 倍，且最多可增加 30% 記憶體容量。

這兩項研究都瞄準 AI 運算中日益嚴重的「記憶體牆」問題。現代加速器雖然算力驚人，但大型模型需要在記憶體與運算單元之間搬運大量資料，HBM 因此成為 AI 硬體的關鍵技術。不過，隨著堆疊層數增加，散熱更困難，TSV 也會占用可用面積，進一步推高訊號完整性與封裝成本。雖然 SK 海力士（SK hynix）、三星電子（Samsung）與美光（Micron）等業者也在改良 HBM4、iHBM 與 HBM5 散熱設計，但目前仍維持傳統向上堆疊架構。

▲ 採用 HBM 記憶體技術的顯示卡架構。

研究團隊強調，V-Die 與 MOSAIC 目前都還不是可立即取代商用 HBM 的成熟方案。V-Die 仍屬提案階段，正在開發原型驗證熱與電性表現；MOSAIC 雖已有概念性硬體，但尚未證明能擴展到商用 DRAM 所需的良率、成本與可靠度。不過，在 AI 記憶體供應與價格持續吃緊的背景下，任何能突破容量、頻寬與散熱限制的新方向，都受到業界高度關注。