KV 快取外溢 SSD，是否催生新儲存架構？

隨著生成式 AI 邁向長上下文時代，KV 快取需求呈線性暴增，傳統由 HBM 與 DRAM 組成的記憶體層級已難以負荷。輝達近期宣布在 Vera Rubin 平台導入「推論情境記憶體儲存」（ICMS）架構，正式將 SSD 納入 AI 運算的核心環節。這項轉變讓企業級 SSD 不再僅是冷資料儲存，而是轉身成為承接 KV 快取外溢的關鍵載體。透過 BlueField-4 DPU 驅動，單一系統可擴展至上百 TB 的儲存空間，解決了 GPU 內建記憶體容量受限的瓶頸，並帶動 16TB 以上大容量 TLC 與 QLC SSD 的強勁需求，預示著 AI 伺服器儲存架構的全面革新。

儲存架構的典範轉移背後，核心動機在於平衡運算效能與硬體成本。HBM 雖具備極高頻寬，但其物理容量限制與高昂造價，使其無法支撐數兆參數模型的長對話需求。將 KV 快取分級管理並卸載至 SSD，不僅能提升 5 倍的處理效率，更催生了如「高頻寬快閃記憶體」（HBF）與 AI 原生儲存等新興硬體類別。這將導致 NAND 產業結構性轉變，產能將大規模向企業級 SSD 傾斜，預期 2026 年起將引發嚴重的供應短缺。對於三星、SK 海力士及台廠控制晶片業者而言，這不僅是取代 HDD 的機會，更是重新定義資料中心儲存階層的主導權之爭。