Agentic AI 落地如何驅動記憶體需求指數成長？

隨著人工智慧代理（Agentic AI）從被動生成轉向自主決策，資料中心架構正迎來結構性變革。不同於傳統大型語言模型（LLM）高度依賴 GPU 進行矩陣運算，Agentic AI 涉及大量任務編排、工具調用與動態決策，這些複雜的「編排」工作使 CPU 負擔劇增。Arm 預估 AI 代理時代每百萬瓩所需的 CPU 核心數將成長四倍，促使 CPU 與 GPU 的配置比例從 1:8 趨向 1:1。為了支撐複雜的推理與長期記憶功能，Nvidia 與 Arm 相繼推出具備高頻寬記憶體共享技術的獨立 CPU，如支援 1.8 TB/s 傳輸速率的 Vera 晶片，以及最高支援 1PB 記憶體的液冷機櫃，正式引爆記憶體容量與頻寬的指數級需求。

記憶體需求的爆發源於 Agentic AI 對「情境感知」與「持續學習」的極致追求。為了克服模型失憶並提升決策精準度，企業必須導入語意快取（Semantic Cache）與大規模向量索引，這類技術極度依賴高容量記憶體來儲存長期記憶與中間推理狀態。從產業鏈來看，這不僅推升了 HBM 與 DDR5 的規格競爭，更促使雲端巨頭如 AWS、微軟加速自研晶片以優化記憶體存取效率。當 AI 代理具備接管作業系統與跨系統協作的能力時，算力瓶頸已從單純的運算速度轉移至資料吞吐量。這種「以記憶體為中心」的架構轉型，將重塑半導體供應鏈的獲利模式，使記憶體供應商在 AI 戰場的戰略地位從配角躍升為決定效能上限的關鍵。