混合專家（MoE）架構雖能降低運算需求，但由於所有專家權重必須常駐顯存，Transformer 逐字生成特性也對記憶體頻寬提出高要求；同時，長文本應用 KV Cache 隨對話長度線性增長，龐大模型權重與動態增長的 KV Cache 分別皆對記憶體需求大幅增加，AI 運算瓶頸已從算力不足，轉向記憶體容量受限。 繼續閱讀..