Tag Archives: KV 快取

KV 快取需求爆發！HBM、DRAM 容量有限，eSSD 成承接 AI 記憶體外溢關鍵

作者林妤柔|發布日期 2026 年 04 月 07 日 14:14 |

分類 AI 人工智慧 , 晶片 , 記憶體

在 AI 推理需求爆發、長上下文（Long Context）模型快速普及之下，記憶體產業正迎來結構性轉變。業界觀察，過去市場直覺認為 HBM 與 DRAM 將是最大受惠者，但實際上，隨著 KV 快取需求急速膨脹，真正承接需求的關鍵反而是 NAND / SSD，特別是企業級 SSD（eSSD）。繼續閱讀..

KV 快取記憶體省 6 倍！Google 新壓縮技術 TurboQuant 是什麼？為何說顛覆 AI 技術曲線？

作者林妤柔|發布日期 2026 年 03 月 26 日 10:48 |

分類 AI 人工智慧 , Google , 記憶體

先前輝達（NVIDIA）在論文中公開壓縮 KV 快取的新技術 KVTC，如今 Google 也在 Google 部落格中分享最新的「TurboQuant」技術，表示會以極致壓縮重新定義 AI 效率，而這項技術在業界掀起討論，大摩甚至以「另一個 DeepSeek 時刻」來表示這可能顛覆 AI 技術曲線。而這項技術到底是怎麼運作的？《科技新報》帶你一次了解這項新技術。繼續閱讀..

「另一個 DeepSeek 時刻！」TurboQuant 改變 AI 曲線，大摩談最關鍵影響

作者林妤柔|發布日期 2026 年 03 月 26 日 8:52 |

分類 AI 人工智慧 , Google , 記憶體

美系外資摩根士丹利（大摩）指出，這項壓縮演算法可讓 AI 推論速度提升 8 倍，同時記憶體使用量降低 6 倍。它作用於推論階段的 KV 快取（KV cache），因此能在單一 GPU 上產生更多輸出。繼續閱讀..

LLM 記憶體用量縮減 20 倍！NVIDIA 超狂新技術 KVTC，靠「KV 快取」翻轉記憶體瓶頸

作者林妤柔|發布日期 2026 年 03 月 21 日 8:40 |

分類 AI 人工智慧 , Nvidia , 記憶體

輝達（NVIDIA）研究人員提出一種新技術，可大幅降低大型語言模型在追蹤對話歷史時所需的記憶體，最高可達 20 倍，且不需修改模型本身。外界期待，隨著記憶體用量大幅下降，是否意味著有望降低對記憶體的依賴。繼續閱讀..

輝達從 KV 快取解記憶體瓶頸！Vera Rubin 採 ICMS 恐加劇 NAND 缺貨潮

作者林妤柔|發布日期 2026 年 01 月 13 日 11:01 |

分類 AI 人工智慧 , 半導體 , 記憶體

花旗銀行今（13 日）出具最新報告指出，隨著輝達（NVIDIA）採用推論情境記憶體儲存（Inference Context Memory Storage，簡稱 ICMS）等新技術，預期 NAND 供應短缺預期將進一步惡化。繼續閱讀..

突破 HBM 容量問題！華為 UMC 技術、NVIDIA 投資新創從「KV 快取」找新解

作者林妤柔|發布日期 2025 年 08 月 15 日 8:30 |

分類 AI 人工智慧 , 半導體 , 記憶體

生成式 AI 背後的數學運算極為複雜，而且在記憶體頻寬與容量方面存在嚴重瓶頸，因此許多公司不斷祭出解決方案，期盼能解決 HBM 記憶體容量不足問題。繼續閱讀..