輝達(NVIDIA)研究人員提出一種新技術,可大幅降低大型語言模型在追蹤對話歷史時所需的記憶體,最高可達 20 倍,且不需修改模型本身。外界期待,隨著記憶體用量大幅下降,是否意味著有望降低對記憶體的依賴。 繼續閱讀..
LLM 記憶體用量縮減 20 倍!NVIDIA 超狂新技術 KVTC,靠「KV 快取」翻轉記憶體瓶頸 |
| 作者 林 妤柔|發布日期 2026 年 03 月 21 日 8:40 | 分類 AI 人工智慧 , Nvidia , 記憶體 |











