Author Archives: 陳 冠榮

陳 冠榮

About 陳 冠榮

投入科技媒體逾 10 年,長期關注網路服務、電子商務、品牌電腦等議題。

高階顯卡也能訓練模型,AI 研究人員提出「GaLore」減少記憶體用量

作者 |發布日期 2024 年 03 月 11 日 18:26 | 分類 AI 人工智慧

隨著大型語言模型的規模越來越大,若對所有模型參數進行訓練,成本勢必非常高昂,研究人員設法減少記憶體使用量,其中新方法 GaLore(Gradient Low-Rank Projection)可讓訓練過程更省記憶體,甚至用家中電腦搭配高階顯示卡就能訓練。

繼續閱讀..