隨著大型語言模型的規模越來越大,若對所有模型參數進行訓練,成本勢必非常高昂,研究人員設法減少記憶體使用量,其中新方法 GaLore(Gradient Low-Rank Projection)可讓訓練過程更省記憶體,甚至用家中電腦搭配高階顯示卡就能訓練。
高階顯卡也能訓練模型,AI 研究人員提出「GaLore」減少記憶體用量 |
作者 陳 冠榮|發布日期 2024 年 03 月 11 日 18:26 | 分類 AI 人工智慧 |