高效訓練 LLM，GaLore 登上 Hugging Face 整合 Transformers 程式庫 |
作者
陳 冠榮|發布日期
2024 年 03 月 22 日 12:31 |
|
研究人員日前提出一種新的模型訓練策略 GaLore（Gradient Low-Rank Projection），在大型語言模型高效訓練方面向前邁出重要的一步，尤其可用消費級硬體，例如家用電腦的高階顯卡訓練數十億參數的模型，減少優化器狀態下的記憶體占用，為無法取得高階運算資源的研究人員開拓新視野。
高階顯卡也能訓練模型，AI 研究人員提出「GaLore」減少記憶體用量 |
|
作者
陳 冠榮|發布日期
2024 年 03 月 11 日 18:26 |
|
隨著大型語言模型的規模越來越大，若對所有模型參數進行訓練，成本勢必非常高昂，研究人員設法減少記憶體使用量，其中新方法 GaLore（Gradient Low-Rank Projection）可讓訓練過程更省記憶體，甚至用家中電腦搭配高階顯示卡就能訓練。
