高階顯卡也能訓練模型，AI 研究人員提出「GaLore」減少記憶體用量 |
作者
陳 冠榮|發布日期
2024 年 03 月 11 日 18:26 |
|
隨著大型語言模型的規模越來越大，若對所有模型參數進行訓練，成本勢必非常高昂，研究人員設法減少記憶體使用量，其中新方法 GaLore（Gradient Low-Rank Projection）可讓訓練過程更省記憶體，甚至用家中電腦搭配高階顯示卡就能訓練。
獲輝達、微軟策略投資，信奉開源！法國獨角獸 Mistral AI 有何來頭？ |
|
作者
陳 冠榮|發布日期
2024 年 03 月 08 日 16:11 |
|
除了開發 ChatGPT、受到微軟大力支持的 OpenAI，AI 產業還有另一歐洲新星熠熠生輝，那是來自法國的 Mistral AI。
