微軟發布更新版 DeepSpeed 庫,能以更少 GPU 做到「兆級」AI 模型訓練

作者 | 發布日期 2020 年 09 月 12 日 8:00 | 分類 AI 人工智慧 , GPU , Microsoft Telegram share ! follow us in feedly


微軟(Microsoft)11 日發布更新版 DeepSpeed 庫,此深度學習優化庫引進新方法訓練包含上兆參數的 AI 人工智慧模型,亦即模型內部可提供預測變量。微軟宣稱名為「3D 平行」(3D parallelism)的技術,可適應不同的工作負載需求,以便運行超大模型,同時平衡擴充效率。