隱私不再是效能的代價，Google VaultGemma 打破 AI 模型訓練的舊規則

Google 研究團隊日前推出 VaultGemma，這是全球首個從頭開始使用差分隱私（Differential Privacy，DP）技術訓練的大型語言模型（LLM），參數規模達 10 億。該模型基於 Google 的 Gemma 2 架構，採用 26 層 Decoder-only Transformer 及多查詢注意力機制，序列長度限制在 1,024 tokens，以平衡效能與計算需求。

差分隱私技術透過在訓練資料中加入經過精密調整的噪聲，確保模型無法記憶或洩露任何單一訓練樣本的敏感訊息，提供數學層級的隱私保障。VaultGemma是首款在全訓練週期實施差分隱私的方法，不同於以往只在微調階段運用DP的做法。

Google團隊針對差分隱私引入的挑戰，提出了創新的「DP縮放法則」，揭示了噪聲量、批次大小與模型性能間的關係，並採用大規模批次訓練以維持模型穩定性，同時開發出降低計算成本的訓練策略。VaultGemma在各項基準測試（如MMLU、Big-Bench）上的表現，與同規模非私有Gemma模型相當，突破了過去私有模型性能大幅下降的瓶頸。