Google 研究團隊日前推出 VaultGemma，這是全球首個從頭開始使用差分隱私（Differential Privacy，DP）技術訓練的大型語言模型（LLM），參數規模達 10 億。該模型基於 Google 的 Gemma 2 架構，採用 26 層 Decoder-only Transformer 及多查詢注意力機制，序列長度限制在 1,024 tokens，以平衡效能與計算需求。 繼續閱讀..