DeepSeek 新模型又有「蒸餾」痕跡,未經許可使用 Google Gemini 數據

作者 | 發布日期 2025 年 06 月 05 日 16:40 | 分類 AI 人工智慧 , ChatGPT , Gemini line share Linkedin share follow us in feedly line share
Loading...
DeepSeek 新模型又有「蒸餾」痕跡,未經許可使用 Google Gemini 數據

DeepSeek 稍早低調最新推理模型 R1-0528 數學和編程基準測試表現出色,但又引發以 Google Gemini 資料庫「蒸餾」訓練的質疑。研究員指出此模型語言模式和推理過程與 Gemini 2.5 Pro 極為相似,很可能是用「蒸餾」提升效能。

墨爾本開發者 Sam Paech 在社群媒體發文,有證據顯示 DeepSeek R1-0528 用 Gemini 輸出資料訓練。Paech 指出模型偏好的詞彙和表達方式與 Google Gemini 2.5 Pro 非常相似,「如果你想知道為什麼新 DeepSeek R1 聽起來有點不同,我認為他們可能從使用合成 OpenAI 資料轉向合成 Gemini 輸出。」

AI 評估工具 SpeechMap 匿名開發者也分享 DeepSeek R1-0528「軌跡」發現。軌跡是指某些先進 AI 模型在得出結論過程中顯露的推理步驟,DeepSeek R1-0528 推理過程與 Gemini 推理軌跡「驚人相似」。

「蒸餾」是 AI 模型開發常見技術,用大模型來訓練小模型,從更強大「老師」模型提取資料訓練較小「學生」模型。雖然這是常見做法,但 OpenAI 和 Google 服務條款都明確禁止客戶使用模型輸出建立競爭性 AI 系統。這並非 DeepSeek 首次被指用競爭對手模型訓練自家模型。2024 年 12 月,開發者發現 DeepSeek V3 模型經常說自己是 ChatGPT,暗示可能用 ChatGPT 對話紀錄訓練。AI2 非營利研究機構研究員 Nathan Lambert 表示,如果他是 DeepSeek,絕對會挑市場最好 API 模型建立大量合成資料。Lambert 說 DeepSeek 缺乏 GPU 資源但現金充裕。

主要 AI 公司都加強安全措施。OpenAI 4 月開始要求組織通過身分驗證才能存取某些模型,如支援國家政府核發身分證明,當然中國不在清單上。Google 最近開始「摘要化」經 AI Studio 開發者平台提供的模型軌跡,使訓練競爭模型更困難。Anthropic 5 月也宣布開始摘要化模型軌跡,因需保護「競爭優勢」。

DeepSeek R1-0528 多項基準測試表現優異,AIME 2025 數學測試準確率從 70% 提升至 87.5%,LiveCodeBench 編程測試表現從 63.5% 躍升至 73.3%,能與 OpenAI o3 和 Google Gemini 2.5 Pro 等頂級模型競爭。

(本文由 Unwire HK 授權轉載;首圖來源:Unsplash

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0
《關於請喝咖啡的 Q & A》