中國 AI 新創 DeepSeek（DS）1 月推出號稱成本極低的先進 AI 模型，震撼全球市場，也讓投資人開始嚴格審視美國科技巨擘動輒數百億美元的資本支出。史丹佛大學、華盛頓大學的 AI 研究人員，最近成功以不到 50 美元的雲端運算額度訓練了一款 AI「推理」（reasoning）模型「s1」。
TechCrunch、Mashable 6日報導，根據研究人員發表的論文，在數學與編程測試方面，s1的表現跟OpenAI「o1」、DeepSeek「R1」等先進AI推理模型類似。s1模型目前可在GitHub取得，並附有用於訓練的數據和程式碼。
s1的研究團隊表示，他們一開始是用現成的基礎模型，然後透過「蒸餾」（distillation）技術微調。蒸餾是以另一款AI模型的回答進行訓練，從而提取「推理」能力的過程。
研究人員說，s1是以Google其中一項推理模型──「Gemini 2.0 Flash Thinking Experimental」進行蒸餾的。柏克萊大學研究人員1月才剛以相同的蒸餾做法創造一款AI推理模型，當時他們的訓練成本約為450美元。
負責s1的研究人員希望找到最簡單的方式，達成強大的推理效能及「測試時間縮放」（test-time scaling，即讓AI模型在回答問題前進行更多思考）。這正是OpenAI「o1」完成的一些突破性成果，DeepSeek及其他AI實驗室正試圖透過各種技術進行複製。
s1論文顯示，透過一種名為「監督式微調」（supervised fine-tuning，SFT）的過程，推理模型可運用規模相對較小的資料庫進行蒸餾。相較於DeepSeek用來訓練R1的大規模強化學習（large-scale reinforcement learning）方法，SFT通常更便宜。
Google透過旗下「Google AI Studio」平台，讓用戶免費存取Gemini 2.0 Flash Thinking Experimental，但每日有額度限制。
s1是以阿里巴巴開放免費下載的AI模型「通義千問」（Qwen）為基礎。為了訓練s1，研究人員精心挑選了1,000個問題，再搭配Gemini 2.0 Flash Thinking Experimental對問題的回應和背後思考的過程集成資料庫。
論文顯示，s1是以16顆輝達「H100」繪圖處理器（GPU）進行訓練，花費不到30分鐘。以某些AI標竿來看，s1的效能強大。參與這項專案的史丹佛大學研究員Niklas Muennighoff透露，如今他能以大約20美元租到這些必要的算力。
根據論文，研究人員使用了一個的技巧讓s1自我檢查並延長其「思考」的時間：他們指示它「等待」。在s1推理過程中加入「等待」這個詞，可幫助模型得出略微準確一些的答案。
（本文由 MoneyDJ新聞 授權轉載；首圖來源：pixabay）
科技新報粉絲團
加入好友
訂閱免費電子報
