
前 OpenAI 技術長穆拉蒂(Mira Murati)所創立的 Thinking Machines Lab,外界對其挖角 OpenAI 研究團隊組新班底,以及如何利用 20 億美元新資金進行研究、開發產品充滿好奇。
Thinking Machines Lab 近日發表部落格文章,穆拉蒂的研究團隊首次公開其中一項專案內容:打造能重現回應的 AI 模型。
這篇標題名為《克服 LLM 推理中的非確定性》(Defeating Nondeterminism in LLM Inference)的文章,試圖釐清導致 AI 模型回應出現隨機性的根本原因。比方說,向 ChatGPT 重複提問一個問題多次,很可能得到截然不同的答案。如今 AI 業界普遍接受現有 AI 模型被視為非確定性系統,然而 Thinking Machines Lab 認為這是可以解決的問題。
文章作者、Thinking Machines Lab 研究員 Horace He 主張,AI 模型隨機性根本原因,來自推理處理過程將 GPU 核心(即在 NVIDIA 晶片內部運作的小程式)拼接運作的方式。他認為,透過仔細控制這層編排,就有可能讓 AI 模型變得更具確定性。
除為企業與科學家打造更可靠的回應以外,Horace He 也提到,讓 AI 模型生成可重現的回應,還能改善強化學習(Reinforcement Learning,RL)的訓練過程。強化學習是透過對正確回答進行獎勵來教導 AI,但若每次回應略有差異,訓練資料就會受到雜訊影響。讓 AI 回應更為一致,可使整個強化學習流程更順暢。值得一提的是,根據外媒 The Information 先前報導,Thinking Machines Lab 向投資人表示,計劃利用強化學習為企業量身打造 AI 模型。
Apologies that I haven’t written anything since joining Thinking Machines but I hope this blog post on a topic very near and dear to my heart (reproducible floating point numerics in LLM inference) will make up for it! https://t.co/IvqiiJivfi
— Horace He (@cHHillee) September 10, 2025
在矽谷創投 Andreessen Horowitz(a16z)領投下,Thinking Machines Lab 募得 20 億美元資金,這輪還有 NVIDIA、Accel、ServiceNow、思科、AMD、Jane Street 參與投資,使公司估值來到 120 億美元。
穆拉蒂在 7 月曾表示,Thinking Machines Lab 首款產品將在未來數個月內亮相,將對研發客製化模型的研究單位與新創團隊有所幫助。目前還不清楚產品細節為何,或者是否會採用上述研究以做到重現回應的可能性。
Thinking Machines Lab 也承諾,將定期發表文章、程式碼及研究資訊,期望「造福大眾,同時提升我們自己的研究文化」。相比之下,OpenAI 成立初期時也強調開放研究,如今營運規模擴大後反而走向封閉。
- Thinking Machines Lab wants to make AI models more consistent
- Mira Murati’s AI startup Thinking Machines valued at $12 billion in early-stage funding
(首圖來源:Mira Murati)