AI 模型學會思考，研究人員提出 Quiet-STaR 演算法

人類天生具有推理能力，能夠讀懂字裡行間之意，推斷未陳述的資訊，這對解決問題而言相當重要。來自史丹佛大學和 Notbad AI, Inc. 研究人員以「Quiet-STaR」教導 AI 模型，在回應提示之前進行思考，就像人類說話前大多會考慮要說些什麼一樣。

本月發表的《Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking》論文，所提出的 Quiet-STaR 為 STaR（Self-Taught Reasoner）延伸版本，以大量網路資料進行訓練，學習在每個語意片段（token）產生解釋未來文字的依據，進而提升預測的準確性。

目前大眾使用的聊天機器人及其背後模型會給出人類最想聽到的答案，然而模型並不會停下來思考一個問題可能存在多種答案，若以人類來比喻，會形容成一個人直接脫口而出答案。

研究人員以 Quiet-STaR 為模型提供一種在回答之前進行思考的方法，聲稱模型能以更近似人類的方式回答問題。史丹佛大學和 Notbad AI, Inc. 研究人員將其技術稱做 Quiet-STaR，是希望能「安靜」運用 STaR。

簡單來說，Quiet-STaR 的演算法運作原理是先要求模型針對問題產生多個答案，將答案與原始問題進行比較，以確認哪一個是最好的答案。

為了測試 Quiet-STaR 的演算法，研究人員將其應用在開源 Mistral 7B 模型上，顯現推理能力的改進，尤其在 CommonsenseQA 問答挑戰（從原本 36.3% 進步至 47.2%）和 GSM8K 小學數學應用題資料集（從原本 5.9% 進步至 10.9%），而且隨著模型思考使用的 token 數增加還會不斷改進。

AI 如果真要達到人的推理能力，還有很長一段路要走。「Quiet-STaR 透過對不同網路文字隱含的豐富推理任務進行訓練，而不是狹隘地專門針對特定資料集，為更強大、更具適應性的語言模型指明方向。」研究人員表示，未來開發工作建立在 Quiet-STaR 基礎上，期望進一步縮小語言模型和人類推理能力之間差距。