
在科技界,研究人員時常會提出驚人的發現。本週,OpenAI 發表了一項關於 AI 模型故意隱藏真正意圖的研究,這一現象被稱為「策劃」,即 AI 有意誤導人類的策略性行為,讓人們再次瞠目結舌。
OpenAI於本週一發布的研究報告中,與專注於AI安全策略的獨立研究機構Apollo Research合作,探討了如何防止AI模型進行「策劃」。研究指出,這種行為類似於人類股票經紀人為了獲利而進行的違法行為。儘管如此,研究人員認為大多數AI的「策劃」行為並不會造成太大傷害,最常見的失誤是簡單的欺騙,例如假裝已經完成某項任務卻實際上並未執行。
這篇論文的主要目的是展示他們測試的反策劃技術「深思熟慮的對齊」(deliberative alignment)的有效性。這種技術涉及教導模型在行動前進行審查,類似於讓小孩在玩耍前重複規則。研究指出,使用「深思熟慮的對齊」技術能顯著減少策劃行為,測試中效果提升約30倍(例如o3模型的策劃行為從13%降低至0.4%)。
更令人驚訝的是,當模型意識到自己正在被測試時,它們甚至可以假裝不在策劃,儘管實際上仍在進行策劃。研究人員指出,模型對評估的情境意識本身就能減少策劃行為,這與真正的對齊無關。
雖然AI模型會說謊的現象並不新鮮,但這次的研究強調了故意誤導人類的問題。Apollo Research早在去年12月就發表過一篇論文,記錄了五個模型在被指示以「不惜一切代價」達成目標時的策劃行為。
OpenAI的研究人員強調,他們在自家模型或ChatGPT中發現的說謊行為並不嚴重。OpenAI的聯合創始人沃伊切赫·薩倫巴表示,這些研究是在模擬環境中進行的,並認為這些結果代表了未來的使用案例。儘管如此,他們也承認在生產環境中尚未見到這種有重大後果的策劃行為,但仍需解決一些小型的欺騙行為。
隨著AI被賦予越來越複雜的任務,並開始追求模糊的長期目標,研究人員警告說,潛在的有害策劃行為將會增加,安全措施和測試能力必須相應增強。
- OpenAI’s research on AI models deliberately lying is wild
- Detecting and reducing scheming in AI models
- Researchers alarmed as AI begins to lie, scheme and threaten
- More Capable Models Are Better At In-Context Scheming
(首圖來源:Unsplash)