OpenAI 下代大語言模型「Orion」可能遇上前所未有的瓶頸。The Information 報導，OpenAI 員工稱 Orion 模型性能提升未達預期，與 GPT-3 到 GPT-4 升級相比，品質提升「小很多」。
還有 Orion 處理某些任務時不比前代 GPT-4 可靠。儘管 Orion 語言技能更強，但程式設計可能無法超越 GPT-4。訓練高品質文本和其他數據的供應逐漸減少，使找到優良訓練資料更困難，減緩大語言模型（LLMs）發展。
不僅如此，將來訓練會更耗費計算資源、財力甚至電力，代表開發 Orion 及後續大語言模型成本和代價會更昂貴。OpenAI 研究員諾姆‧布朗（Noam Brown）最近在 TED AI 大會表示，更先進模型可能「經濟上不可行」：
我們真的要耗費數千億美元或數兆美元訓練模型嗎？某個時候擴展定律會崩潰。
OpenAI 已成立負責預訓練的尼克·雷德（Nick Ryder）領導的基礎團隊，研究如何應付訓練資料越來越匱乏，以及大模型擴展定律（scaling laws）會持續到什麼時候。
▲ Noam Brown。
擴展定律（scaling laws）是人工智慧核心假設：只要有更多資料可學習，並有更多計算能力促進訓練過程，大語言模型就能以相同速度提升性能。簡單來說，scaling laws 描述投入（資料量、計算力、模型大小）和產出的關係，即投入大語言模型更多資源時性能提升程度。
舉例訓練大語言模型就像生產汽車，最初車間規模很小，只有幾台機器和幾個工人，每增加一台機器或一個工人，都能顯著提高產量，因新增資源直接轉成生產力提升。工廠規模擴大，每增加一台機器或工人使產量提升減少，可能是因管理更複雜，或工人協調更困難。
工廠達到一定規模，再增加機器和工人產量提升可能更有限。這時工廠可能接近土地、電力供應和物流等極限，增加投資不再能有成比例產能。Orion 困境就在此，模型規模越大（增加機器和工人），初期中期模型性能提升可能非常明顯，但後期即使增加模型規模或訓練資料量，性能提升也越來越小，這就是所謂的「撞牆」。
arXiv 論文顯示，公共人類文本數據需求增長和數據量有限性，2026~2032 年大語言模型發展將耗盡公共人類文本資源。即使諾姆·布朗指出未來模型訓練「經濟問題」，但還是反對以上觀點，因「人工智慧發展不會很快放緩」。
OpenAI 研究員也多同意這看法，儘管模型擴展定律可能放緩，但靠最佳化推理時間和訓練後改進，AI 整體發展不會受影響。Meta CEO 馬克祖克柏、OpenAI CEO 山姆·奧特曼和其他 AI 開發商首席執行長也公開表示，未達傳統擴展定律的極限，且仍在開發昂貴資料中心以提升預訓練模型性能。
OpenAI 產品副總裁彼得·韋林德（Peter Welinder）也在社群媒體表示「人們低估測試時計算的強大功能」。測試時計算（TTC）是機器學習概念之一，指模型部署後，新輸入數據推理或預測時的計算，與模型訓練計算分開，訓練階段是指模型學習資料模式和做預測階段。
傳統的機器學習模型，模型訓練好部署後，通常不需額外計算預測新資料實例。 然而某些更複雜模型，如某些類型的深度學習模型，可能需測試時（即推理時）額外計算。如 OpenAI 開發的「o1」模型就使用這種推理模式。整個 AI 產業界重心都轉向初始訓練後再提升模型的模式。
▲ Peter Welinder。（Source：Dagens industri）
OpenAI 聯合創辦人之一伊利亞·蘇茲克弗（Ilya Sutskever）最近接受路透社採訪時承認，使用大量未標記資料訓練人工智慧模型，以使其理解語言模式和結構的預訓練階段，效果提升已趨平穩。伊利亞說「2010 年代是擴展時代，現在我們再次回到探索和發現時代」，並說「擴大正確規模比以往更重要」。
Orion 預定 2025 年推出，OpenAI 命名為「Orion」而非「GPT-5」，也許暗示新革命。雖然暫時受理論限制「難產」，仍期待有新名字的「新生兒」能幫 AI 大模型吹起轉變之風。
科技新報粉絲團
加入好友
訂閱免費電子報
