
多年來,人工智慧(AI)產業一直遵循著「擴展定律」的原則,即模型性能主要取決於模型參數數量、數據集大小和用於訓練的計算量。然而,隨著 AI 領域的快速發展,越來越多的專家開始質疑這個看似萬能的定律。
根據外媒 BUSINESS INSIDER 報導,Meta 首席 AI 科學家楊立昆(Yann LeCun)近日在新加坡國立大學表示,單純依靠擴展來實現超級智慧是不夠的。他認為,擴展定律的誤區在於──人們將 AI 在簡單任務上的成功,推斷也能解決複雜問題。楊立昆強調,當今大型語言模型的訓練內容僅相當於四歲兒童視覺皮層(指大腦皮層中主要負責處理視覺訊息的部分)的資訊量,這意味著目前的 AI 突破在解決現實世界中存在模糊性和不確定性的問題時,效果有限。
楊立昆指出,最近 AI 進展放緩,部分原因是可用的公共資料量正在減少。他並非唯一一位質疑擴展定律的專家,Scale AI 執行長 Alexandr Wang 和 Cohere 執行長 Aidan Gomez 也分別將擴展定律視為 AI 業界最大的問題,且不利於改進 AI 模型。
面對擴展定律顯現的問題,楊立昆提倡另一種訓練方法。他認為,未來的 AI 系統需要能夠快速學習新任務,理解物理世界,具備常識、推理和規劃能力,以及持久記憶。他表示,與僅能根據模式預測下一步的大型語言模型相比,世界模型具有更高的認知水平,能夠預測世界將如何因行動而演變。
- Meta’s chief AI scientist says scaling AI won’t make it smarter
- This is the biggest question in AI right now
(首圖來源:Meta)