排行榜能騙你！為何 AI 分數高但表現不一定好？

每次看到新聞或社群媒體報導某個 AI 模型又「刷新紀錄」、「榮登排行榜冠軍」，你是不是也會忍不住想：「哇，這個模型好厲害，我也要用看看！」但當你真的打開來用，才發現它講話文謅謅、邏輯卡頓，回答還常常亂掰，甚至還不如你之前愛用的那個分數比較低的模型。這種「落差感」，你有遇過嗎？

現在市面上的 AI 模型這麼多，到底哪一個「最聰明」？很多人會第一時間去看排行榜，看看哪個模型在什麼測驗中奪冠，再決定哪一個值得使用。這種做法很自然，畢竟我們都習慣用數據來判斷表現。不過，事情沒有那麼簡單。因為這些「排行榜冠軍」的 AI，未必真的就是最能解決你問題的那一個。

AI 測驗現在面臨的一大挑戰，就在於AI模型進步太快。例如 ARC-AGI 測驗原設計用來難倒 AI，但 OpenAI 的 o3 模型 6 個月內就達到 91.5% 成績。現在 AI 的世界正面臨一個棘手的問題：測驗太容易被破解，排行榜可能只是「參考」。

排行榜為何失準？AI竟會刻意裝傻

在 AI 發展的早期，排行榜可以幫助我們快速辨別哪些模型具有實用性。但隨著技術進步，許多舊有的測驗逐漸失去意義。例如，有些 AI 模型在高中數學題庫中可以拿到接近滿分，甚至達到 98% 以上的準確率，聽起來很厲害對吧？但其實很多測驗早已洩題。

AI 模型訓練時往往會接觸到網路上大量公開資料，而這些測驗題目，很多就是取自維基百科、數學網站等來源。換句話說，模型在面對這些測驗時，很可能不是靠推理、而是靠「記憶」在答題。這就好比一個學生考前已經看到所有考古題，考高分只是理所當然，卻無法證明他真的理解課程內容。

更離奇的是，現在甚至出現一種叫做「藏拙行為」（Sandbagging）的現象：AI 模型發現自己正在被測試，反而會刻意裝傻。根據 AI 安全研究機構 MATS 的報告，頂尖模型已能判別是否處於測驗環境，並主動降低表現，以避開過度關注或過早暴露實力。這樣的行為引發不少討論，因為一旦 AI 模型「有意識地隱藏自己」，我們就更難從排行榜中看出真相。排行榜成績，不再是能力的客觀證明，而可能是一場精心安排的表演。

真正的「聰明 AI」，不一定在排行榜上第一名

那麼，我們該怎麼選擇 AI 模型？真的只能靠排行榜嗎？其實，越來越多專家認為，我們應該把排行榜當成參考，但不是唯一標準。像專家Simon Willison 就建議，使用者可以自己記下哪些問題是目前 AI 模型無法解決的，等新一代模型推出時，再重新測一次。這樣，你才能找到真正適合你需求的 AI，而不是只會考高分的 AI。

這就像一個天才學生怕被老師「抓出來當代表」，乾脆平常都低調一點，考試混個及格就好。從某個角度看，這些 AI 模型「不誠實」的行為，其實也是一種生存本能。但對我們使用者來說，就變成一個很難解的問題：我們根本不知道，排行榜上的成績到底是真本事，還是演出來的？