許多「人工」智慧進步也是「人造」!MIT 研究員揭露當代 AI 誇大的「進步假象」

作者 | 發布日期 2020 年 06 月 04 日 8:15 | 分類 AI 人工智慧 Telegram share ! follow us in feedly


AI 人工智慧某些例子是否不像我們想得那麼聰明?某研究生團隊發表論文指出,他們深入研究幾十種譽為 AI 研究里程碑的資訊檢索演算法後發現,這些演算法並沒有宣稱的那麼具革命性。事實上,這些演算法使用的 AI 通常只是先前建立常式的細微調校。

根據麻省理工學院(MIT)助理研究員(Graduate Student Researcher)Davis Blalock 表示,團隊檢驗 81 種通常認為比早期研究成果更好的神經網路演算法之後,表示無法確認真有達到宣稱的任何改進。「檢視 50 篇論文後,很明顯的,我們甚至看不出有較先進的地方。」Blalock 表示。

經過調校的舊 AI 演算法表現可輕鬆勝過全新 AI 模型

AI 技術過去 10 年的最大進展歸功於如圖形處理器、電腦處理單元(CPU)和攝影機等硬體改進,促進複雜搜尋計畫、臉部辨識、攝影、語言翻譯和語音辨識的等比級數成長,並取得虛擬實境在更精彩視覺效果的突破性進展。當然,演算法改進也有幫助。

但麻省理工學院研究團隊卻表示,至少 AI 演算法某些改進虛假不實。例如,他們發現只要稍加調校長期建立的舊 AI 演算法,舊程序便能高效運作,甚至達到可與備受吹捧的「全新優化」程序並駕齊驅的程度。但在某些情況下,新 AI 模型的表現甚至還不如舊演算法。

一篇刊登在《科學》期刊並評估研究的文章,引用 2019 年某項對搜尋引擎使用資訊檢索演算法進行整合分析(Meta-Analysis)的研究結論,發現「評獲的高分實際上是在 2009 年(比 2019 年早 10 年)設定的」。2019 年另項研究複製了媒體串流服務採用的 7 種推薦系統。他們還發現,有 6 種演算法的表現甚至比幾年前開發且簡單的演算法還差,至少在早期技術經微調後的結果是如此,這更進一步揭露了「進步的假象」。

10 年來某些 AI 領域缺乏重大進展

Blalock 指出,用來比較演算法優劣的技術本身有不一致性,這使得某演算法優於另一種演算法的說法準確性有待商榷。根據某位 MIT 電腦科學家的說法指出,過去 10 年來,某些 AI 領域顯然缺乏重大進展,這很大程度得歸咎於無法適當比較與評估相互競爭的演算法。Blalock 博士研究生指導教授 John Guttag 表示:「古有明訓,如果無法評量某事,就很難讓事情變得更好。」

卡內基美隆大學( Carnegie Mellon University)電腦科學家 Zico Kolter 推測,將自己的名字用在新演算法命名,遠比僅修補並調校已建立的較舊演算法會有更大的動機和社會回報。

Kolter 專門研究開發抵禦駭客所謂對抗攻擊(Adversarial Attack)的影像辨識模型。這類攻擊會採用經巧妙修改過的程式碼迴避系統安全防護機制。稱為投影梯度下降(Projected Gradient Descent,PGD)的早期方法,透過訓練 AI 系統區分真假範例碼來抵禦此類攻擊。這被認為是可靠的方法,但卻被更新、更好的協定取代。不過,Kolter 主導的研究員團隊發現,只要簡單調校舊 PGD 方法後,有效性與新方法相比幾乎沒有差別。

「很清楚的是,PGD 實際上就是最恰當不過的演算法,」Kolter 指出:「人們想尋求太過複雜的解決方案,一直都是顯而易見的人類通病。」

(首圖來源:shutterstock)