論文宣稱 GPT-4 通過 MIT 課程，被爆研究造假

近日一篇論文宣稱大型語言模型 GPT-4 能通過麻省理工學院的數學和 EECS（Electrical Engineering and Computer Science）課程獲得滿分成績，受到專業學者檢視後卻被發現使用不當數據資料來源，並且反覆給予提示以獲得預期結果，令學界譁然。

主要研究領域在機器學習、人工智慧、電腦視覺的 Iddo Drori，任教於波士頓大學、哥倫比亞大學等，15 日公布利用大型語言模型探索麻省理工學院數學和 EECS 課程的研究論文，聲稱可以通過課程所要求的問題題庫、期中考試、期末考試等多達 4,550 個問題和解法，其中利用 GPT-3.5 成功解決三分之一的麻省理工學院課程，而 GPT-4 則在提示技術下，達到完美的解答率。消息一出，Iddo Drori 的推文獲得大量轉發。

🎓 Exploring the MIT Mathematics and EECS curriculum using large language models. 🧠🚀 #AI #Education #MIT Read more: https://t.co/0DxLZj2YhE pic.twitter.com/2YXLrn1RwM

— Iddo Drori (@iddo) June 16, 2023

▲ Iddo Drori 將論文上傳論文預印本資料庫 arXiv.org 公開研究成果，但事實真相並非如此。

然而這篇論文經過 Raunak Chowdhuri 和他同事的仔細審查，發現明顯的問題，像是資料組包含 10 個無法解決的問題，這意味著 GPT-4 在輸入提示過程中被加入解法，或者問題本身沒有準確的評分。此外，GPT-4 使用記錄下正確答案的方式來引導解題流程，這些都讓這篇論文的真實性備受質疑。

直到 24 日由麻省理工學院的 Armando Solar-Lezama、Tonio Buonassisi、Yoon Kim 三名教授共同發表聲明，直指 Iddo Drori 這麼做並沒有得到共同作者的同意，而且構成論文主題的問題和考試題目資料組未獲得其他老師的授權。儘管 Iddo Drori 被告知在論文發表之前需要修正一些問題，仍私自在 15 日公布論文。三人已要求從 arXiv.org 撤下論文，最後還強調「GPT-4 不能獲得麻省理工學院學位」。

三名教授的聲明顯現出這篇論文並未得到全體同意即發表，然而論文研究方法和過程恐怕才是最大的問題所在，這也讓整起事件陷入羅生門。