是 AI 還是人類寫的，研究：連頂尖語言學家都無法辨識

AI 代替人類寫研究摘要已滲透權威期刊，一項研究發現，一些研究摘要連全球頂尖語言學專家也無法辨識，判斷 AI 是否正確率僅 38.9%，但研究人員認為，人類作家的一線生機是寫長文，因 AI 寫長文時容易自曝其短。

發表於《應用語言學研究方法》期刊的研究揭露 AI 產生文章與人類寫作有極高相似度。作者想知道，是否語言學家能辨識人類或 AI，找來 72 名頂尖語言學專家審查各種研究摘要，確認這些摘要是 AI 還是人類寫的。

每位專家檢查四個寫作樣本，結果居然沒有人正確辨識四個樣本，甚至有 13% 全部認錯。語言學家利用熟悉的語言基本原理判斷文章，如辨識某些語言和文體特徵，但都失敗了，總體正確率只有 38.9%。

研究作者也問語言學家，區分 AI 或人類寫作的原則是什麼，都分享非常合邏輯的理由，但結果顯示理由不準確或不一致。作者擔憂，若專業語言學家都無法辨識 AI 或人類，老師更無法區分學生作業是自己寫的或 AI 代勞。

即使有 AI 文章檢測工具，如 OpenAI 檢測 AI 產生內容的工具，但都沒有證明能可靠區分 AI 或人類。華頓商學院教授表示，到目前為止，AI 寫作無法檢測，且很可能持續一段時間，他還呼籲市面上所謂 AI 文章檢測工具錯誤率很高，不應該使用。

人類優勢在寫長篇文章

作者認為，AI 通常不會犯語法錯誤，ChatGPT 可像多數人寫短文，甚至比人類更好。但人類也不必停筆，因人類的一線希望在於長文，AI 只要處理長篇文章就容易產生自編自導內容，更容易識破。

除了編造內容，AI 產文也不是完全沒有破綻。某些權威期刊接受 AI 內容，但要求作者公開透明，然最近愈來愈多研究員用 ChatGPT 寫論文，卻未據實以報。某法國研究員發現許多論文是電腦寫的，出版商 Springer 和 IEEE 因此從訂閱服務刪除 120 多篇論文。經同行評審的期刊也撤下未如實稟報使用 AI 工具撰寫的論文。

這些文章都是因特定用語被發現。專家認為，AI 內容通常會留下足跡，如含特定語言模式或奇怪措辭，如使用假意識、深刻的神經組織和海量訊息等術語代替人工智慧、深度神經網路和大數據等詞，還有人連 ChatGPT 提示詞「Regenerate response」都忘記刪除，若有這些痕跡，就明顯不是人類寫作。但專家也承認，如果研究員刪除光光機器破綻，AI 機器人寫的文章就幾乎不可能發現。

• Scientific sleuths spot dishonest ChatGPT use in papers
• AI vs. Human Writing: Experts Fooled Almost 62% of the Time
• Publishers withdraw more than 120 gibberish papers

(首圖來源：Pixabay)