小心!GPT 檢測器也不一定準確

作者 | 發布日期 2023 年 07 月 14 日 7:50 | 分類 AI 人工智慧 , 軟體、系統 line share follow us in feedly line share
小心!GPT 檢測器也不一定準確


生成式人工智慧發展像脫韁野馬,只想疾馳,遲早會把騎術不精的人狠狠摔下馬。

2022 年 11 月 30 日,人工智慧對話聊天機器人 ChatGPT 推出,迅速走紅,短短五天註冊用戶就過百萬,兩個月 ChatGPT 月活躍使用者破億,用戶史上增速最快。但面對生成式 AI 來勢洶洶,並不是所有人都準備好了。

1 月初紐約市教育部宣布禁止學生在學校設備和網路使用 ChatGPT,以防學生作弊。法國巴黎政治學院(Sciences Po)1 月也通知,禁止各校區學生及教職工用 ChatGPT 做教學任務,成為歐洲首座「全面禁用」ChatGPT 的學校。

到 7 月生成式 AI 百花齊放、百家爭鳴,教育界人士開始順應時代潮流,主動擁抱生成式 AI。

英國 24 所羅素集團研究型大學校長近日聯合簽署準則,明確指出哪些地方不適合使用生成式 AI,使師生都能做明智決策,並授權正確使用工具,必要時承認使用權。現在看來,只要正確使用生成式 AI,對教育大有助益,不過或許還得注意一些「小麻煩」。

教育領域將 ChatGPT 用於寫作業不是新鮮事,許多老師也視 AI 檢測為「阻止 21 世紀學生作弊的關鍵對策」,但研究顯示 AI 檢測器也會歧視和誤導。

史丹佛大學生生物醫學數據科學助理教授 James Zou 與團隊使用 7 個主流 GPT 檢測器評估 91 篇由非英語母語人士寫的托福作文。7 個 GPT 檢測器,非英語母語人士作文超過一半檢測器標記是 AI 生成,甚至一個將近 98% 作文都標註是 AI 產生。

而檢測英語母語的八年級學生作文發現,同樣 AI 檢測器結果是超過 90% 作文標註人類產生。

追溯偏見歧視時,研究員發現,生成式 AI 經過大規模訓練後可產生低複雜度的文本,代表如果人類寫作時以熟悉模式使用大量常用單詞,就會增加標註成 AI 產生的風險,非英語母語人士之所以風險更大,是因更可能使用簡單字詞。

這歧視的影響性需要你我關心。研究員警告「GPT 檢測器對非母語寫作影響嚴重」,又補充「教育領域可說是 GPT 檢測器最重要的市場,非母語學生面臨更高被指控作弊的風險,可能不利學生學術生涯和心理健康。」思考生成式 AI 是教育的「良藥」還是「毒藥」前,或許還得先解決這些「小麻煩」。

(本文由 愛范兒 授權轉載;首圖來源:Image by Freepik