OpenAI 新工具檢測 AI 文字內容，成功率不到三成

我們正在閱讀的內容是人寫的或者 AI 寫的？OpenAI 推出一款辨識 AI 產生內容的新工具 AI Text Classifier，試圖區分人工撰寫或 AI 產生的內容。

AI Text Classifier 的過濾範圍包括自家 ChatGPT 和其他 GPT-3 模型產生的內容，使用上至少需要 1,000 個字，或大約 150 個至 250 個詞，但成功率約為 26% 並非特別準確。OpenAI 認為，可結合其他方法，有助於防止濫用有爭議的文字內容。

AI Text Classifier 架構上很有趣，它和 ChatGPT 一樣是 AI 語言模型，OpenAI 以 5 個不同組織的 34 個文字內容產生系統訓練而成。但與 ChatGPT 不同的是，它經過微調後，能夠判斷一段文字由 ChatGPT 或其他 AI 產生的可能性。

AI Text Classifier 檢測後將文字內容標記為「very unlikely 非常不可能」（可能性小於 10%）、「very unlikely 不太可能」（可能性介於 10%~45% 之間）、unclear if it is 不清楚是否由 AI 產生（可能性介於 45%~90% 之間）、「possibly 也許」（90%~98% 的可能性）、「likely 很可能」（超過 98% 的機會）。

▲ AI Text Classifier 提供 AI 產生內容的範例。（Source：OpenAI 截圖）

國外媒體 TechCrunch 測試 AI Text Classifier 發現，從自家和其他媒體的報導找出使用 ChatGPT 的痕跡，也判斷 OpenAI 支援文件不是 AI 產生的內容。不過，1,000 字的字數限制無法過濾篇幅較短的內容，OpenAI 也強調修改 AI 內容的部分詞句就能繞過這款工具，這些限制有待技術克服。

「這項工具目的在於幫助過濾人們撰寫的內容是否由 AI 產生，目前仍然有受侷限」，OpenAI 發言人表示，它應該被用做確認文字內容來源方法的輔助工具，而非主要的決策工具。OpenAI 提出新工具並願意獲取各方意見回饋，未來也將分享改善方法。

這項工具可以幫助人們確定正在閱讀的內容是人寫的或者 AI 寫的，隨著文字內容的 AI 持續進化，這項工具也將改善，兩者永無止境地交流，有點類似網路犯罪分子和安全研究人員之間攻防而不斷提升能力。OpenAI 表示，雖然 AI Text Classifier 在某些情況下有所幫助，但永遠不會成為確認文字內容是否為 AI 產生的可靠證據。