模型愈大愈像人是迷思？AI 回覆真實度未必隨規模提升

在社群媒體上，當你遇到一個異常禮貌的回覆時，或許應該多留意。最近，國際研究團隊發表一項研究，揭示了人工智慧（AI）模型在社群媒體對話中仍然容易與人類區分，尤其是過於友好的情感語調成為最明顯的識別特徵。這項研究測試了九種開放權重的大型語言模型，並發現這些模型生成的回覆在 Twitter/X、Bluesky 和 Reddit 上的識別準確率達到 70% 至 80%。

研究團隊提出了一種新的評估框架，稱為「計算圖靈測試」（computational Turing test），旨在評估AI模型與人類語言的相似程度。這個框架不依賴於主觀的人工判斷，而是使用自動分類器和語言分析來識別機器生成內容與人類創作內容之間的具體特徵。研究人員指出，即使經過調整，AI生成的文本在情感語調和情感表達上仍然明顯可辨。

在這項研究中，研究人員測試了九種大型語言模型，包括Llama 3.1 8B、Mistral 7B v0.1等。當這些模型被要求生成對真實社群媒體貼文的回覆時，它們在表達隨機的負面情緒和情感表達方面表現不佳，所有平台的毒性分數均低於真實人類的回覆。

為了改善這個缺陷，研究人員嘗試多種優化策略，但情感語調的變化仍然存在。研究結果顯示，經過指令調整的模型在模仿人類方面的表現反而不如其基礎模型，這個發現令人驚訝。更大的模型規模也未能帶來優勢，70億參數的Llama 3.1在表現上與8億參數的模型相當，挑戰了大型模型能夠產生更真實交流的假設。

研究人員發現，當AI模型被調整以避免被識別時，它們的語言風格與人類的實際回應之間的語義相似度下降。相反，當優化以匹配人類回應的內容時，AI文本則更容易被識別為人工生成。簡單的優化技術在降低可識別性方面的效果超過了複雜的技術，提供用戶過去貼文的實際範例或檢索相關上下文，能夠有效地使AI文本更難以區分。

這項研究的發現尚未經過同行評審，可能對AI開發和社群媒體的真實性產生影響。儘管有各種優化策略，研究顯示目前的模型在捕捉自發情感表達方面仍面臨持續的限制，檢測率仍高於隨機水平。研究人員總結道，風格上的人類相似性和語義準確性在當前架構中是「競爭而非一致的目標」，這表明儘管努力使AI生成的文本更具人性化，但其本質上仍然是人工的。