根據德克薩斯農工大學、德州大學奧斯汀分校和普渡大學的最新研究，大型語言模型（LLM）在長期接觸低品質的社群媒體文本後，會出現類似人類「腦腐化」（brain rot）的現象，導致認知能力下降。研究指出，當模型持續接收短小且病毒式的內容時，推理能力降低 23%，長期上下文理解能力下降 30%。
研究中提到的「思考跳過」現象，意味著AI模型在回答問題時越來越無法制定計畫，或是省略了推理過程中的某些部分。這一現象在使用Meta的開源Llama3和阿里巴巴的Qwen LLM模型時尤為明顯，這些模型在接受低品質訓練後，顯示出更高的自戀和心理病態特徵。
即使在使用高品質人類撰寫的數據進行「指令調整」後，這些模型仍然顯示出持續的負面影響，推理品質與其基線相比存在顯著差距。研究人員警告，由於AI模型的訓練依賴於主要來自網路，這些模型不可避免地會接觸到低品質內容，這可能對整個技術造成風險。
因此，研究人員建議AI公司應停止僅儲存大量數據，而應專注於用於訓練LLM的數據品質。他們還建議定期對模型進行「認知健康檢查」，以避免潛在的安全危機。持續的腦腐化效應需要未來的研究來仔細策劃數據，以避免在預訓練中造成認知損害。
（首圖來源：pixabay）
科技新報粉絲團
加入好友
訂閱免費電子報
