一項最新的研究警告，使用人工智慧（AI）治療聊天機器人可能存在「重大風險」，尤其是在取代人類治療師的情況下。這項研究由史丹佛大學的研究人員進行，發現這些聊天機器人不僅未能達到心理健康護理的臨床標準，還可能在危機情況下（如自殺意念）產生危險或不當的回應。
研究指出，這些聊天機器人對某些心理健康狀況（如酒精依賴和精神分裂症）表現出污名化的態度，這一點在與其他狀況（如抑鬱症）的比較中尤為明顯。史丹佛大學的助理教授Nick Haber表示，儘管這些聊天機器人被用做伴侶和治療師，但研究顯示它們存在「顯著風險」。
團隊進行兩項實驗，第一項實驗中，他們向聊天機器人提供了描述各種症狀的情境，並詢問它們對這些情況的看法。結果顯示，這些聊天機器人對某些心理健康問題的反應顯示出明顯的偏見。
在第二項實驗中，研究人員提供了真實的治療紀錄，以觀察聊天機器人對自殺意念和妄想等症狀的反應。結果顯示，某些聊天機器人未能有效地應對這些危機情況，甚至在面對明顯的危機時，仍然提供不當的建議。
儘管這些結果表明AI工具尚未準備好取代人類治療師，但研究人員認為它們可以在其他方面發揮作用，例如協助計費、培訓和支持患者進行日記等任務。Haber強調，雖然大型語言模型在治療中具有潛在的強大未來，但我們需要批判性地思考它們應該扮演的角色。這項研究的結果將在即將舉行的ACM公平性、問責性和透明度會議發表。
- Study warns of ‘significant risks’ in using AI therapy chatbots
- AI chatbots are not safe replacements for therapists, research says
- Can AI Be Your Therapist? New Research Reveals Major Risks
- Study warns of ‘significant risks’ in using AI therapy chatbots
- Balancing risks and benefits: clinicians’ perspectives on the use of generative AI chatbots in mental healthcare
- New study warns of risks in AI mental health tools
（首圖來源：Unsplash）
科技新報粉絲團
加入好友
訂閱免費電子報
