疫情假新聞、公然污辱、股海明燈等留言每天充斥社群平台,都造成平台使用者體驗不佳,市場研究公司 Ipsos 英國調查指出,68% 希望社群媒體採取更多行動保護用戶安全,還有 45% 表示,如果社群平台一直沒有推出保護措施,將減少或停用 App。
各社群媒體相繼補足這塊市場漏洞,「美國PTT」社群論壇Reddit就在10月收購內容審查新創Oterlu,期望利用AI協助審查貼文內容;Spotify也在6月收購內容審查新創Kinzen,致力打造更加健全的社群。
即便AI審查效率高、速度快,運用機器學習分析主觀又有情緒的文字,還有哪些挑戰有待解決?
Reddit收購Oterlu審查社群內容,Spotify、Twitter也祭出相關新制度
10月4日,Reddit宣布收購瑞典內容審查新創Oterlu,將Oterlu團隊成員併入Reddit安全團隊,開發快速檢測各國有害內容的AI模型。Reddit官網新聞稿說:「Oterlu使用自然語言處理技術、AI模型和機器學習審查欺凌、騷擾等不良行為,幫助加速Reddit自動化安全系統。」
此次收購案有跡可循,Reddit 6月開發Hateful Content Filter Beta(仇恨內容過濾功能),讓各論壇區塊版主決定是否開啟內容審查功能,自動刪除有害貼文,7月另一項測試版功能Ban Evasion Protection(禁止迴避保護機制),先讓AI判定有貼文、評論是否具有疑慮,再移交給版主審查。
▲ 如果有不當言論,Reddit便會在貼文底下標示。(Source:Reddit)
其他社群平台也相繼推出內容審查機制,像是美國喜劇演員Joe Rogan 2月在Spotify上的Podcast節目發布錯誤的疫情資訊,引起270名醫師和科學家要求Spotify建立內容審查制度,但Spotify卻遲遲無祭出相關政策,導致Neil Young及Joni Mitchell等歌手紛紛在Spotify撤下音樂。
為儘速止血,Spotify在6月成立安全諮詢委員會,10月收購內容審查新創Kinzen,用AI幫助分析Spotify上面的音樂、影片內容。
Twitter也在1月建立內容審查新制度Birdwatch,可以讓用戶在有疑慮的貼文底下留言,共同評論該貼文是否違反道德倫理,請發文人補充證據、相關資訊,讓內容審查制度兼具彈性和人性。
Oterlu用AI內容審查社群,美國新創Modulate著眼遊戲產業
Oterlu創辦人Alexander Gee過去在Google信任暨安全團隊擔任經理,專門負責把關兒童網路安全,他目睹網路上大量的有害資料,因而萌生出一項創業點子──內容審查,於是他尋找具備機器學習、數據分析專業的Ludvig Gee及Sebastian Nabrink,一同在2019年創辦Oterlu。
過去用戶僅能透過手動檢舉,讓社群平台人工審查貼文內容,不僅耗時又無法完全抓出所有有害貼文,而專門面向B2B公司的Oterlu透過開發SaaS平台,用AI自動標記騷擾言論、髒話、色情訊息等內容。
以客戶之一、著色App Recolor例子來說,Oterlu訓練AI模型的過程分為三步驟,首先讓AI認識完整的句子架構,第二是理解用戶Recolor如何交談和討論,第三則是辨識什麼內容能允許發在Recolor。Oterlu還在Discord推出AI審核機器人,方便版主管理社群,目前在500多個伺服器運作,保護300多萬名用戶的社群安全。
▲ Oterlu開發內容審查AI模型的運作原理。(Source:Oterlu)
內容審查機制不僅社群媒體運作,美國新創Modulate則將目光轉向遊戲產業,用AI偵測遊戲對話的不當言論,提報不當言論,讓官方決定暫停遊戲、封鎖玩家帳號等後續處理。
AI自動化審查有哪些隱憂?
不過利用AI機器人分析具有情感、主管性質的言論,多少存有疑慮,華府智庫新美國(New America)就指出內容審查自動化有四大問題:
- 各國家的詞彙使用習慣不同,可能同樣的字詞在A國家表示正面,卻不適合在B國家使用。
- 圖像辨識工具無法偵測圖片背後含義,例如有些藝術性質的照片,包括裸露圖片,AI卻視為色情內容。
- 自然語言處理(NLP)工具通常分析英文內容,若用於其他語言,精確度可能下降。
- 機器學習模型在黑盒子狀況下建構,缺乏透明化,開發者難控制模型學習的走向。
自2016年英國脫歐公投、Facebook的劍橋分析事件過後,假新聞在社群四處流竄,社群使用者成為政治廣告的投放對象,操弄公民選擇,使言論自由權利逐漸遭到濫用。從這次Reddit、Spotify的收購案,可見社群媒體對AI審查寄予厚望,然而,碰上AI技術的局限性,如何用AI模擬人們心中存有的那一把「尺」,仍有待解方。
- Reddit acqui-hires team from ML content moderation startup Oterlu
- Spotify acquires content moderation tech company Kinzen to address platform safety issues
- Twitter is making its crowdsourced fact-checks visible to all US users with Birdwatch expansion
- Oterlu – Using cutting edge AI to protect users from online abuse
- Everything in Moderation: The Limitations of Automated Tools in Content Moderation