Reddit、Spotify 紛紛收購內容審查新創,用 AI 處理不當言論還有哪些挑戰?

作者 | 發布日期 2022 年 10 月 23 日 11:00 | 分類 AI 人工智慧 , 社群 , 自然科學 line share follow us in feedly line share
Reddit、Spotify 紛紛收購內容審查新創,用 AI 處理不當言論還有哪些挑戰?


疫情假新聞、公然污辱、股海明燈等留言每天充斥社群平台,都造成平台使用者體驗不佳,市場研究公司 Ipsos 英國調查指出,68% 希望社群媒體採取更多行動保護用戶安全,還有 45% 表示,如果社群平台一直沒有推出保護措施,將減少或停用 App。

各社群媒體相繼補足這塊市場漏洞,「美國PTT」社群論壇Reddit就在10月收購內容審查新創Oterlu,期望利用AI協助審查貼文內容;Spotify也在6月收購內容審查新創Kinzen,致力打造更加健全的社群。

即便AI審查效率高、速度快,運用機器學習分析主觀又有情緒的文字,還有哪些挑戰有待解決?

Reddit收購Oterlu審查社群內容,Spotify、Twitter也祭出相關新制度

10月4日,Reddit宣布收購瑞典內容審查新創Oterlu,將Oterlu團隊成員併入Reddit安全團隊,開發快速檢測各國有害內容的AI模型。Reddit官網新聞稿說:「Oterlu使用自然語言處理技術、AI模型和機器學習審查欺凌、騷擾等不良行為,幫助加速Reddit自動化安全系統。」

此次收購案有跡可循,Reddit 6月開發Hateful Content Filter Beta(仇恨內容過濾功能),讓各論壇區塊版主決定是否開啟內容審查功能,自動刪除有害貼文,7月另一項測試版功能Ban Evasion Protection(禁止迴避保護機制),先讓AI判定有貼文、評論是否具有疑慮,再移交給版主審查。

▲ 如果有不當言論,Reddit便會在貼文底下標示。(Source:Reddit)

其他社群平台也相繼推出內容審查機制,像是美國喜劇演員Joe Rogan 2月在Spotify上的Podcast節目發布錯誤的疫情資訊,引起270名醫師和科學家要求Spotify建立內容審查制度,但Spotify卻遲遲無祭出相關政策,導致Neil Young及Joni Mitchell等歌手紛紛在Spotify撤下音樂。

為儘速止血,Spotify在6月成立安全諮詢委員會,10月收購內容審查新創Kinzen,用AI幫助分析Spotify上面的音樂、影片內容。

Twitter也在1月建立內容審查新制度Birdwatch,可以讓用戶在有疑慮的貼文底下留言,共同評論該貼文是否違反道德倫理,請發文人補充證據、相關資訊,讓內容審查制度兼具彈性和人性。

Oterlu用AI內容審查社群,美國新創Modulate著眼遊戲產業

Oterlu創辦人Alexander Gee過去在Google信任暨安全團隊擔任經理,專門負責把關兒童網路安全,他目睹網路上大量的有害資料,因而萌生出一項創業點子──內容審查,於是他尋找具備機器學習、數據分析專業的Ludvig Gee及Sebastian Nabrink,一同在2019年創辦Oterlu。

過去用戶僅能透過手動檢舉,讓社群平台人工審查貼文內容,不僅耗時又無法完全抓出所有有害貼文,而專門面向B2B公司的Oterlu透過開發SaaS平台,用AI自動標記騷擾言論、髒話、色情訊息等內容。

以客戶之一、著色App Recolor例子來說,Oterlu訓練AI模型的過程分為三步驟,首先讓AI認識完整的句子架構,第二是理解用戶Recolor如何交談和討論,第三則是辨識什麼內容能允許發在Recolor。Oterlu還在Discord推出AI審核機器人,方便版主管理社群,目前在500多個伺服器運作,保護300多萬名用戶的社群安全。

▲ Oterlu開發內容審查AI模型的運作原理。(Source:Oterlu)

內容審查機制不僅社群媒體運作,美國新創Modulate則將目光轉向遊戲產業,用AI偵測遊戲對話的不當言論,提報不當言論,讓官方決定暫停遊戲、封鎖玩家帳號等後續處理。

AI自動化審查有哪些隱憂?

不過利用AI機器人分析具有情感、主管性質的言論,多少存有疑慮,華府智庫新美國(New America)就指出內容審查自動化有四大問題:

  • 各國家的詞彙使用習慣不同,可能同樣的字詞在A國家表示正面,卻不適合在B國家使用。
  • 圖像辨識工具無法偵測圖片背後含義,例如有些藝術性質的照片,包括裸露圖片,AI卻視為色情內容。
  • 自然語言處理(NLP)工具通常分析英文內容,若用於其他語言,精確度可能下降。
  • 機器學習模型在黑盒子狀況下建構,缺乏透明化,開發者難控制模型學習的走向。

自2016年英國脫歐公投、Facebook的劍橋分析事件過後,假新聞在社群四處流竄,社群使用者成為政治廣告的投放對象,操弄公民選擇,使言論自由權利逐漸遭到濫用。從這次Reddit、Spotify的收購案,可見社群媒體對AI審查寄予厚望,然而,碰上AI技術的局限性,如何用AI模擬人們心中存有的那一把「尺」,仍有待解方。

(本文由 創業小聚 授權轉載;首圖來源:Oterlu