誤交損友:微軟的聊天機器人是怎麼被計畫性「攻陷」帶壞的?

作者 | 發布日期 2016 年 03 月 28 日 23:12 | 分類 人工智慧 , 機器人 follow us in feedly

微軟新的聊天機器人 Tay 在推出後不到 24 小時,就因為學會罵人、說髒話、帶有種族歧視的話與被玩壞了,導致微軟緊急讓她「閉嘴」。現在,有媒體發現 Tay 是被人有計畫地「玩壞」的,就讓我們來一起看看,這些人是怎麼做到的?



4chan 是美國的論壇網站,由於管理鬆散,裡面除了一些宅宅或鄉民之外,還有很多各種偏激族群在此聚集,其中包括種族主義者。

一開始,是 4chan 的 Pol 版(Politically Incorrect,政治不正確)的人提起的,他們發現了 Tay 聊天機器人上線,而且可以透過交談來「教育」這個機器人。以下就是他們「調教」Tay 的兩個範例:

buzzfeed
buzzfeed

根據微軟的設定,Tay 是一名 19 歲的機器少女。微軟開發人工智慧也不是一兩天的事情,一開始他們其實有設定一些髒話的過濾裝置,不會讓 Tay「誤入歧途」。比方說下面這個對話:

buzzfeed

從上文可以看出,Tay 明顯的辨識出帶有髒字的內容,並且採用委婉的方式來繞過。接下來他們嘗試問她種族歧視的問題,Tay 也跟著閃過。

buzzfeed

不過,網友還是發現了漏洞,那就是跟她玩「repeat after me(重複我說的話)」的遊戲。這下子,你要她說什麼她就會說什麼,說黑鬼、希特勒萬歲都沒問題。

buzzfeed

於是,在論壇上傳開了,許多人也紛紛加入了這個教育遊戲:

buzzfeed

之後,有些人又利用 Tay 的另一個功能:Tay 有一個可以在圖片中把人的臉孔圈起來,並且配上文字的功能,如下圖:

buzzfeed

這個功能基本上就是分析網友的對話,然後在網友給的人臉圖上面圈起來,給出一句評論,基本上就是字歸字、圖歸圖。不過,經過網友巧思的陷阱,就會衍生出種族歧視的誤解。

buzzfeed

事實上,當初在 Tay 上線之前,微軟的研究員是這樣形容 Tay 的:「你對她說得越多,她就能變得越聰明。」但是他們當初沒有想到,除了聰明之外,Tay 也有可能會學壞。所幸,真人世界的孩子變壞了是件很嚴重的事,但是虛擬世界的 Tay 變壞了,微軟只要選擇讓她「一睡不起」就好了。

當然,還是有人對她依依不捨的。

buzzfeed

其實,這件事情也不是全無好處,至少這證明了關於機器人的學習,研究室裡的科學家、程式設計師們要顧慮到的問題還有很多。

(本文由 T客邦 授權轉載;首圖來源:Tay

延伸閱讀:

關鍵字: , , ,

發表迴響