Google 研究員用一張簡單貼紙,成功吸走圖像辨識系統的所有目光

作者 | 發布日期 2018 年 01 月 04 日 17:00 | 分類 AI 人工智慧 , 尖端科技 follow us in feedly

過去我們曾看過負責圖像辨識的 AI 將烏龜誤認為手槍,近日研究人員又對相關系統進行了一些「攻擊」測試,結果發現甚至不需要 3D 列印,小小一張特殊的貼紙就足以奪走 AI 的目光,就像在鬥牛眼前晃動的紅布。



Techcrunch 報導,機器學習Machine learning)技術應用的興起促進許多 AI 的發展,這讓系統辨識圖像非常有能力,但在缺乏常識的情況下,它們並不聰明。

機器視覺是非常複雜的過程,就像人類一樣,機器也得透過認知才能夠正確分辨看到的景物,為了做到這一點,這些圖像辨識系統設定的重要捷徑便是:不為每個像素指定同樣的重要性。

(Souse:pixabay

舉例來說,這是一張房子的照片,背景有天空和草地,系統透過一些基本規則清楚知道,儘管天空和草地也在圖片中,但並不是畫面「主角」,因此儘管也會將其納入考量,機器會花上更多時間來分析中間房子的形狀。

而 Google 研究人員想了解的是,如果這個捷徑的判定出錯了,那麼電腦會忽略房子,而把注意力轉向集中在選擇的東西上嗎?

除了學會辨識背景,AI 也已學會觀察特定曲線、顏色的組合,於是研究人員便針對特定圖像辨識系統,嘗試許多顏色、形狀、大小的組合,找出系統專注的特徵,並試圖創造出一個能分散系統的小型圓型圖片。

最終他們試出了最佳解答:小小的迷幻漩渦。

只要把它放在系統已知的對象旁邊,例如一根香蕉,系統會立即忘掉香蕉,認為圖片的主角就是迷幻漩渦。

團隊發現,迷幻漩渦的效果是系統性的,因此不會受到圖片差別的影響,這意味著無論系統看著何種圖片,迷幻圖形產生的干擾作用通常都能達成。

過去欺騙機器視覺的嘗試,經常是對圖片進行重複的些微調整,尋找是否有一些像素放置的位置能造成混淆,但迷幻漩渦的效果完全不同。

研究人員最近在長灘舉辦的神經訊息處理系統會議(NIPS)介紹他們的研究成果,這項研究表明,只注意圖片些微調整的地方是不夠的,因為大的局部干擾也可能會破壞辨識系統的工作。

這種研究人員認為是強大的、高度本地化的騷擾,對圖像辨識系統構成一種新型態的威脅,儘管「迷幻漩渦」是研究者針對特定系統測試出的圖案,但整體概念仍一樣,如果針對其他系統研究,也有可能會發現類似的「紅布」。

類似的干擾圖片或許甚至會偽裝成無害的貼紙,讓可能存在的辨識應用失效,即使人們注意到這些特殊的圖像,也很可能不會了解其中的意圖,而是視之為一種藝術形式。

(首圖來源:Adversarial Patch 研究資料

延伸閱讀: