專家警告要小心駭客餵錯誤資料,誤導 AI 導致被牽著走

作者 | 發布日期 2019 年 08 月 20 日 18:36 | 分類 AI 人工智慧 , 資訊安全 Telegram share ! follow us in feedly


各家科技公司紛終訓練 AI 要駕馭不同產業的自動化需求,專家就警告,駭客有可能針對 AI 的漏洞,刻意餵錯誤的資料進演算法當中,導致 AI 做出錯誤的判斷,如有利於駭客的結果。

趨勢科技全球安全研究副總 William Malik 談到駭客誤導 AI 餵錯誤資料的破壞機器學習 (subverting machine learning),提及其實演算法是很粹弱的,很容易因為訓練資料被動手腳,導致要辨識動物的影像 AI 將長頸鹿辨識為單車。程式不像人類,是不重視整體而是「盯著」很細節的部分,這些細節如被變動,很容易就出狀況。

Malik 也舉自身趨勢科技為例,像趨勢這種類型的防毒公司,常收集十億等級的惡意程式,來餵給 AI 當訓練材料發展辨識的模式,假若不幸公司被入侵,訓練資料被加料,辨識模式被惡意導走,然後最後演算法在市面上佈署,結果導致很多種惡意程式辨識不出來,這就是駭客破壞機器學習的例子。另外在醫療上也有破壞機器學習的例子,MRI 的影像被破壞,傳輸沒加密導致醫生拿到變造過的資料,造成病人被誤診。

▲ 智慧城市將不同的關鍵基礎設施連上網路,從而暴露這些系統,而政府單位常因經費因素導致風險更大,急需要好好地針對不同的智慧城市系統好好保護,不然輕則指示紅綠燈異常,嚴重點水、電出問題。(Source:科技新報)

近年來臉部辨識的 AI 發展相當成熟,有相當多的應用案例,而反制的方式難免聯想到鄰近的香港近日反送中,有示威者要反制當局,也拿臉部辨識系統來辨識警察,或者用奇怪的花紋圖樣或是雷射筆干擾臉部辨識 AI 的運行,或者單純愛開快車想不被拍照,用反光裝置,會不會算是駭客行為嗎?Malik 談到反制技術一直都存在,像是電影院要防止觀影者用自家的攝影盜錄電影內容,就在影廳當中安裝紅外線放射器,人類肉眼不會察覺,但機器就能感受到,從而干擾盜錄者造成錄不成電影。

另外 Malik 談到他自己應對臉部辨識技術的小習慣,他會在頸部這邊別上有乍看之下圖樣有點奇怪的圖針,在攝影鏡頭之下,AI 會針對圖針辨識,從而避開他的臉部,最終目的是希望他的臉部特徵別進去人臉辨識系統,他認為他的人臉不該與警政單位系統當中,追緝的潛在對象人臉混在一起。

Malik 將在明天 (8/20) 舉行的 Cloud Security 登場演講,談到各種不同的工業物聯網防護與防護案例,不同產業有各式各樣自動化需求,設備都漸漸為了即時調整而連上網路,但從前技術進展較慢的 OT 技術卻曝露風險,包括虎視眈眈的駭客。其中被各界相當重視的智慧城市,牽涉的基礎設施之多,各系統之間有不同程度的相依性,願景儘管宏大而且便利城市當中的人民,相當的吸引人,但如果沒有在大大小小的環節好好保護,像是遵循標準如 ISO 37120:2018,如被入侵最嚴重導致整個城市停擺。

▲ 工業物聯網要好好檢視各系統的相依性狀況,這邊航空公司系統以及城市當中人臉辨識系統,都只是因為 GPS 裝置的時間,導致無法正常運作。(Source:科技新報)

近期針對工業目標入侵的案例部分,Malik 談到所幸駭客入侵並非能為所欲為,像是其中幾個案例只是重設 GPS 裝置的時間,但結果也讓這些公司相當頭痛,航空公司的案例導致航班資訊出錯,無法依據排定時間正常飛行,而紐約市則是造成車牌辨識系統出錯無法辨識。

(首圖來源:科技新報)