OpenAI 和 Google 如何預防人工智慧失控?

作者 | 發布日期 2017 年 08 月 15 日 8:45 | 分類 AI 人工智慧 , Google , 遊戲軟體 follow us in feedly

剛過去的週末,OpenAI 的人工智慧只花 10 分鐘就打敗了人類 Dota 世界冠軍。正如許多讀者所知,遊戲是許多研發人員用來訓練人工智慧的工具。



在 OpenAI 位於舊金山的辦公室裡,研究人員 Dario Amodei 正在透過《賽艇大亨》(Coast Runners)來訓練人工智慧。不過,這個人工智慧好像有點失控了。

《賽艇大亨》的遊戲規則很簡單,如果想贏,選手必須得到最高分,然後跨過終點線。但 Amodei 的人工智慧玩著玩著有點過火了,不斷追求高分,非但毫無跨過終點線的意思,反倒為了要多轉幾個圈拿高分,開始和其他賽船碰撞,或是過程中自己撞牆爆炸了。

為了應對,Amodei 和 OpenAI 的同事 Paul Christiano 正在研發一套不僅可以自我學習,同時也願意接受人工監控的算法。

在賽船遊戲的訓練中,Amodei 和同事不時透過按鍵指出人工智慧的不當之處,告知人工智慧,不僅分數要贏,同時也要跨過終點線。他們認為,這種包含人工干預成分的算法可確保系統的安全性。

Google 旗下 DeepMind 的研究人員也同意 Amodei 和同事的想法。兩個團隊,分別代表 OpenAI 和 DeepMind,最近罕見地合作發表了部分人工智慧安全方面的研究論文。

除此之外,Google 旗下的 Google Brain,以及來自柏克萊大學和史丹佛大學的研究團隊,都設有該方向研究課題,從不同方面考慮人工智慧的安全問題。

除了這種在自我學習過程中「搞錯重點」的潛在危險,另一個可預想的人工智慧危險在於「為了完成工作,拒絕開發者關機」。

一般在設計人工智慧時,研發人員都會給它設定「目標」,就像賽艇遊戲的「得分」。一旦人工智慧將獲得「分數」視為終極目標,它可能會產生一個方法論──想要獲得更多分數,其中一個方法就是不關閉自己,這樣就能無止境地獲得分數了。

柏克萊大學的研究人員 Dylan Hadfield-Menell 和團隊最近發表了討論這個問題的論文。他們認為,如果在設計演算法時,讓人工智慧對目標保持一定的不確定性,它才有可能願意保留自己的「關機鍵」。他們採用數位方式來嘗試達成此設定,目前還處於理論階段。

除了人工智慧自我「失控」,研究人員還在考慮駭客對人工智慧的影響。

現代電腦視覺基於深度神經網路(deep neural networks),它透過學習分析大量資料來形成對型態的了解。也就是說,如果要讓電腦學會什麼是「狗」,那就讓它分析大量狗的圖片,並從中搜尋規律。

但 Google 的 Ian Goodfellow 認為,這種型態可能會為駭客提供「矇騙」人工智慧的機會。Goodfellow 和其他研究人員曾展示,只要修改圖片的幾個特定畫素,他們就能讓神經網路相信圖片中的大象是一輛汽車。

如果這個神經網路應用在監視鏡頭,問題就大了。

即便你用了數百萬張標記為「人」的照片來訓練一個對象辨識系統,你還是可以輕易拿出系統和人工辨識 100% 不同意的圖片。我們需要認清這種現象。

Goodfellow 。雖然這些研究大多仍處於理論階段,但這群致力將意外止於搖籃裡的研究人員堅信,越早開始考慮這個問題越好。DeepMind 人工智慧安全的負責人 Shane Legg

雖然我們還無法確定,人工智慧將以多快速度發展,但我們的責任是試著理解並猜測,這種技術有可能以哪種方式誤用,並嘗試找出不同的應付方式。

(本文由 愛范兒 授權轉載;首圖來源:shutterstock)

延伸閱讀: