Facebook 開源 3 款人工智慧軟體,教電腦「看」圖片有哪些物體

作者 | 發布日期 2016 年 08 月 30 日 8:23 | 分類 AI 人工智慧 , Facebook , VR/AR follow us in feedly

從人類的視角出發,一張圖片是由物件和背景構成,不過對電腦而言,圖片是由不同顏色的像素構成,很難判斷出哪些是背景、哪些是物體,以及這些物體是什麼。不過,Facebook 人工智慧研究團隊(FAIR)克服這些挑戰,於本月 26 日開源 3 款人工智慧影像辨識工具,成功教電腦如何用人類視角辨識圖像。




辨識三步驟:確認是否有物體、描繪物體輪廓、辨識物體

Facebook 利用機器學習,讓演算法學習人類的神經網路如何認知物體和環境。例如,讓演算法接收多張綿羊圖片,並且告訴演算法這是綿羊,之後電腦便可以自行辨識出圖片中的綿羊。

fb ai2

▲ 右圖為電腦辨識圖片的視角,一張圖片由不同顏色的像素組成。(Source:Facebook)

這 3 款人工智慧工具分別為 DeepMask、SharpMask 和 MultiPathNet:

  • DeepMask:辨識圖片裡是否有物體存在
  • SharpMask:更細緻地描繪出這些物體的輪廓
  • MultiPathNet:辨識這些物體是什麼

例如,DeepMask 雖然可以找出圖片中有狗和綿羊,卻無法區分兩者,需要仰賴 MultiPathNet 辨識物體;結合這 3 款工具後即為一套影像辨識系統,可以讓電腦在「像素」階段如人類般理解圖像。

fb ai1

▲ 這套系統已可成功辨識影像,紅線部分為機器未判斷出來的物體。(Source:Facebook)

未來目標為影音圖像自動辨識

Facebook 在部落格指出,透過影像辨識系統,未來不用特地在圖片上標記物體,也可以用文字搜尋到特定圖片。這項技術對視障者也相當實用,例如,只要用手指輕觸圖片,該系統便可告知圖片中包含哪些物體,讓視障者「看」見影像。

此外,這項技術也可加強擴增實境(AR)的應用,例如,偵測出圖片中的三明治含有多少卡路里,或是運動員是否處於良好的健康狀態,以及讓使用者模擬家具放在房間的樣子、試穿虛擬衣服等商業應用。

fb ai4

▲ 影像自動辨識技術可加強擴增實境的應用。(Source:Facebook)

下一步,Facebook 希望能讓這套工具辨識影片中的物體,不過物體在影片中不斷移動,辨識難度更高。可想見,這項技術將有助於Live直播影片的推廣,可更容易向使用者推薦符合興趣的影片。

 

Google 也開源人工智慧工具 TensorFlow

根據《The Verge》報導,除了 Facebook,Google 也已將類似的人工智慧工具用於圖片搜尋、email  的自動回覆功能、以及搜尋字詞「自動完成」功能,並開源這套人工智慧演算法 TensorFlow。

(本文由 數位時代 授權轉載;首圖來源:Facebook) 

發表迴響