Facebook 開源 3 款人工智慧軟體，教電腦「看」圖片有哪些物體

從人類的視角出發，一張圖片是由物件和背景構成，不過對電腦而言，圖片是由不同顏色的像素構成，很難判斷出哪些是背景、哪些是物體，以及這些物體是什麼。不過，Facebook 人工智慧研究團隊（FAIR）克服這些挑戰，於本月 26 日開源 3 款人工智慧影像辨識工具，成功教電腦如何用人類視角辨識圖像。

辨識三步驟：確認是否有物體、描繪物體輪廓、辨識物體

Facebook 利用機器學習，讓演算法學習人類的神經網路如何認知物體和環境。例如，讓演算法接收多張綿羊圖片，並且告訴演算法這是綿羊，之後電腦便可以自行辨識出圖片中的綿羊。

▲ 右圖為電腦辨識圖片的視角，一張圖片由不同顏色的像素組成。（Source：Facebook）

這 3 款人工智慧工具分別為 DeepMask、SharpMask 和 MultiPathNet：

• DeepMask：辨識圖片裡是否有物體存在
• SharpMask：更細緻地描繪出這些物體的輪廓
• MultiPathNet：辨識這些物體是什麼

例如，DeepMask 雖然可以找出圖片中有狗和綿羊，卻無法區分兩者，需要仰賴 MultiPathNet 辨識物體；結合這 3 款工具後即為一套影像辨識系統，可以讓電腦在「像素」階段如人類般理解圖像。

▲ 這套系統已可成功辨識影像，紅線部分為機器未判斷出來的物體。（Source：Facebook）

未來目標為影音圖像自動辨識

Facebook 在部落格指出，透過影像辨識系統，未來不用特地在圖片上標記物體，也可以用文字搜尋到特定圖片。這項技術對視障者也相當實用，例如，只要用手指輕觸圖片，該系統便可告知圖片中包含哪些物體，讓視障者「看」見影像。

此外，這項技術也可加強擴增實境（AR）的應用，例如，偵測出圖片中的三明治含有多少卡路里，或是運動員是否處於良好的健康狀態，以及讓使用者模擬家具放在房間的樣子、試穿虛擬衣服等商業應用。

▲ 影像自動辨識技術可加強擴增實境的應用。（Source：Facebook）

下一步，Facebook 希望能讓這套工具辨識影片中的物體，不過物體在影片中不斷移動，辨識難度更高。可想見，這項技術將有助於Live直播影片的推廣，可更容易向使用者推薦符合興趣的影片。

Google 也開源人工智慧工具 TensorFlow

根據《The Verge》報導，除了 Facebook，Google 也已將類似的人工智慧工具用於圖片搜尋、email  的自動回覆功能、以及搜尋字詞「自動完成」功能，並開源這套人工智慧演算法 TensorFlow。

• Segmenting and refining images with SharpMask
• Facebook is giving away the software it uses to understand objects in photos
• Facebook opens its advanced AI vision tech to everyone

（本文由 數位時代 授權轉載；首圖來源：Facebook）