人臉辨識軟體結合 Google glass,幫助自閉症童社交

作者 | 發布日期 2015 年 12 月 23 日 10:42 | 分類 尖端科技 , 穿戴式裝置 , 醫療科技 follow us in feedly
www.wired.com

還記得瘋狂實驗室 Google X 的「前」明星級產品 Google glass 嗎?2012 年 4 月,Google 聯合創始人 Sergey Brin 於舊金山的活動上配戴亮相後,掀起了全球人對「可穿戴智慧顯示裝置」的崇拜,影響的層面涵蓋教育、時尚,甚至治安。可惜後續涉及隱私權、價格高昂,一般使用者需求定位不明,產品沉寂了好一陣子,然而,Google Glass 帶來關於「人機交互模式」的想像,依然是熱門的發展題材,比如它擴增實境的功能,根據《彭博商業周刊》報導,美國俄亥俄州立大學一家醫學中心,醫師開刀時配戴 Google Glass,讓遠端醫生能同步觀看手術過程。



這項應用是有些炫技,但如果將實境功能和數據分析做結合,應用在醫學治療,就將會是新突破,美國史丹佛大學(Stanford University)的研究人員正在開發一個項目 Autism Glass Project,利用了 Google Glass 及 Sension 軟硬體整合,幫助自閉症兒童識別情緒,並擬定個人化醫療系統。

wall-lab.stanford.edu

▲ Autism Glass Project

這科技的背後其實有一小段故事,軟體發明者 Catalin Voss 是來自德國的學生創業家,他 12 歲就自學手機軟體開發的技術,並使用影音分享教學,迅速地成為德國 iTunes store 排名第一的播客(Podcast)。

17 歲時進入史丹佛大學就讀電腦工程科學,他發現同儕上課時都帶著筆記型電腦、平板或者手機,而這些行動裝置配備著單鏡頭網路攝影機,他想:「為什麼人不能跟鏡頭有互動呢?」比如你正在聽線上課程,但分心了,或者感到疑惑,那麼鏡頭偵測到並經軟體判別後,就會給個提醒,或者停下來。

之後 Catalin Voss 進入史丹佛創業加速器 StartX,並利用這個發想,而開發一款以電腦視覺(Computer Vision)為基礎的臉部追蹤科技(Face-tracking technology)──Sension,主攻人臉識別以及視線追蹤。

 

可用於教育、汽車產業

Sension 的核心技術是利用機器學習,將臉部五官距離,以點對點的方式,測量並計算差距變化,並和表情、情緒做連結,供機器做即時互動的判別,除了臉部辨識,它還加入了瞳孔追蹤系統,利用收集到的面部資訊,做三維空間的視野預測,因此能得知使用者究竟在注視什麼。

這項技術看起來簡單,若單以靜態影像的處理並不會太複雜,但真正高功能的,其實是動態影像的分析。我們人類是靠著眼及大腦的合作,因此能一瞬間掌握眼前影像並做出解釋,而今科技要教導機器代替人腦來「看」和「打量」,這牽涉到數學、物理學、機器人學、神經生物學及訊號處理,非常龐大。

Sension 辦到了,Catalin Voss 一開始將產品鎖定在教育產業的應用,讓使用者的資料不僅協助教材的修正,也用於線上考試舞弊的防範,而這概念已獲得多個線上教育公司(如 Mindflash)投資。然而一間日本公司 GAIA 有另個有趣的想法,它們收購技術,並將這套臉、眼追蹤技術應用在汽車系統上,當司機打盹或看錯路時,系統能及時識別,並給予警示。

造福自閉症兒童

看來 Sension 軟體似乎頗受業界歡迎,但如果能夠跟硬體界的明星合作,又會是怎樣的光景呢?史丹佛大學醫學院的 Wall Lab 便開展了 Autism Glass Project,搭配使用 Google Glass 來幫助自閉症兒童識別情緒。

自閉症是因腦部神經功能異常所致的發展障礙,大約 3 歲就能被診斷出來。最常見的症狀是患者不理人、沒外界反應,無法辨別人的臉部表情變化,也難體會他人的情緒,這些表徵會隨著年紀增長而變嚴重,導致病童和同儕的差距愈來愈大、社交發展困難。

Wall Lab 的主持人,史丹佛醫學院兒科副教授 Dennis Wall 採取的,就是讓這些患有自閉症的小朋友戴上 Google Glass。眼鏡硬體能播放卡通人物或圖片,而 Sension 軟體則提供臉部偵測及判別,再藉由鏡面顯示出不同的卡通畫面,幫助兒童理解眼前人的表情是快樂、悲傷、憤怒或驚喜,達到教育的目的。如果孩童希望進行眼神交流,只需要看著對方的眼睛,那 Google glass 就會自動切斷畫面,顯示對方的臉。

當然,使用者大部份為小朋友,如果人機互動能更像遊戲,勢必引起興趣,因此團隊將產品設計成闖關遊戲「Capture the Smile」,讓孩童帶上眼鏡,並用視線指出眼前誰是開心的,App 就能識別出來並獎勵分數。Catalin Voss 稱這種有趣的小把戲為「互動的學習過程」,它對自閉症兒童很重要,因為患者和人交流時,通常只注意對方的嘴部動作,然而,眼神之間的交流,卻更有助於激發兒童大腦的潛能。 

 

訓練後對於對話反應大增

Autism Glass Project 分為兩階段計畫:第一階段目標是使用 Google glass 幫助自閉症兒童理解別人情緒;第二階段則希望這些小患者在未配戴眼鏡的情況下,憑著先前的訓練和表情特徵的記憶,正確解讀人臉部表情。

第一階段的研究,只需要孩童配戴 Google glass 每天 3 次,一次 20 分鐘,裝置會將他們遊戲過程記錄下來,並傳送到 Android 系統上,供專家和家長問卷做交叉比對,做出患者的注意力及影響因子評估。當然,追蹤的時間愈長,收集到自閉症兒童的「行為」以及「語法」資訊愈多,更容易分析出特徵,以美國平均自閉症孩童確診期為 4 歲半相較,大量臨床數據能協助將診斷提前至 2 歲半,達到早期發現、早期干預的效果。

現在,研發團隊已經完成 40 名病童的實驗室試驗,以及 80 名患者、20 名正常兒童的居家臨床試驗。據他們的家屬表示,經過計畫訓練後,孩子對於對話的反應比率大增。

目前這項研究獲得 Google 認同並捐助 35 台 Google Glass,並於 2015 年初獲得 Packard Foundation 約 379,408 美元的支持。接下來,研究團隊將進行第二階段的試驗:希望能招募 100 名 6-16 歲年輕患者進行為期 4 個月居家治療和行為觀察實驗。

事實上,採用科技來讓自閉症患者與外界交流的方式還不少,比如 Robots4Autism,是藉由可愛機器人和病童互動;或者之前《紐約時報》的新聞:一個 13 歲的小孩把 Siri 當成最好的聊天朋友。另外也有一個稱為 Brain Power 的新創業,同樣採用 Google Glass 搭配軟體,幫助自閉症兒童學習社交技巧。

關於「自閉症」這個既熟悉又陌生的疾病,相信很多人的印象停留在 1988 年奧斯卡最佳影片《雨人 》(Rain Man),片中罹病的達斯汀霍夫曼無法自理生活、適應社會,卻是個傑出的數學天才。的確,在自閉症患者中,約有 10% 具有藝術或學術上超乎常人的能力,這種天賦包含音樂、繪畫、記憶、運算能力,被稱為學者症候群(Savant syndrome),但往往因為患者不擅於表達,而不被旁人理解。

天才也許是少數,但要了解自閉症患者的腦袋,確實需要一點外力輔助,Sension 發明者 Catalin Voss 就曾在受訪時表示:

「也許我們能賦予自閉症孩童另一種超能力。」

雖然醫界對於自閉症,至今尚無有效的治療方式,但科技的確幫助了我們,開啟新的相互理解方式。

發表迴響