AI 工具能自動追蹤影片中動物的動作細節,協助動物肢體語言研究

作者 | 發布日期 2018 年 12 月 25 日 21:39 | 分類 AI 人工智慧 follow us in feedly

我們都看過好萊塢電影中的「動作捕捉」場景,透過貼滿感測器的全身套裝追蹤動作,電腦能夠將演員變成巨人或野獸,而在現實生活中,普林斯頓神經科學研究所(PNI)也已開發出一套 AI 工具,只需要幾分鐘的訓練,便能像演員穿戴感測器一樣,在現有影片中自動追蹤動物的動作細節,協助動物肢體語言的研究進行。



這項被稱為 LEAP 的工具只需要幾分鐘的訓練,不需添加任何物理標記或標籤,就能夠以,以高精準度自動追蹤影片中數百萬幀動物各個身體部位的姿態,分子生物學副教授 Mala Murthy 表示,「這個方法可廣泛用於動物模型系統,用來衡量有基因突變或藥物治療後動物的行為」。

儘管論文預計會發表在 2019 年 1 月出版的《自然-方法》(Nature Methods)期刊上,但因為 5 月已經發布開放版本,目前軟體已經被被許多相關實驗室採用。

論文第一作者、PNI 研究生 Talmo Pereira 表示,這個工具非常靈活,原則上可用於任何影像數據,「它的工作方式是在幾個影片中標記幾個點,接著神經網路會完成剩下的工作。我們提供了一個易於使用的界面,讓任何人無需任何預先的編程知識,都可以將 LEAP 應用到自己的影片中。」

當被問及 LEAP 是否在大型哺乳動物的效果和在受試的蒼蠅和老鼠一樣好時,Pereira 立即使用肯亞 Mpala 研究中心的行走的長頸鹿影片進行示範,花了不到 1 個小時在 30 幀中標記了點,而 LEAP 隨後便能立即追蹤剩餘影片中的長頸鹿動作姿態(大約 500 幀)。

過去類似的 AI 工具都仰賴大量的手動註釋數據訓練,使其能夠在各種不同背景、光線的數據上工作,而在 LEAP 上因為開發團隊建立的系統,使用者可以選擇適合用戶收集的數據類型的神經網路,而不會受到其他研究人員或公司進行項目的限制。”

在未參與研究英國皇家獸醫學院(RVC)Monica Daley 看來,這項工作在神經科學之外也具有巨大的潛力。Daley 的多數研究都在了解動物如何在不同的地形環境下有效地移動,而這當中做大的挑戰便是從影片片段中提取有意義的訊息,LEAP 有望讓相關研究者的工作變得比以往更自動化,能夠專注於研究更多種類的動物運動行為。

當研究者將 LEAP 與其他定量工具相結合後,便能透過觀察動物身體運動模式來研究所謂的「肢體語言」,而團隊內的神經科學家也就可以與背後的神經過程建立相關聯繫。

過去五年中,神經科學在觀察和操縱大腦活動的技術上取得了巨大進步,而在 LEAP 的協助下,未來動物行為的自動分類也能夠更加自動化,研究作者之一的 Joshua Shaevitz 認為,這不僅能使研究人員更好地了解大腦如何產生行為,也能夠探索未來對於需求者的診斷和治療方法。

(首圖來源:Princeton University

關鍵字: , , ,