DeepFake 天敵出現：用血氧儀原理辨識假臉，準確率超過 90%

DeepFake 已經不再是只有少數科研人員掌握的技術了，它被越來越多懷有不良動機的人應用到現實生活的各方面中，引發不必要的誤解，比如說製作色情影片或者假新聞等。

最近，一篇刊登在 IEEE PAMI （模式分析與機器智能彙刊）上的論文稱，有新的方法能夠準確辨識 DeepFake 影片，甚至能以很高的準確率，辨識出影片採用的是哪種 DeepFake 演算法。

這篇論文有意思之處，在於它的思路別出心裁：辨識臉部因心跳血流產生的微弱變化。

血管遍布人體全身，包括臉上。比如在睡覺的時候，你可能會感覺到臉部血液流動產生的輕微「跳動」感。隨著心跳導致的血液流動，人體皮膚也會出現區域性顏色變化。常見的脈搏血氧儀，其工作方式其實就是辨識這種變化（學名叫做光體積變化描記圖法 Photoplethysmography，簡稱 PPG。後面還會提到這個詞）。

因心跳產生的皮膚顏色變化，在人臉上同樣會出現，只是極其微弱，對肉眼不可見，在影片裡就更難看出來了。不過對影片進行特定處理，增強顏色變化的效果，肉眼就可以很明顯地觀察出來：

你可能想問：這種方法辨識心跳準確嗎？當然準了，Apple Watch 和一大堆血氧儀都採用這種方法，它的準確率和心電圖基本吻合，如下圖所示：

3 位分別來自紐約州立大學賓漢頓分校和英特爾公司的研究人員，在這篇新論文裡提出了一個重要的主張：無論是在空間維度還是時間維度上，DeepFake 的假人臉都無法還原這種因血液流動造成的微弱變化。

空間維度就是臉部區域，時間維度就是心跳頻率。DeepFake 的假人臉，體現不了這種微弱變化，在進行大量測試後，研究人員發現：DeepFake 影片裡的人臉，讀取到的 PPG 信號是不穩定的。

這句話的意思是：如果你對 DeepFake 影片進行增強，會發現血流變化產生的顏色變化在人臉上顯示非常不自然，變化的頻率也完全不像真的心跳。

從下圖中你可以看得更清楚：4 種 DeepFake 演算法生成的影片，產生的 PPG 信號都有很多「雜訊」，而真實影片的「雜訊」很少。

（Source：論文，以下同）

基於這個主張，研究人員設計了一套基於卷積神經網路的模型，命名為 FakeCatcher。

FakeCatcher 從不同的 DeepFake 影片中提取 1. 關鍵的人臉區域、2. 讀取 PPG 信號，將兩者組合成一個時空模組（稱為一個 PPG 元素），再對 PPG 元素進行學習，最終就可以給出答案了。

在 Face Forensics++、CelebDF 等常用的假臉數據集上，FakeCatcher 的準確率能夠超過 90%。

更厲害的是，FakeCatcher 不光能認出影片的真假，還能準確辨識出假影片用的是哪種 DeepFake 演算法──這是因為每種演算法的殘差效果雜訊都有足夠明顯的特種。研究人員透露，他們在 DeepFakes、Face2Face、FaceSwap 和 NeuralTex 4 種主流演算法上的辨識準確率整體超過了 93%。

研究人員認為，這篇論文中提出的 PPG 信號辨識思路，對於 DeepFake 的辨識和偵測能夠開啟一個全新的方向。接下來，他們打算訓練一個更複雜的模型，同時對真實影片和 DeepFake 影片的 PPG 信號進行訓練。

所謂道高一丈魔高一尺，趕在 DeepFake 演算法被大肆濫用之前堵住他們的路，讓他們無路可走。

（本文由品玩授權轉載；首圖來源：紐約州立大學賓漢頓分校）