新 iPhone SE 2 單鏡頭也能拍出淺景深照,這是怎麼做到的?

作者 | 發布日期 2020 年 05 月 01 日 11:00 | 分類 Apple , iPhone , 晶片 Telegram share ! follow us in feedly


用單鏡頭拍出景深照並不是新鮮事,之前 iPhone XR 及更早的 Google Pixel 2 都有類似嘗試。

蘋果新推出的 iPhone SE 也是如此,但鏡頭元件過於老舊,主要功勞還是在新演算法。

▲ 左起為新 iPhone SE、iPhone 8 和 iPhone XR 的鏡頭感測器。

從 iFixit 拆解報告得知,新款 iPhone SE 某些零部件和 iPhone 8 完全相同,甚至可互換使用──就包括 1,200 萬畫素的廣角鏡頭。

「舊瓶裝新酒」對 iPhone SE 而言不稀奇。退回 4 年前,第一代 iPhone SE 也套用 5s 的外觀和大部分硬體,只有晶片和 6s 一樣,讓用戶以更低價格獲得旗艦機的性能體驗。

理論上,照搬相同的鏡頭硬體,兩者拍照特性應該也不會有太大差異。比如 iPhone 8 就不支援拍主體清晰、背景模糊的小景深照片,也就是我們常說的「人像模式」。

但查閱蘋果的支援頁面時會發現,iPhone 8 不支援人像模式,新 iPhone SE 卻有支援──哪怕兩者都只有一顆後鏡頭,且規格完全一樣。

正常情況下,手機拍「人像模式」景深照片都得靠雙鏡頭──好比人類的雙眼,位置不同的鏡頭取得兩張不同角度的畫面,然後結合視角差算出景深,做到背景有景深,保持主體清晰。

如今列表的 Plus 系列,或是近幾年 X、 XS 和 11 等,基本都是靠多鏡頭系統做到人像景深。

那麼 iPhone 的前置單鏡頭又怎麼做到?核心在 Face ID 系統的紅外點陣投影器,也能取得夠精確的深度數據,相當「輔助鏡頭」。

這麼來看,iPhone SE 能拍人像模式照片就很特殊了:一來沒有多鏡頭,二來沒有 Face ID,基本沒有硬體支援的可能性。

很顯然,蘋果在軟體層面做了些看不到的改動。

最近,第三方相機應用 Halide 的開發者 Ben Sandofsky 就透露技術原理,解釋為什麼新 iPhone SE 採用和 iPhone 8 一樣的單鏡頭規格,但卻可以做到後者無法做到的人像拍照模式。

他們表示,新 iPhone SE 很可能是「第一款只使用單一 2D 圖像,就可以生成人像景深效果的 iPhone」。

你可能會反駁,iPhone XR 不也是單鏡頭拍景深的嗎,難道 SE 就不是照搬?

然而拆解證明,iPhone SE 和 iPhone XR 的鏡頭不一樣,這也導致兩者技術有差異。

▲ 三星 Galaxy S7 系列是首次將 DPAF 技術用在智慧手機鏡頭的設備。

最重要的一點,iPhone XR 鏡頭可使用雙畫素自動對焦(DPAF)技術取得一定深度數據,而不完全只靠軟體模擬。

簡單來說,DPAF 技術相當於將鏡頭感測器的畫素點,分割成兩個更小的並排畫素,捕捉兩張角度不同的照片,就像人類左右眼。

雖然這產生的視角差不如原生雙鏡頭明顯,但仍有利演算法搆建深度訊息。

▲ Google Pixel 2、3 使用 DPAF 技術取得兩張視差圖,肉眼難以辨別,但仍可幫助圖像分割演算法判斷。

之前 Google 在 Pixel 2、3 也運用此技術達成單鏡頭拍出景深照。而在 Pixel 4,由於升級多鏡頭,視差探測明顯比單鏡頭更精準。

▲ 再來看看 Pixel 4 靠兩顆鏡頭獲得的數據,視差更明顯,也能收集到更精確的數據。

至於新 iPhone SE,由於感測器過於老舊,Halide 稱無法依靠感測器取得視差,基本只能靠 A13 Bionic 晶片提供的機器學習演算法,模擬和生成深度數據圖。

一句話解釋就是,iPhone SE 的人像景深拍攝,真的就是完全靠軟體和演算法。

▲ 使用 iPhone XR 和新 iPhone SE 直接拍這張照片。

Halide 用 iPhone XR 和新 iPhone SE 分別翻拍一張狗狗照(並非實物,只是拍「一張照片」),然後比較兩張圖的深度數據。

他們發現,iPhone XR 僅簡單圖像分割,將主體抓出來,但沒有正確辨識出狗狗的耳朵。

▲ 深度數據圖,左邊是 iPhone XR,右邊是新 iPhone SE。

但新 iPhone SE 配合 A13 晶片全新演算法,得到完全不同於 XR 的深度圖,不僅正確辨識出小狗的耳朵和整體輪廓,還分層處理遠近背景。

這種深度圖不是 100% 準確,Halide 表示,新 iPhone SE 拍攝非人臉題材時,抓圖和景深明顯沒有拍人像精確。

尤其主體和背景圖十分模糊的情況下,此時多鏡頭頭的優勢較明顯。

▲ 非人臉題材且主體和背景沒有明顯分割,新 iPhone SE 就很容易出錯。

從上圖可看到,配備多鏡頭系統的 iPhone 11 Pro,不僅能將圓木小植物輪廓完整勾出來,且還能辨識背景的遠近距離,並分層處理。

▲ 深度數據圖,左邊是 iPhone 11 Pro,右邊是新 iPhone SE。

而新 iPhone SE 儘管同樣有分層處理,但主體和背景完全融在一起,後期處理時自然比 iPhone 11 Pro 差。

▲ 實際景深樣張,左邊是 iPhone 11 Pro,右邊是新 iPhone SE。

這也是為什麼,現在新 iPhone SE 使用 iOS 內建相機應用時,只有檢測到人臉的情況下,才能啟用「人像模式」拍景深照片,其餘都會出現錯誤提示,這點和 iPhone XR 一樣。

原因仍然和蘋果演算法有關。Halide 提及名為「Portrait Effects Matte」(人像效果遮罩)技術,主要用於人像模式拍照找出精確的人物輪廓,包括邊緣髮絲、鏡框等細節,以便分割主體和背景。

目前來看,這套基於機器學習的分割技術更偏向「拍人」,可彌補 iPhone XR 、iPhone SE 這類單鏡頭手機視差數據的不足,但如果拍攝對象從人物換成物體,演算法會有一定機率判定錯誤。

至於 iPhone 11 Pro 這類多鏡頭手機,就算抓圖演算法有局限,還是可透過鏡頭硬體直接取得視差數據,所以使用內建相機時,也能在非人臉場景使用人像模式,效果不會太差。

▲ 新 iPhone SE 的前鏡頭也支援人像模式,對抓人臉準度非常高,成像差異只有散景效果。

當然,官方不支援的東西,第三方開發者還是可加以改造。如今 Halide 應用就支援 iPhone XR、SE 拍攝小動物或其他物體的景深照,背後也是利用蘋果的人像效果遮罩技術來構建深度圖,同時配合後端優化。

▲ 使用 Halide 等第三方應用,就可以用新 iPhone SE 拍非人臉題材的景深照。

總結此次新 iPhone SE 的人像景深照,算是單鏡頭手機靠軟體優化的極限了。嚴格意義得歸功於 A13 晶片,如果不是它的最新演算法,單靠一顆過時的鏡頭,SE 的拍攝體驗顯然得打對折。

這多少證明,智慧手機發展多鏡投系統仍有意義。我們可用超廣角拓寬取景視野,靠潛望式長焦獲得無損變焦照片,更別說 ToF、雷射雷達這類「特殊鏡頭」對 AR 的幫助,這些都不是單靠 OTA 升級或演算法就能做到的特性。

當然,一味吹噓、比拚鏡頭數量同樣令人厭煩,如果說硬體只是決定成像下限,那麼優秀的演算法,就能顯著拉升成像上限,甚至重新壓搾出老硬體的價值和潛力。

不知道再等個 4 年,下一代 iPhone SE 面世時,單鏡頭還能否在手機業有一席之地?

(本文由 愛范兒 授權轉載;首圖來源:蘋果