砍掉 20% 瀏海、蘋果「擠牙膏」背後:螢幕下 3D 視覺技術的苦與痛

作者 | 發布日期 2021 年 09 月 27 日 11:07 | 分類 Apple , iPhone , 鏡頭 line share follow us in feedly line share
砍掉 20% 瀏海、蘋果「擠牙膏」背後:螢幕下 3D 視覺技術的苦與痛


剛過去的蘋果發表會,iPhone 13 亮點之一:瀏海砍掉 20%。對「苦瀏海久矣」的人而言,20% 幾乎沒有變化,網友都調侃是擠牙膏設計。不過技術面看這 20%,其實得來不易。

因為這片瀏海共有前置鏡頭、麥克風、雷射二極體等8個重要元件。對Face ID和前鏡頭有關鍵作用的主要兩部分:雷射二極體模組和接收裝置。

「從結構光的基礎原理來看,雷射二極體和接收裝置必須有一定距離,才能保持成像精準,且等效距離越長,精準度越高,反之亦然。這是蘋果保留瀏海的根本原因。」光鑑科技首席科學家呂方璐說。iPhone 12 這段距離約27公釐。此次瀏海縮減20%,蘋果官方表示,這「得益於感測器重排、微縫聽筒等技術引入」。

「如果要縮短等效距離且保持精準度,技術難度很大。」呂方璐表示,蘋果應是採取另一種方法,即藉由累積的臉部數據最佳化3D臉部演算法模型,放寬對3D成像的精準度要求。

換句話說,就是用演算法彌補感測器重排的數據感測精準度問題,這其實是取巧,要求也較高,要有大量臉部數據支持,持續最佳化演算法。但這種方法不具可複製性,一是演算法本身有缺陷,需不斷用數據回饋調整;二是現在臉部數據監管日趨嚴格。

最佳解決方法是將原有相機模組放入螢幕下,即業界經常提及的「螢幕下結構光解決方案」。這既符合全螢幕的發展趨勢,又能解決因縮短雷射二極體和接收裝置距離造成的成像精準度低問題。

早在2月,光鑑科技就和中興手機推出全球首款螢幕下結構光技術,引起輿論重視。呂方璐表示,螢幕下3D技術已達量產要求,但具體機型還涉及產品化開發和最佳化,未能實際量產。且螢幕下3D技術也還有些問題待解決。

透光率:螢幕下結構光的致命傷

談螢幕下結構光前,先簡單談談iPhone 3D結構光的技術原理。3D結構光模組包括發射端(點陣投影器和泛光感應元件)和接收端(紅外鏡頭),原理如下:

  1. 雷射二極體發出特定波長的近紅外光,形成橫截面積很窄的平行光束,經過擴束器後,橫截面積均勻放大。
  2. 放大後的光束,透過準直鏡頭平行,均勻入射光學衍生元件(DOE),光束經過器件時會形成特定的光學圖案,經過投影透鏡後發射。
  3. 光束投射到物體表面時,光訊號會變化。
  4. 接收端(鏡頭)接收到變化後,計算物體位置及深度等資訊,再經過特定的演算法復原三度空間。

泛光照明器(Flood illuminator)由低功率VCSEL雷射和擴散片等組成,作用是發射不可見紅外光線,使紅外鏡頭在黑暗中也能接收反射自面部的點陣圖案。螢幕下結構光,其實就是將包含這些元件的相機模組裝在「透明」螢幕下,既能保持攝影功能,又最大化利用螢幕面積。

但衍生的問題是:透明的螢幕對相機模組的成像精準度影響多大?如何彌補光通過螢幕時的能量損耗?光從雷射二極體發出、抵達物體表面,再被感測器吸收,要穿過螢幕兩次,會造成能量損耗,這就是螢幕下結構光面臨的「透光率」問題。

「對紅外線來說,目前螢幕經過特殊處理後,光透率約30%,甚至更低。」呂方璐表示,螢幕下結構光只能採用OLED螢幕,因OLED屬於有機材料發光,不需類似LCD的背光源。

不過有機發光材料發光需電流,且電極層一般不透光,所以雷射二極體發的光通過螢幕時,大部分光會被電極層擋住或散射掉,造成很小部分光可利用。此外光通過螢幕時,由於螢幕本身是週期性結構,畫素不停重複,因此導致衍射效應,比如一束光會衍射為幾束光,光的傳播方向也會受影響。

而實際環境中,透光率還會受各種干擾影響。室外太陽光紅外線照在人臉,會干擾雷射二極體發出的紅外線。如果雷射二極體能量不夠,就會嚴重影響成像效果。

(Source:蘋果

「螢幕下結構光首先要保證螢幕效果顯示正常,不能影響用戶體驗,在此條件之下,再解決光透率問題,是最大的難點。」呂方璐表示,這也是阻礙螢幕下結構光「量產」的根本原因。

三種解法:螢幕、元器件和演算法

問題已提出,剩下的就是對症下藥找解方。螢幕下結構光最大的難題是「透光率」,可從三角度解決。一是從OLED螢幕出發,提高面板透光率,或螢幕客置化。

三星摺疊螢幕手機,用的是UPC(Under Panel Camera,螢幕下鏡頭)技術,核心是提高面板透光率的「Eco OLED」和最佳化畫素孔徑。提高透光率和客製化螢幕雖然最直接有效,但太依賴面板技術,且涉及面板供應商、螢幕下結構光解決方案商和手機廠商合作。

「螢幕從設計到開發再到實際運用,週期相對較長。」呂方璐表示,面板技術尚未取得開創性突破和大規模運用前,要提高透光率,就要另闢蹊徑。

二是從器件模組入手。

既然光通過螢幕時損耗,就可在發射端增強光能量抵消能耗。但這方法問題在增強光能量就要增加功率,更增加功耗。如何增強光能量時又不增加能耗,是這套方案的核心,也是技術難點。

三是利用演算法補償。

接收端收到光訊息後會計算,就會用到演算法,可最佳化演算法補償「透光率」的部分能量損耗。如果數據量夠大,演算法夠成熟,便可降低成像精準度的要求。

如蘋果Face ID就利用臉部數據訓練3D演算法。這方法的缺陷也很明顯:需要大量數據,且演算法面對特定場景時也會有偏差。

(Source:Flickr/Tinh tế Photo CC BY 2.0)

三種解法從不同方面提高「透光率」,但其實相互交叉,如面板客製化,要適應器件模組,要與演算法相結合;相關演算法雖然可最佳化成像精確度,只能當輔助。「要做到螢幕下結構光量產,需要整個產業鏈合作與進步。」呂方璐表示。

中國螢幕下結構光之殤

從瀏海螢幕到打孔螢幕,縮小瀏海以擴大螢幕的使用面積,最終達到全面螢幕,一直以來是手機廠商的終極目標。

螢幕下3D結構光被視為最佳解決方案,雖然有「透光率」問題待解決,但方法總比問題多,上述三種解法可解決大部分難點。然而中國廠商要發展螢幕下結構光,還要面臨技術外的高門檻:專利。

3D結構光需要雷射二極體發射數萬個雷射散斑,這對雷射器性能和功耗要求很高,目前基本是用VCSEL雷射二極體;光線還透過衍生光學器件(DOE)「衍射」,「切分」光線,以達成投射雷射散斑的功能。遺憾的是兩大元件,VCSEL雷射器和衍射光學元件(DOE)製造,基本上為美國、英國及台灣廠商壟斷,中國僅三安光電可代工VCSEL晶片。

蘋果無疑是「VCSEL+DOE」3D結構光方案的核心受益者,同時也掌握技術專利。專利保護愈受重視的背景下,這給蘋果以外廠商一個難題:如何做一套具備完全智慧財產權的方案?

光鑑科技對此的解法是:以邊緣發射雷射器(EEL)為光源,然後利用自研的波前調製器(WFP),透過在亞波長尺度調整光場,做到投射雷射散斑功能。這方法避免「VCSEL+DOE」的技術專利,EEL的製程比較成熟,成本上也可控,中國廠商有相應的生產能力。

「光鑑科技的WFP晶片,製程大概250奈米,中國廠商已能量產。」呂方璐表示。

對螢幕下結構光難點,光鑑科技主要從器件模組和演算法突破,藉由與OLED螢幕廠商長期研發合作,最佳化3D成效效果和螢幕顯示效果。

元件方面,光鑑科技提高雷射發射模組從電到光的整體轉換效率,也就是發射端增強光能量;同時基於EEL邊緣發射雷射器減短脈衝,提升光線強度,補償因「透光率」失去的能量損耗。

雷射發射模組從電到光的整體轉換效率相較VSCEL方案提高80%;EEL邊光發射器每個脈衝的亮度是VSCEL方案4倍左右。演算法部分,光鑑科技利用自研演算法建構雷射資訊,保持同樣效果的情況下縮減算力,不必依靠ASIC晶片,以減少計算成本。

「光鑑科技和蘋果是不同路徑,避免了與蘋果專利衝突的風險,核心元件都國產化。」呂方璐表示,中國廠商也在創新,如奧比中光,螢幕下3D技術越來越受重視。

總結

從蘋果Face ID的3D結構光,到業界共推的全螢幕,「瀏海」不斷縮小背後是技術更新與演進。

「未來視覺必然會從2D轉到3D,因3D資訊更豐富全面。」呂方璐表示,3D資訊能簡化計算量,不需收集過多數據和模型訓練。螢幕下3D結構光為全螢幕核心技術,雖然技術還有難點,但應用前景較樂觀。

「未來一兩年,螢幕下3D結構光技術應該就能大規模運用。」

(本文由 雷鋒網 授權轉載;首圖來源:蘋果