計算攝影當道:你按快門時,手機正拚命算數學突破限制

作者 | 發布日期 2021 年 09 月 01 日 8:45 | 分類 手機 , 軟體、系統 , 鏡頭 Telegram share ! follow us in feedly


進入數位時代,影像產出優劣幾乎可與感測器尺寸成正比,尺寸越大天然優勢就大,配合傳統物理光學桎梏,很難「逆襲」。

智慧手機感測器只有指甲大小,以及受限體積,鏡組設計左右為難。以傳統影像思路,有種腹背受敵的感覺,難以突破物理上限,更別說創新。

▲ 稱為「計算攝影」之父的 Marc Levoy。(Source:科技新報)

一直到 Google Pixel 初代發表,並一舉奪得 DxOMark 桂冠,人們逐步意識到「計算攝影」的魅力。再到 iPhone 12 系列發表會,蘋果花很長時間介紹 iPhone 的「計算攝影」進步,以及功能提升。

可說此時計算攝影成為潮流,相對傳統物理光學停滯不前,似乎有更多潛能,甚至只靠演算法就能達「無敵」境界。以往演算法可能只是錦上添花,讓圖片顏色更好看,夜景更純淨,逆光更清晰,但最近 MIX 4 以及 iOS 15「處理」圖片已不僅停留好看層面。

小米 MIX 4 最大亮點可說是那塊螢幕下鏡頭技術實現的全螢幕。全螢幕概念逐步實現,除了螢幕技術突破,計算攝影也發揮很大用處。現在 CUP 區域螢幕透過「小畫素」、「透明導線」等技術規避衍射效應和增強透光率,但相對普通 OLED 螢幕,透光率依舊不足 20%。

▲ OPPO 螢幕下鏡頭原型機。

小米 MIX 4 之前,OPPO 也公布螢幕下鏡頭原型機,並表示接下來目標是把透光率提升到 40%,但距離傳統 90% 依舊有很大的空間。這差距就交給「計算攝影」,把物理光學變成數學題。

據小米分享,MIX4 相機產線會逐一根據螢幕校準,再透過「衍射模型」減弱衍射效應,以及多幀 HDR、降噪、去霧,最終成像前還會最佳化細節色彩等。透過實測,基本能達接近 80% 自拍效果。不過這演算法僅限自家相機 App,還未開放第三方或第三方最佳化,三方 App 調用前置很容易「露餡」。

iOS 15 蘋果也利用「演算法」消除一點 iPhone 鏡頭的光學缺陷。

▲ Shot on iPhone。(Source:Reddit)

從 iPhone 11 系列開始,由於鏡組設計面對點光源拍攝時,會出現「鬼影」,尤其夜間,彷彿現實世界有面透明鏡子。這在社群引發大量討論,一直到 iPhone 12 系列發表,蘋果依然沒有改善,鬼影依舊。

▲ 右為 iOS 15 Beta 4。(Source:Reddit)

iOS 15 Beta 4 更新版,蘋果用演算法處理掉部分照片鬼影。除了抹除,iOS 15 Beta 4 的特性還會依圖片內容自動辨識鬼影。風景類照片更容易判斷,室內可能就沒有那麼有效,鬼影仍然存在。

▲ 右為 iOS 15 Beta 4。(Source:Reddit)

Reddit 相關貼文下,從 iPhone XS 到 iPhone 12 Pro Max 都可最佳化鬼影,非限最新機型。隨著 9 月 iOS 15 正式版報到,相信「鬼影」會完全消失。

傳統影像領域「鬼影」只能避免,很難透過光學設計完全消除。而超廣角鏡頭使用誇張大鏡片,以及內部各種非球面鏡等特殊鏡片避免「缺陷」。蘋果利用演算法解決光學缺陷,可謂另闢蹊徑,跳出傳統影像廠商鏡片堆料解決缺陷的慣性思維。

iPhone 12 系列會後採訪,蘋果軟體副總裁同時也是負責 iPhone 影像系統的 Jon McCormack 表示,「蘋果的思維方式與專業傳統影像廠商不一樣」、「我們的目標是讓每個人都能講自己的故事」。

相對微單眼、單眼相機這類工具屬性產品來說,智慧手機影像更以使用者角度出發,如透過演算法最佳化色彩,多幀合成「夜景」、HDR 等。智慧手機也是目前唯一兼顧採集、編輯、加工、分享於一體的裝置,地位特殊。也是如此,才催生「計算攝影」這種在傳統攝影領域認為「劍走偏鋒」的路線。

不同於專業影像廠商,包括手機廠商,其實一直在探索 Camera 3.0 革命性創新(Camera 1.0 是膠片時代,2.0 是數位時代,從化學領域轉移到物理領域)。

▲ Light L16。(Source:The Verge)

2015 年發表的 Light L16 多鏡頭相機被華爾街日報稱之為「相機的未來」,國家地理雜誌甚至稱是有革命性意義的相機。採集原理從現在來說與智慧手機多鏡頭系統類似,16 枚鏡頭(廣角、長焦、中長焦等)一同參與成像,最後輸出一張「無瑕疵」照片。

▲ Light L16 最終成像使用的各鏡頭。

Light L16 概念一出,成為媒體寵兒也獲得 Google Ventures 3,000 萬美元投資,但產品不斷跳票延期。最後上市後的 Light L16 相機並沒有完成最初構想,除了硬體軟體一團糟,2017 年 Mobile01 相機編輯 Ki_min 測試完後,發現所謂的多鏡頭演算法合成其實是簡單數位裁切,很多功能並未達成。

最關鍵的是,Light L16 並沒有任何算力解決「一條龍」處理,依然需要 PC 級計算平台輔助,才能完成輸出。現在回頭看,Light L16 應該只算半成品,缺少的就是計算平台和演算法。成功吸引很多媒體關注,靠的其實是成像概念,也就是演算法,現在來說就是「計算攝影」。

「計算攝影」最初出現是為了彌補手機小感光元件的缺憾,隨著晶片算力增強,智慧手機影像逐步成為競爭長賽道,讓「計算攝影」有十足進步。現在憑著演算法,讓 CUP 全螢幕趨於成熟,讓曾經困擾鏡頭設計師的「鬼影」消失。計算攝影不再承擔「最佳化」角色,逐步走向前台,成為提高畫質、成像品質的關鍵。

倘若當時 Light L16 擁有如今的手機算力,可能會是相機的未來之一,但並非 Camera 3.0,「計算攝影」才是。

(本文由 愛范兒 授權轉載;首圖來源:pixabay