讓 iPhone 拍照能力大升級的計算攝影,相機為什麼不用?

作者 | 發布日期 2020 年 12 月 26 日 9:00 | 分類 Android 手機 , iPhone , 軟體、系統 Telegram share ! follow us in feedly


iPhone 11 系列發表會時,蘋果高級副總裁菲利普‧席勒(Philip W. Schiller)介紹 iPhone 11 Pro 系列的影像系統時,第一次將計算攝影概念引入,也是第一次與大眾見面。

其實計算攝影概念並不新鮮,最早出現於 1994 年一篇公開論文,且認定機內合成 HDR、全景照片及模擬散景都屬於計算攝影範疇。但當時照片主流載體還是底片,數位相機才剛起步,手機都還沒有裝相機。

▲ iPhone 11 Pro 發表會介紹計算攝影的菲利普‧席勒(Philip W. Schiller)(前)。(Source:Mike Deerkoski, CC BY 2.0, via Wikimedia Commons)

幾十年後,影像紀錄的載體從底片換成數位,手機擁有鏡頭,計算攝影也從理論裡走出來,漸漸成為潮流。

不過這潮流跟相機關係不大,相機廠商依然按部就班提高畫素、連拍速度和影片能力,似乎對計算攝影充耳不聞,拍出來的照片(直出)依舊很平庸,漸漸被智慧手機「超越」。

相反的是,智慧手機晶片的演算力越來越強,AI、演算法、機器學習介入的範圍也更廣,圖像演繹方法越來越多,最終經過一系列「演算法」處理過的照片也愈發好看。

現在,很多人出門更願意用手機記錄分享,相機越來越少見,這也反應到兩者市場表現,智慧手機市場增速強勁,相機市場則連年萎縮,甚至 DC(卡片相機)都漸漸消失。

這時,就有人會問了,既然智慧手機隨手拍照片的觀感這麼好,為何傳統相機廠商不跟隨計算攝影的潮流,考慮提高照片直出品質呢?

相機演算力不夠?

這個問題先從「核心」談起。

手機核心是 SoC,整合 CPU、GPU、ISP、NPU 及基頻等,讓你打電話、拍照、看影片、玩遊戲、上網等,也直接決定手機的性能。

而相機的核心部件是圖像感測器(CMOS),除了元件面積外,跟手機差不多,負責成像與感光。控制整套相機系統的中央處理晶片叫圖像處理器(Image Processor)。

以 Sony 的 BIONZ X 圖像處理器為例(α7 系列御用),包括 SoC 和 ISP 晶片,並沒有將 ISP 整合至 SoC,優點是 Sony 可自行根據 CMOS 的性能需求,自行增加 ISP 晶片的數量(α7RIII 的 BIONZ X 就配備雙 ISP),缺點就是整合化程度沒有手機那麼高。

BIONZ X 中 SoC 的作用跟手機類似,控制操控介面與相機功能,性能要求並不高。拜爾轉型、解馬賽克、降噪、銳化等處理圖像感測器採集的「數據」,多是依靠 ISP,最終把 CMOS 採集數據轉換成相機即時取景。過程中相機 ISP 不涉及運算,只是把照片當成流水線產品,統一處理。

▲ Sony BIONZ X 圖像處理器。(Source:Sony)

隨著現在相機畫素數、連拍速度及影片性能不斷提升,相機圖像處理器對圖片處理的速度和吞吐量需求很高,單一數據量很龐大,不列入「計算」的前提下,相機圖像處理器的處理能力遠超過現在智慧手機 ISP 的處理能力。

但說到計算攝影或說 AI 能力,就不太一樣了。智慧手機的成像過程類似相機,不過呈現最終畫面前,還需要 ISP、DSP 計算,即時調整最佳化,尤其是在多鏡頭系統成主流後,手機的計算數據量成倍增長。

iPhone 11 Pro 系列推出多鏡頭系統後,能平滑無縫切換的背後是 A13 Bionic 新增的兩個機器學習加速器龐大的數據處理能力,達到每秒 1 兆次,如此高頻高效的數據處理能力,才算吃下三個鏡頭產生的龐大數據量。

相機的圖像處理器多是預處理原始數據,幾乎沒有計算過程,而手機 SoC 包括數據採集預處理及後續計算,兩者著重方向不同。

針對群體不同,市場細分的結果

手機計算攝影發展很快,還是因手機的圖像感測器(CMOS)尺寸太小,以現在的技術,想在物理超過或接近相機只能透過演算法最佳化,拚直出觀感,如自動 HDR、超級夜景、模擬大光圈、魔法換天等功能。

▲ 拍攝一張照片 iPhone 花費的「計算」步驟。(Source:蘋果)

但演算法演繹做到「個性化」干預還是很難,如濾鏡加到什麼程度,HDR 高光暗部保留到什麼程度等。不過對大眾手機而言,盡可能讓大多數人拍出不錯的照片,會更符合手機的市場和族群定位。

自相機發明以來,就有絕對的「工具」屬性,為了高效率,外觀、操控、功能等均與效率妥協。針對更小眾的職業族群,自然也會更符合需求,相機會盡可能記錄色深、色彩、光線等資訊,以便使用者更自由後期調整,直出好不好看,並不在他們的需求裡。

▲ RAW 檔記錄更多資訊,可進行更多調整。(Source:Ben Sandofsky)

對大多數沒有攝影基礎的人來說,隨手獲得一張觀感不錯的照片,遠比得到一張資訊豐富的照片更重要。而對專業領域的相機廠商,提升 RAW 記錄的色深要比提升 JPG 直出效果更符合市場定位。

不過事情都非絕對,相機也在嘗試改變。富士(Fujifilm)就一直致力相機直出效果,引入「底片模擬」,透過不同演算法,讓照片更有味道,觀感也更好看。但這過程並沒有經過場景計算,而是需使用者自行選擇,這與手機一些底片模擬 App 有點類似,還不到所謂的「計算攝影」。

AI 後期,才是相機的大方向?

攝影領域中,後製處理是必不可少的步驟,一方面後製軟體可充分利用 RAW 格式記錄的豐富資訊,另一方面也可藉助 PC 的高性能和演算力快速處理照片。

與相機廠商不同,幾乎主流專業後製軟體都開始發力 AI,強調 AI 的處理能力。

▲ 後製軟體 Luminar 4 支援 AI 自動換天空。(Source:Luminar)

Adobe 的 Photoshop 近幾版更新,修復、磨皮等都加入自動辨識功能,操作越來越無腦,效果越來越精確。Mac 平台的 Pixelmator Pro 修圖軟體,早在 2018 年就開始借助蘋果的 Core ML 機器學習辨識圖像,調整選取色彩,甚至壓縮輸出時都運用 ML​​ 機器學習引擎。

▲ Pixelmator Pro 2.0 的圖像編輯支援機器學習引擎助力。(Source:Pixelmator)

現在相機廠商由於晶片 AI 演算力限制,和針對小眾市場問題,幾乎沒在計算攝影著力。但後製軟體 AI 爆發,也算側面彌補相機計算攝影的短處。

即使運算後製軟體 AI,相機依然沒有擺脫傳統流程,相機記錄,軟體處理,對大眾來說依然繁瑣。對專業的攝影玩家,後製軟體 AI 介入,的確減少工作量,讓原本繁複操作輕鬆不少,但依然無法扭轉傳統攝影業的照片處理(創作)流程,與手機截然不同。

▲ 2020 年 9 月全球數位相機出貨量,遠不及 2018 年。(Source:CIPA)

據 CIPA 數據,相機市場逐步萎縮,相反的是手機市場不斷增長。智慧手機成為潮流的「計算攝影」,並不會改變相機日趨專業的方向,也不會扭轉相機市場逐步萎縮的局面。

換句話說,即使現在相機有與智慧手機接近的「計算攝影」能力,就能挽救「江河日下」的相機市場嗎?答案當然是否定。舉個極端例子,直出可行的話,那富士相機就會有第一市場占比。事實上,現在無反相機第一的寶座,反而由直出並不好看的 Sony 占據。

▲ Sony 微單已成為不少工作室的工作用機。(Source:SmallRig)

面對來勢洶洶的手機,相機只能向更專業的方向發展,不斷向上細分市場,近年來全畫幅的 4,000 萬、6,000 萬高畫素,中畫幅的過億畫素,以及微單影片能力不斷接近專業攝錄一體機,都是相機細分市場的產物。

相機專業化越來越強,也就意味著需要性能更佳的圖像感測器(CMOS),但「計算攝影」倚重單獨機器學習模組,眾所周知,晶片研發成本高、風險大,相機廠商難以兼顧。計算攝影和發展專業化是兩條不同的路,對專業用戶用處不大的「計算攝影」、「AI 干預」等特性,相機廠商大概都因平衡研發費用,暫時戰略性放棄。

現階段或可見的未來,相機廠商要擁抱「計算攝影」風險高、投資大、成效慢,難上加難,更別說現在還有一眾專業後製軟體用 AI 修圖為基礎。

(本文由 愛范兒 授權轉載;首圖來源:pixabay

延伸閱讀:

關鍵字: , , ,