iPhone 11 系列發表會時，蘋果高級副總裁菲利普‧席勒（Philip W. Schiller）介紹 iPhone 11 Pro 系列的影像系統時，第一次將計算攝影概念引入，也是第一次與大眾見面。
其實計算攝影概念並不新鮮，最早出現於 1994 年一篇公開論文，且認定機內合成 HDR、全景照片及模擬散景都屬於計算攝影範疇。但當時照片主流載體還是底片，數位相機才剛起步，手機都還沒有裝相機。
▲ iPhone 11 Pro 發表會介紹計算攝影的菲利普‧席勒（Philip W. Schiller）（前）。（Source：Mike Deerkoski, CC BY 2.0, via Wikimedia Commons）
幾十年後，影像紀錄的載體從底片換成數位，手機擁有鏡頭，計算攝影也從理論裡走出來，漸漸成為潮流。
不過這潮流跟相機關係不大，相機廠商依然按部就班提高畫素、連拍速度和影片能力，似乎對計算攝影充耳不聞，拍出來的照片（直出）依舊很平庸，漸漸被智慧手機「超越」。
相反的是，智慧手機晶片的演算力越來越強，AI、演算法、機器學習介入的範圍也更廣，圖像演繹方法越來越多，最終經過一系列「演算法」處理過的照片也愈發好看。
現在，很多人出門更願意用手機記錄分享，相機越來越少見，這也反應到兩者市場表現，智慧手機市場增速強勁，相機市場則連年萎縮，甚至 DC（卡片相機）都漸漸消失。
這時，就有人會問了，既然智慧手機隨手拍照片的觀感這麼好，為何傳統相機廠商不跟隨計算攝影的潮流，考慮提高照片直出品質呢？
相機演算力不夠？
這個問題先從「核心」談起。
手機核心是 SoC，整合 CPU、GPU、ISP、NPU 及基頻等，讓你打電話、拍照、看影片、玩遊戲、上網等，也直接決定手機的性能。
而相機的核心部件是圖像感測器（CMOS），除了元件面積外，跟手機差不多，負責成像與感光。控制整套相機系統的中央處理晶片叫圖像處理器（Image Processor）。
以 Sony 的 BIONZ X 圖像處理器為例（α7 系列御用），包括 SoC 和 ISP 晶片，並沒有將 ISP 整合至 SoC，優點是 Sony 可自行根據 CMOS 的性能需求，自行增加 ISP 晶片的數量（α7RIII 的 BIONZ X 就配備雙 ISP），缺點就是整合化程度沒有手機那麼高。
BIONZ X 中 SoC 的作用跟手機類似，控制操控介面與相機功能，性能要求並不高。拜爾轉型、解馬賽克、降噪、銳化等處理圖像感測器採集的「數據」，多是依靠 ISP，最終把 CMOS 採集數據轉換成相機即時取景。過程中相機 ISP 不涉及運算，只是把照片當成流水線產品，統一處理。
▲ Sony BIONZ X 圖像處理器。（Source：Sony）
隨著現在相機畫素數、連拍速度及影片性能不斷提升，相機圖像處理器對圖片處理的速度和吞吐量需求很高，單一數據量很龐大，不列入「計算」的前提下，相機圖像處理器的處理能力遠超過現在智慧手機 ISP 的處理能力。
但說到計算攝影或說 AI 能力，就不太一樣了。智慧手機的成像過程類似相機，不過呈現最終畫面前，還需要 ISP、DSP 計算，即時調整最佳化，尤其是在多鏡頭系統成主流後，手機的計算數據量成倍增長。
iPhone 11 Pro 系列推出多鏡頭系統後，能平滑無縫切換的背後是 A13 Bionic 新增的兩個機器學習加速器龐大的數據處理能力，達到每秒 1 兆次，如此高頻高效的數據處理能力，才算吃下三個鏡頭產生的龐大數據量。
相機的圖像處理器多是預處理原始數據，幾乎沒有計算過程，而手機 SoC 包括數據採集預處理及後續計算，兩者著重方向不同。
針對群體不同，市場細分的結果
手機計算攝影發展很快，還是因手機的圖像感測器（CMOS）尺寸太小，以現在的技術，想在物理超過或接近相機只能透過演算法最佳化，拚直出觀感，如自動 HDR、超級夜景、模擬大光圈、魔法換天等功能。
▲ 拍攝一張照片 iPhone 花費的「計算」步驟。（Source：蘋果）
但演算法演繹做到「個性化」干預還是很難，如濾鏡加到什麼程度，HDR 高光暗部保留到什麼程度等。不過對大眾手機而言，盡可能讓大多數人拍出不錯的照片，會更符合手機的市場和族群定位。
自相機發明以來，就有絕對的「工具」屬性，為了高效率，外觀、操控、功能等均與效率妥協。針對更小眾的職業族群，自然也會更符合需求，相機會盡可能記錄色深、色彩、光線等資訊，以便使用者更自由後期調整，直出好不好看，並不在他們的需求裡。
▲ RAW 檔記錄更多資訊，可進行更多調整。（Source：Ben Sandofsky）
對大多數沒有攝影基礎的人來說，隨手獲得一張觀感不錯的照片，遠比得到一張資訊豐富的照片更重要。而對專業領域的相機廠商，提升 RAW 記錄的色深要比提升 JPG 直出效果更符合市場定位。
不過事情都非絕對，相機也在嘗試改變。富士（Fujifilm）就一直致力相機直出效果，引入「底片模擬」，透過不同演算法，讓照片更有味道，觀感也更好看。但這過程並沒有經過場景計算，而是需使用者自行選擇，這與手機一些底片模擬 App 有點類似，還不到所謂的「計算攝影」。
AI 後期，才是相機的大方向？
攝影領域中，後製處理是必不可少的步驟，一方面後製軟體可充分利用 RAW 格式記錄的豐富資訊，另一方面也可藉助 PC 的高性能和演算力快速處理照片。
與相機廠商不同，幾乎主流專業後製軟體都開始發力 AI，強調 AI 的處理能力。
▲ 後製軟體 Luminar 4 支援 AI 自動換天空。（Source：Luminar）
Adobe 的 Photoshop 近幾版更新，修復、磨皮等都加入自動辨識功能，操作越來越無腦，效果越來越精確。Mac 平台的 Pixelmator Pro 修圖軟體，早在 2018 年就開始借助蘋果的 Core ML 機器學習辨識圖像，調整選取色彩，甚至壓縮輸出時都運用 ML 機器學習引擎。
▲ Pixelmator Pro 2.0 的圖像編輯支援機器學習引擎助力。（Source：Pixelmator）
現在相機廠商由於晶片 AI 演算力限制，和針對小眾市場問題，幾乎沒在計算攝影著力。但後製軟體 AI 爆發，也算側面彌補相機計算攝影的短處。
即使運算後製軟體 AI，相機依然沒有擺脫傳統流程，相機記錄，軟體處理，對大眾來說依然繁瑣。對專業的攝影玩家，後製軟體 AI 介入，的確減少工作量，讓原本繁複操作輕鬆不少，但依然無法扭轉傳統攝影業的照片處理（創作）流程，與手機截然不同。
▲ 2020 年 9 月全球數位相機出貨量，遠不及 2018 年。（Source：CIPA）
據 CIPA 數據，相機市場逐步萎縮，相反的是手機市場不斷增長。智慧手機成為潮流的「計算攝影」，並不會改變相機日趨專業的方向，也不會扭轉相機市場逐步萎縮的局面。
換句話說，即使現在相機有與智慧手機接近的「計算攝影」能力，就能挽救「江河日下」的相機市場嗎？答案當然是否定。舉個極端例子，直出可行的話，那富士相機就會有第一市場占比。事實上，現在無反相機第一的寶座，反而由直出並不好看的 Sony 占據。
▲ Sony 微單已成為不少工作室的工作用機。（Source：SmallRig）
面對來勢洶洶的手機，相機只能向更專業的方向發展，不斷向上細分市場，近年來全畫幅的 4,000 萬、6,000 萬高畫素，中畫幅的過億畫素，以及微單影片能力不斷接近專業攝錄一體機，都是相機細分市場的產物。
相機專業化越來越強，也就意味著需要性能更佳的圖像感測器（CMOS），但「計算攝影」倚重單獨機器學習模組，眾所周知，晶片研發成本高、風險大，相機廠商難以兼顧。計算攝影和發展專業化是兩條不同的路，對專業用戶用處不大的「計算攝影」、「AI 干預」等特性，相機廠商大概都因平衡研發費用，暫時戰略性放棄。
現階段或可見的未來，相機廠商要擁抱「計算攝影」風險高、投資大、成效慢，難上加難，更別說現在還有一眾專業後製軟體用 AI 修圖為基礎。
科技新報粉絲團
加入好友
訂閱免費電子報
