創造計算攝影的男人,現在要為每支手機裝上「Pixel 相機」

作者 | 發布日期 2020 年 07 月 31 日 10:00 | 分類 AI 人工智慧 , Android , Google Telegram share ! follow us in feedly


「這是迄今我們測試過最好的智慧手機相機」,DxOMark 表示。

2016 年智慧手機市場,每家都摩拳擦掌,準備大展身手,但任誰都想不到是,那年手機拍攝領域最亮眼的不是 iPhone 也不是三星,而是 Google Pixel。

Pixel 2 推出時,同樣情況再次上演,只用單鏡頭的 Pixel 2 超越同期大量雙鏡頭旗艦機,登頂 DxOMark,還有人像模式。此後 Pixel 系列也一直維持同樣策略,相機物理硬體並非最強,但在手機攝影領域卻有不俗表現,Pixel 3 更增加夜景模式、Pixel 4 增加天文攝影模式。

Marc Levoy 身為 Pixel 相機團隊首席工程師,正是推動一切的主要推手,用現在流行語來說,Marc Levoy 的計算攝影,改變了潮水方向。

與 Google 相遇

Levoy 原本就是攝影愛好者,個人網站能看到不少他拍攝的照片。他和 Google 的相遇則要從史丹佛大學說起。1990 年,Levoy 進入史丹佛大學電腦科學系,主要教授電腦圖形學、數位攝影、藝術科學等課程。

▲ Marc Levoy。(Source:科技新報)

1993 年,Levoy 借磁碟機給博士生 David Filo 和 Jerry Yang,他們用磁碟等工具建立目錄網站,就是之後的 Yahoo。同為博士研究生的賴瑞‧佩吉(Larry Page)和謝爾蓋‧布林(Sergey Brin)則在離 Levoy 辦公室兩扇門遠的地方研究網路索引,後來創立了搜尋網站:Google。

佩吉和 Levoy 的研究生共用辦公室,布林則是 Levoy 的電腦圖形課學生。在史丹佛,Levoy 幾乎目睹網路崛起,由於他和 Google 創始人的師生關係,漸漸與 Google 有越來越多聯繫。

佩吉和布林離開史丹佛創立 Google 後,很快就投資 Levoy 主導的研究計畫 CityBlock,透過拍攝影片並複製到圖片,再透過計算處理等方式復原實際場景,也就是後來 Google 商業化的 Google 街景。

Levoy 在計算攝影領域的深厚造詣讓 Google 團隊十分欽佩,以至於 Google X 實驗室遇到問題時第一時間就想到他。當時 Google X 正在研究名為 Google Glass 的產品,旨在推出可穿戴的「電腦」,這台電腦將以眼鏡形式現身。

據 Google X 實驗室部落格,由於 Google X 選擇眼鏡這種可穿戴式產品,對硬體要求極高,就算是常見的微縮型相機硬體模組,用到 Google Glass 還要保持較好拍攝效果,也並非簡單的事。

▲ 早期 Google Glass。

既然透過硬體達成很難或說幾乎不可能,是不是應該換個思考方向,試試用軟體解決?就這樣,Google X 找到計算攝影領域的專家 Levoy,幫忙一起解決問題。

最終 Levoy 和 Google X 團隊研究出名為 HDR 成像的演算法,即快速拍攝多張圖片,並透過計算處理合成一張高品質圖片。多張合成的方式更能渲染暗部細節,同時又能保證亮處不會過曝。

與 Google X 合作期間,Levoy 還做了個 App「SynthCam」,同樣用合成計算,讓使用微縮相機模組的手機也能模擬單反相機,達成拍攝主體外都模糊(景深)的效果。

▲ Levoy 用自製軟體 SynthCam 拍攝的照片。

儘管以現在眼光來看,效果不算特別好,但當時已是手機攝影領域的新突破。對計算攝影有極強興趣,促使 Levoy 史丹佛退休後加入 Google。

Pixel 系列,計算攝影的新起點

2014 年,Marc Levoy 從史丹佛退休,進入 Google 成為全職員工,擔任 Google 最具影響力的部門之一 Google Research 領導者,負責計算攝影領域。

和 Google X 實驗室合作時,Levoy 就意識到 HDR 演算法能應用在智慧手機,畢竟 Google Glass 和智慧手機都是行動終端機,便攜性是優勢。

就這樣,Levoy 帶領團隊在 Nexus 系列嘗試應用 HDR 演算法,不過效果不算太突出,Nexus 系列最後機型 Nexus 6P,就算使用 Levoy 團隊研發的升級款 HDR+ 演算法,DxOMark 分數也僅 73 分,和當時主流旗艦有段距離。

直到 Google CEO 皮查伊(Sundar Pichai)2016 年將「行動優先」口號轉為「AI 優先」,Pixel 系列就在這環境下誕生。

公司策略轉向,也讓專精軟體計算領域的 Levoy 獲得更多靈活度與資源,成為 Google 首款自研智慧手機 Pixel 系列的相機團隊負責人,相機正是 Pixel 系列的核心。

得益於 Pixel 新處理器驍龍 821,處理能力提升不少,Levoy 能讓 HDR+ 演算法更自由發揮,至少採集圖片和合成計算的速度提升不少,不會出現 Nexus 系列開啟 HDR 演算法手機就過熱,按快門鍵後需等一會才能拍完的情況。

2016 年 10 月 4 日,Google 正式發表 Pixel,相機模組和 Nexus 6P 相比並沒有太大變化,都是 1,230 萬畫素和 1.55μm 單畫素尺寸,只多了相位對焦功能。

但 Pixel 卻讓業界震驚,超越了同期旗艦 iPhone 7 Plus 和三星 S7,登頂 DxOMark 榜單。硬體幾乎沒有太大變化,但拍照能力卻大變,可見 Levoy 團隊開發的 HDR+ 演算法有多強。

2017 年,Levoy 又嘗試將 2011 年左右開發的 App SynthCam 技術拓展至 Pixel 2,同樣採集多張照片計算合成,不過為了不出現 Nexus 系列硬體扯後腿現象,Pixel 團隊特別為 Pixel 2 加入一顆「Pixel Visual Core」自訂影像處理單元,加速影像採集和計算速度。

有了硬體支援,Levoy 也更能發揮,這次他在 Pixel 2 加入 AI(神經網路),判斷物體相對位置,推出「人像模式」,做到人物主體清晰、背景逐漸模糊的景深效果。

不出意外,Pixel 2 再次超越同期旗艦三星 Galaxy Note 8 和 iPhone 8 Plus,登頂 DxOMark 榜首。

兩次都使用單鏡頭,兩次都是硬體普通甚至算落後(同期旗艦都是雙鏡頭),但 Pixel 卻兩次登頂,超越所有對手,這讓 Levoy 成為炙手可熱的人物,甚至稱為重新發明「計算攝影」之人。

計算攝影,改變了潮水方向

Pixel 系列成功並沒有讓 Levoy 沉溺,相反他又將目光轉向攝影領域的另一座高峰:夜間攝影。Pixel 推出同年,Levoy 已在做極端暗光條件下的拍攝實驗。

夜間攝影的光照條件當然比不上白天,且智慧手機為行動裝置,相機模組並不大,導致進光量極少,不開閃光燈的話,想拍清楚極困難。

Levoy 對計算攝影的強大信念讓他成功堅持下來,正如他在極端極光拍攝實驗影片所說:

我認為,當我們從硬體主導的攝影轉向軟體定義的計算攝影新領域,這領域才剛開始令人興奮。

結果我們都知道了,Levoy 登上夜間攝影這座山的山頂。2018 年 10 月,Google 推出 Pixel 3,最大亮點正是 Levoy 團隊開發的 Night Sight 夜景模式,即使晚上手機也能拍出精細度、亮度極高的照片。

▲ Night Sight 示範照。(Source:Google)

和以往一樣,Levoy 的解決辦法還是老套,多張圖片加合成計算,只不過和我們直覺相反的是,Night Sight 夜景模式並非採集不同曝光度或明亮又模糊的照片來計算,而是選擇捕捉大量昏暗卻銳利的圖片合成計算,最終輸出一張清晰的照片。

而 Pixel 4,Levoy 的新突破是天文攝影。

(Source:Google

Pixel 系列做到以往硬體主導的攝影做不到的事,無論 HDR+、人像模式,還是 Night Sight 夜景模式、天文攝影,都是對以往的突破。由軟體定義的計算攝影,幾乎啟發了整個智慧手機業。

蘋果、三星、華為等手機廠商在計算攝影的投入越來越多,夜間模式幾乎成了旗艦手機標配,AI 加持從旗艦普及中低階產品,成為基本宣傳點。

Marc Levoy,改變了潮水方向。

現在, Levoy 要為每支手機裝上「Pixel 相機」

計算攝影帶給智慧手機業的好處顯而易見,對相機硬體模組較落後的機型來說,也能利用演算法顯著提升拍攝品質。

這優勢甚至引發 Pixel 相機程式移植潮。開發團隊 B-S-G 曾修改 Pixel 相機應用程式,能相容其他 Android 手機,並把修改版程式發到 XDA 論壇,不少用戶都下載嘗試。

愛范兒實際測試時,利用修改版 Pixel 相機程式拍的照片,暗部亮點有提升、過曝也減少,但偶爾還是會色偏,畢竟是修改版程式,有 bug 也能理解。

▲ 左為原圖,右為開 HDR+。

不過現在這個問題能解決了。身為 Pixel 系列相機軟體主導者,Levoy 在 Google 工作近 6 年後離職,新工作是 Adobe 副總裁。

據 Gizmodo 報導,Levoy 在 Adobe 的主要工作除了繼續研究計算攝影,還有研發不同平台、不同裝置都能使用的通用相機程式,之前 Adobe 推出的行動端 lightroom 軟體,就內建相機應用程式。

基於 Levoy 在計算攝影的積累與多項成就,再加上 Adobe 於圖片領域的長久積累,這款不限平台、不限裝置的「Pixel 相機應用程式」很令人期待。

現在中階手機的相機硬體品質較幾年前獲得不少提升。對消費者來說,已升級完成的硬體,再加上通用型「Pixel 相機應用程式」,拍出好照片只會越來越容易。

只是,當計算攝影透過智慧手機真正普及後,你還會相信有圖有真相嗎?

(本文由 愛范兒 授權轉載;首圖來源:科技新報)

延伸閱讀: