神經擬態視覺技術，距離模擬人眼還有多遠？

1980 年代後期，超大型積體電路（Very large-scale integration，VLSI）發明者之一、美國加州理工大學院 Carver Mead 教授首次提出神經擬態概念，用 CMOS 模擬電路模仿生物視網膜，搭建有生物計算特性的系統，並與學生展開研究。

後來這項技術從美國傳到歐洲，蔓延世界，科學家和企業家研究都指向同個問題：如何才能讓基於CMOS模擬電路做的視網膜更接近人眼？

奧地利Christoph Posch就是關注神經擬態技術的學者之一，自2000年左右開始從事神經擬態相關工作，並和Luca Verre共同創辦研發神經擬態視覺晶片公司Prophesee，在神經擬態視覺晶片技術領域居全球前列。

不久前Luca受訪，談到神經擬態視覺晶片技術的最新進展：人工視網膜領域有成功案例，正在手機等消費電子尋找更廣闊的發展空間。

為視障者而生的事件相機

與人體神經反射一樣，電路神經擬態分兩部分，接受訊號的感測器和感受訊號的神經中樞，衍生出類人眼和類腦等神經擬態晶片。模擬人眼的工作，就是事件相機承擔。

與傳統視覺感測器不同，事件相機（event cameras）是受生物技術啟發誕生的新型視覺感測器，有時也稱為動態視覺感測器。生物視覺部分視覺細胞對動態事物敏感，仿照人眼特點，就誕生了敏感捕捉運動物體的事件相機。

事件相機核心在每個畫素都有獨立光源，當某畫素亮度發生變化超過設定閾值，就會產生輸出脈衝數據，可完成基於幀的傳統相機無法完成的任務，如高速運動、高動態範圍建圖等，有高動態範圍和低延時等優點。

神經擬態視覺技術擁有20多年研究經驗的Christoph，看到事件相機的潛力，認為是時候創辦公司，將技術從實驗室帶入市場。

CEO Luca表示，大概八年前在巴黎攻讀MBA，想尋求事業突破，認識了Christoph。聽完Christoph介紹分析神經擬態視覺技術後，Luca受很大啟發，清楚知道這項技術的巨大價值，於是毫不猶豫決定與Christoph一起創業，幾天後Prophesee就誕生了。

最初Christoph和Luca都認為，技術本質在開發模擬人眼的人工模型，可模擬人眼視網膜運作原理，幫助視網膜受損的視障者恢復視力，決定用於醫療領域。「某種程度，這也是我們決定創立公司的靈感來源。」Luca說。

Prophesee成立初期，第一代產品主要幫助視障者和全盲者恢復視力。Luca表示，Prophesee第一代產品用於生物電子公司Pixium Vision和生物製藥公司GenSight，取得不錯成果。「現在兩家公司想辦法盡可能減少手術複雜性，希望讓更多患者受惠。」Luca解釋。

Prophesee為神經擬態視覺技術領先公司，證實事件相機模擬人眼的潛力，為了推動神經擬態技術發展，Prophesee決定邊關注醫學應用，邊將業務重心轉向手機端和電子及工業領域。

從人眼到手機，化身改善影像的利器

比起模擬人眼進展，神經擬態視覺技術在工業和消費電子領域發展更快，CMOS痛點難解及智慧手機嚴重同質化，逐漸演變成手機廠商角逐賽的一部分。追溯圖像感測器的發展歷程，最初以高畫素、高製造難度的CCD元件為主流，後來逐漸被功耗和成本更低的CMOS取代。

但CMOS也有問題，主要利用光電流時間技術曝光，從曝光到數模轉化再到數據傳輸耗時長、功耗高，影響圖像幀率，幀與幀間隔時間長造成訊號損失，增加機器判斷圖像的準確度。

同時CMOS圖像感測器輸出8~12bit訊號，數據傳輸量大、能耗高、讀取慢、儲存空間需求、大處理圖像能耗高。CMOS發展歷程，也有不少廠商嘗試解決痛點，但基於快門控制所有畫素同時間積分曝光原理，幀率、數據量和動態範圍三參數很難平衡。

如高動態範圍拍攝，常使用多重曝光算法，即融合多個不同曝光時間幀圖組成高動態範圍圖像，必然導致幀率下降，更多數據運算和更高系統延遲，要求短回應時間和捕捉快速變化的場景無法適用。

「平常用手機拍攝運動物體時，尤其光線不足時，會發現拍攝對象邊緣不太清楚，是因手機鏡頭會在固定時間點取得資訊，當按下相機快門，感測器進光，快門關閉。這段曝光時間，如果拍攝對象移動，照片就是糊的。」Luca說這是傳統鏡頭普遍的問題。

擁有動態捕捉能力的事件相機能解決這些問題，因此近幾年，Sony和三星都紛紛入局事件相機，搶在CMOS革命前布局好，精進手機影像能力。

Prophesee為為數不多的事件相機新創，同時也是Sony合作夥伴，鑑於醫學應用領域經驗，也在智慧手機領域取得新進展，推出照片去模糊功能並和高通合作。Luca展示採Prophesee事件相機晶片後拍照與傳統鏡頭對比，能觀察到前者正在運動的球拍和球都更清晰。

（Source：影片截圖）

「我們也有和手機大廠合作，目標是2024年量產。」Luca說。

AR、VR和智慧駕駛應用落地緊跟其後

除了手機鏡頭應用，事件相機也可在其他火熱賽道發揮作用。Luca表示AR / VR和智慧駕駛，都是事件相機的目標市場。AR / VR領域的事件相機有望解決眼球追蹤難題，幫助用戶降低使用AR / VR設備時的暈眩感。一年前Meta在WACV會議發表解決眼動難題的應用研究，就是基於Prophesee事件相機檢測場景變化。

「眼睛移動速度非常快，所以需要非常高速鏡頭追蹤眼睛移動，但傳統鏡頭基於幀，快速追逐眼動需要非常高幀率，會產生非常多數據，增加能耗和處理時間。但事件相機能針對資訊變化，只追蹤移動物體本身，保持低功耗低延遲下也能高速追蹤。」Luca解釋。

智慧駕駛方面，Prophesee目前應用研究集中兩方面，一是監控駕駛行為，開車時監控注意力是否降低，如監測眨眼速度和頻率，判斷駕駛是否注意力下降。二是輔助駕駛，幫助檢測車前方障礙物，尤其低光或強光環境藉更高動態範圍提供更準確障礙物探測，提高行車安全性。

Prophesee已和博世、英特爾及雷諾日產合作，汽車領域做更多實驗。

先進神經擬態視覺技術製程成本是否比CMOS更貴，Luca表示Prophesee感測器同樣基於傳統CMOS技術，成本相當，不過因是全新技術，還需擴大研發，同時市場需求擴大，才能降本增效。

（本文由 雷鋒網 授權轉載；首圖來源：Prophesee）