神經擬態視覺技術,距離模擬人眼還有多遠?

作者 | 發布日期 2023 年 04 月 10 日 8:30 | 分類 軟體、系統 , 鏡頭 , 零組件 line share Linkedin share follow us in feedly line share
神經擬態視覺技術,距離模擬人眼還有多遠?


1980 年代後期,超大型積體電路(Very large-scale integration,VLSI)發明者之一、美國加州理工大學院 Carver Mead 教授首次提出神經擬態概念,用 CMOS 模擬電路模仿生物視網膜,搭建有生物計算特性的系統,並與學生展開研究。

後來這項技術從美國傳到歐洲,蔓延世界,科學家和企業家研究都指向同個問題:如何才能讓基於CMOS模擬電路做的視網膜更接近人眼?

奧地利Christoph Posch就是關注神經擬態技術的學者之一,自2000年左右開始從事神經擬態相關工作,並和Luca Verre共同創辦研發神經擬態視覺晶片公司Prophesee,在神經擬態視覺晶片技術領域居全球前列。

不久前Luca受訪,談到神經擬態視覺晶片技術的最新進展:人工視網膜領域有成功案例,正在手機等消費電子尋找更廣闊的發展空間。

為視障者而生的事件相機

與人體神經反射一樣,電路神經擬態分兩部分,接受訊號的感測器和感受訊號的神經中樞,衍生出類人眼和類腦等神經擬態晶片。模擬人眼的工作,就是事件相機承擔。

與傳統視覺感測器不同,事件相機(event cameras)是受生物技術啟發誕生的新型視覺感測器,有時也稱為動態視覺感測器。生物視覺部分視覺細胞對動態事物敏感,仿照人眼特點,就誕生了敏感捕捉運動物體的事件相機。

事件相機核心在每個畫素都有獨立光源,當某畫素亮度發生變化超過設定閾值,就會產生輸出脈衝數據,可完成基於幀的傳統相機無法完成的任務,如高速運動、高動態範圍建圖等,有高動態範圍和低延時等優點。

神經擬態視覺技術擁有20多年研究經驗的Christoph,看到事件相機的潛力,認為是時候創辦公司,將技術從實驗室帶入市場。

CEO Luca表示,大概八年前在巴黎攻讀MBA,想尋求事業突破,認識了Christoph。聽完Christoph介紹分析神經擬態視覺技術後,Luca受很大啟發,清楚知道這項技術的巨大價值,於是毫不猶豫決定與Christoph一起創業,幾天後Prophesee就誕生了。

最初Christoph和Luca都認為,技術本質在開發模擬人眼的人工模型,可模擬人眼視網膜運作原理,幫助視網膜受損的視障者恢復視力,決定用於醫療領域。「某種程度,這也是我們決定創立公司的靈感來源。」Luca說。

Prophesee成立初期,第一代產品主要幫助視障者和全盲者恢復視力。Luca表示,Prophesee第一代產品用於生物電子公司Pixium Vision和生物製藥公司GenSight,取得不錯成果。「現在兩家公司想辦法盡可能減少手術複雜性,希望讓更多患者受惠。」Luca解釋。

Prophesee為神經擬態視覺技術領先公司,證實事件相機模擬人眼的潛力,為了推動神經擬態技術發展,Prophesee決定邊關注醫學應用,邊將業務重心轉向手機端和電子及工業領域。

從人眼到手機,化身改善影像的利器

比起模擬人眼進展,神經擬態視覺技術在工業和消費電子領域發展更快,CMOS痛點難解及智慧手機嚴重同質化,逐漸演變成手機廠商角逐賽的一部分。追溯圖像感測器的發展歷程,最初以高畫素、高製造難度的CCD元件為主流,後來逐漸被功耗和成本更低的CMOS取代。

但CMOS也有問題,主要利用光電流時間技術曝光,從曝光到數模轉化再到數據傳輸耗時長、功耗高,影響圖像幀率,幀與幀間隔時間長造成訊號損失,增加機器判斷圖像的準確度。

同時CMOS圖像感測器輸出8~12bit訊號,數據傳輸量大、能耗高、讀取慢、儲存空間需求、大處理圖像能耗高。CMOS發展歷程,也有不少廠商嘗試解決痛點,但基於快門控制所有畫素同時間積分曝光原理,幀率、數據量和動態範圍三參數很難平衡。

如高動態範圍拍攝,常使用多重曝光算法,即融合多個不同曝光時間幀圖組成高動態範圍圖像,必然導致幀率下降,更多數據運算和更高系統延遲,要求短回應時間和捕捉快速變化的場景無法適用。

「平常用手機拍攝運動物體時,尤其光線不足時,會發現拍攝對象邊緣不太清楚,是因手機鏡頭會在固定時間點取得資訊,當按下相機快門,感測器進光,快門關閉。這段曝光時間,如果拍攝對象移動,照片就是糊的。」Luca說這是傳統鏡頭普遍的問題。

擁有動態捕捉能力的事件相機能解決這些問題,因此近幾年,Sony和三星都紛紛入局事件相機,搶在CMOS革命前布局好,精進手機影像能力。

Prophesee為為數不多的事件相機新創,同時也是Sony合作夥伴,鑑於醫學應用領域經驗,也在智慧手機領域取得新進展,推出照片去模糊功能並和高通合作。Luca展示採Prophesee事件相機晶片後拍照與傳統鏡頭對比,能觀察到前者正在運動的球拍和球都更清晰。

(Source:影片截圖)

「我們也有和手機大廠合作,目標是2024年量產。」Luca說。

AR、VR和智慧駕駛應用落地緊跟其後

除了手機鏡頭應用,事件相機也可在其他火熱賽道發揮作用。Luca表示AR / VR和智慧駕駛,都是事件相機的目標市場。AR / VR領域的事件相機有望解決眼球追蹤難題,幫助用戶降低使用AR / VR設備時的暈眩感。一年前Meta在WACV會議發表解決眼動難題的應用研究,就是基於Prophesee事件相機檢測場景變化。

「眼睛移動速度非常快,所以需要非常高速鏡頭追蹤眼睛移動,但傳統鏡頭基於幀,快速追逐眼動需要非常高幀率,會產生非常多數據,增加能耗和處理時間。但事件相機能針對資訊變化,只追蹤移動物體本身,保持低功耗低延遲下也能高速追蹤。」Luca解釋。

智慧駕駛方面,Prophesee目前應用研究集中兩方面,一是監控駕駛行為,開車時監控注意力是否降低,如監測眨眼速度和頻率,判斷駕駛是否注意力下降。二是輔助駕駛,幫助檢測車前方障礙物,尤其低光或強光環境藉更高動態範圍提供更準確障礙物探測,提高行車安全性。

Prophesee已和博世、英特爾及雷諾日產合作,汽車領域做更多實驗。

先進神經擬態視覺技術製程成本是否比CMOS更貴,Luca表示Prophesee感測器同樣基於傳統CMOS技術,成本相當,不過因是全新技術,還需擴大研發,同時市場需求擴大,才能降本增效。

(本文由 雷鋒網 授權轉載;首圖來源:Prophesee

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0
《關於請喝咖啡的 Q & A》