日本東京大學發表革命性高速即時動態光雕投影技術,扭曲變形的衣服一樣能投影

作者 | 發布日期 2016 年 10 月 30 日 0:00 | 分類 光電科技 , 尖端科技 , 科技趣聞
石川渡邊研究室

光雕投影(或稱 3D 投影映射)是這幾年來大型表演活動中常被運用的新興技術,透過光雕可以改變建築物或者任何物體的外觀,把現實世界中平淡無奇的物體變得如夢如幻,大開觀眾的想像空間。不過,當前的光雕投影有些限制:被投射物必須是不會變形的剛體。而在上周,日本東京大學的石川渡邊研究室突破了這項侷限,發表了新成果──「以高速投影到動態變形非剛性表面的投影方法」。



在進入正題之前,先大略介紹一下光雕投影。簡單說,就是準備很多很多台的投影機,圍繞在一棟建築物的四周,然後用電腦控制這一大堆投影機,在晚上投影到建築物上,將建築物當做畫布,做出種種絢麗的表演。演出過程要考量到建築物是立體的,必須考量投影到的表面不是平的,得用電腦把投影的畫面事先針對每一台投影機要投射到的地方,算出對應的變形,才能投影出去。可以是在上面畫東西,也可能是天馬行空地把建築物變成完全不同的東西等。關於實際的作品,筆者推薦非常經典的《2012 東京光之祭典》或者日本萬代玩具公司出的這場表演的迷你版 HAKO VISION(用手機就可以欣賞)。

而這樣的技術,僅限於事先做好的靜態影片內容與靜態投影環境,東京大學的石川渡邊研究室不滿足於此,企圖克服這樣的限制,進行了動態光雕投影的研究。動態光雕投影的困難,是要捕捉真實世界「布幕」的動態即時變形,隨即低延遲地調整好要投影的虛擬影像,使投射出去以後,讓我們的視覺感官覺得吻合、沒有破綻。這最基本需要一台畫面更新率高、低延遲的投影機,於是該實驗室就自行開發了高速投影機「DynaFlash」,它在 8bit 色階(一個點可以有 256 色)時更新率高達 1000FPS,最低延遲(latency)才 3 毫秒(ms)。

石川渡邊研究室

▲ DynaFlash 投影機(Source:石川渡邊研究室

有了這個基礎以後,更進一步要處理最有挑戰性的部分:如何正確投射影像到非剛性不斷形變甚至有遮蓋情形的「布幕」上呢?如果用即時影像辨識技術的話,是來不及的。石川渡邊研究室提出了這樣的新方法──「可變形點陣標記」( Deformable Dot Cluster Marker,DDCM),這個做法類似 AR 擴增實境的概念,是用紅外線才看得到的墨水(人眼看不到),在衣服上面事先印好特定的點陣標記圖後,即使目標物發生大變形或者遮擋,DynaFlash 投影機的感應器也能穩定地在 1,000fps 下即時「看到」目標物上的點陣標記,以投射出正確的變形後畫面。

石川渡邊研究室

使用這些基本技術,包括 DynaFlash 和 DDCM,就可以在變形非剛性表面上進行新式的動態投影映射了。在石川渡邊研究室的展示影片中,可以發現翻轉、扭曲、移動、伸縮都難不倒,由於投影和感測都是以 1,000fps 的速度在運作,就好像投影的圖案本來就是印在衣服上般地自然。更特別的是,可變形點陣標記可以是複數的,也就是說這讓投影機可以靈活地「辨識」出不同的目標物,而同時加以投影出不同的圖案。

在應用上,可以想像演唱會表演時,偶像歌手穿著一件單色白淨的衣服,不用實際的換裝,就可以變換出一件又一件的不同衣裝;不用拜師學數十年學習高難度的川劇變臉技術,臉上只要戴著一張純白的面具,就可以一張又一張的不斷翻臉。非娛樂的應用方面,不用開刀,投影出內臟器官到人體上,輔助醫學院教學應該也是可預見的應用。真期待這項技術的後續發展呢!

(首圖來源:石川渡邊研究室) 

發表迴響