康乃爾大學團隊開發全新聲納眼鏡,無聲動動嘴形就能解鎖手機、播放音樂

作者 | 發布日期 2023 年 04 月 11 日 8:10 | 分類 AI 人工智慧 , 穿戴式裝置 line share follow us in feedly line share
康乃爾大學團隊開發全新聲納眼鏡,無聲動動嘴形就能解鎖手機、播放音樂


不久的未來,可看到智慧眼鏡將成為繼智慧手機之後最重要的個人運算平台。為了加速這一天到來,各大廠商莫不卯足全力尋求各種與 AR 智慧眼技術突破。康乃爾大學(Cornell University)博士生 Ruidong Zhang 開發全新聲納眼鏡(Sonar Glasses),透過裝置麥克風及喇叭,能辨識並讀取使用者「無聲」念出某個字或指令的嘴形,使用者只需動動嘴就能解鎖手機、播放音樂,甚至操控 CAD 繪圖軟體。 

康乃爾大學研究團隊曾執行類似專案,但之前專案基於採用無線耳塞與攝影機的模型。專案就像多數無聲語音辨識(Silent-Speech Recognition)技術,會採用一組預選命令,並要求使用者面對或戴著攝影機,設計的裝置既不可行也不實用。

全新聲納眼鏡雖然是基於大學研究團隊之前專案打造,但使用者既不需面對鏡頭,也不需在耳朵裡塞東西。只需讀取幾分鐘訓練資料(如一串數字),就可讓系統學習並建立使用者語音模型。系統會發送和接收音波至使用者臉部,感測嘴形動作,同時透過深度演算法即時分析回聲曲線屬性,整體準確率可達約 95%。

所有資料會傳送到使用者智慧手機處理,而不會傳到雲端,消除洩漏隱私疑慮,同時確保眼鏡整體體積更精巧。最新版聲納眼鏡功耗極低,可為音學感測提供約 10 小時電池續航力。

實際應用,使用者不需動手、只需動動嘴就可操控應用,包括圖書館等安靜環境,透過下達無聲指令給眼鏡以播放、暫停、前/下一首及音量控制音樂。抑或在嘈雜環境無聲錄製語音備忘錄。使用者還能無聲唸出密碼解鎖手機,甚至不用鍵盤就能用 CAD 繪圖軟體盡情作業。對有語音障礙的人,可無聲透過眼鏡將對話輸入語音合成器,再由合成器大聲說話,與任何人溝通。

康乃爾大學未來互動智慧電腦介面(SciFi)實驗室研究團隊正透過康乃爾資助計畫全面推動技術商業化。團隊也投入運用智慧眼鏡追蹤臉部、眼睛及上半身動作等相關應用研究。

(首圖來源:影片截圖)