Meta 去年發表 Brain2Qwerty 模型,研究背後是使用腦磁波儀收集受測者大腦皮質神經元放電時產生的訊號,並運用 AI 將大腦訊號解碼成文字,進而推測受測者實際想要採取什麼行動,現在 Meta 對此研究有下一階段的成果展現。
最新 Brain2Qwerty v2 模型,是能將大腦活動的訊號轉換成文字、且無須進行腦部手術的 AI 系統,解碼準確度逼近以往需要動腦部手術之技術才能達成的水準。
由 9 位自願參與 Meta 研究的受測者提供約 22,000 個句子,每位受測者均戴著一台腦磁波儀(magnetoencephalography,MEG)進行打字,錄製 10 小時的大腦訊號資料,以此資料對 Brain2Qwerty v2 進行訓練。Meta 運用深度學習系統,直接從原始的大腦訊號進行解碼。
Meta 以大腦訊號資料對大型語言模型進行微調,讓 AI 系統運用語意脈絡,在充滿雜訊的大腦訊號資料與通順連貫的語言之間搭起一座橋樑。Meta 也部署 AI Agent,找出解碼流程中的最佳化方案。
研究成果顯示,Brain2Qwerty v2 能從充滿雜訊的神經輸出中還原句子,可以達到 61% 單字準確率,明顯優於其他非侵入式方法所能達到的 8% 單字準確率。對表現最為出色的受測者而言,更能高達 78% 單字準確率。Meta 也發現,解碼準確度會隨著資料量呈現對數線性的提升。
為了協助加速神經科學領域的各項突破,Meta 完整公開 Brain2Qwerty v1 / v2 的訓練程式碼,而合作夥伴巴斯克認知、大腦、語言中心(Basque Center on Cognition, Brain and Language,BCBL)也將公開 Brain2Qwerty v1 的相關資料集。
Meta 相信,這項研究可望為腦部病灶而無法與人溝通的數百萬名患者帶來幫助。立體定位腦電波(stereotactic electroencephalography,SEEG)和腦皮質電圖(electrocorticography)等侵入式手術已證實,將訊號傳遞至 AI 解碼器,能夠恢復患者的溝通能力,但這類手術難以大規模推廣,Meta 的非侵入式方法則能協助填補這道缺口。
(首圖來源:AI at Meta)






