用 AI 分析聽搖滾歌的腦波,科學家重建腦中歌曲片段

作者 | 發布日期 2023 年 08 月 25 日 8:20 | 分類 AI 人工智慧 , 生物科技 , 醫療科技 line share follow us in feedly line share
用 AI 分析聽搖滾歌的腦波,科學家重建腦中歌曲片段


美國加州大學柏克萊分校研究團隊在將受測者聆聽知名搖滾樂團平克‧佛洛伊德(Pink Floyd)歌曲時的大腦活動記錄下來,隨後透過 AI 分析後成功重製出該歌曲片段。此一研究進一步提升了我們對人們如何感知聲音的理解,並有助於改善現行語言障礙輔助工具的功能及品質。 

由加大柏克萊分校心理學和神經科學教授 Robert Knight 領導的研究團隊,為 29 名原先為了治療癲癇症而透過手術在大腦中植入電極的患者進行腦波 AI 分析研究。研究者特別為患者播放平克‧佛洛伊德最經典的暢銷曲〈Another Brick in the Wall, Part 1〉,並試著擷取患者聆聽歌曲時電極記錄的腦波訊號。比較大腦訊號與歌曲,研究員辨認出與歌曲音調、旋律、和聲及節奏密切相關的訊號片段。

團隊訓練 AI 模型,讓它學習大腦活動與這些音樂元素的關聯性,並剔除訓練資料歌曲 15 秒片段。訓練過 AI 能根據參與者腦波預測未聽過歌曲片段。AI 產生片段的聲譜圖與真實歌詞相似度達 43%。

大腦如何聆聽音樂的研究過程,研究員發現名為顳上回(superior temporal gyrus)的區域,負責處理歌曲吉他節奏。還發現右腦訊號處理音樂時比左腦更重要。這方面研究對改善語言障礙輔助工具有重大影響。

對於患有肌萎縮性側索硬化症(Amyotrophic lateral sclerosis,神經系統疾病)或失語症(Aphasia,語言疾病)以致說話困難的人來說,了解大腦如何描述語音的音樂元素,包括音調和情感,可讓輔具聽起來更自然,而不是充滿機械感的合成音。

研究也引發另一個值得討論的問題,如果 AI 可用大腦訊號重建人們腦海想到的音樂,也可用同樣方法作曲,但很可能引發侵權問題,端視重建音樂與原始音樂的相似程度而定。除此之外,到底誰才是創作者很難釐清,是原作曲人、記錄大腦活動的人,還是 AI?再者,聲音是來自大腦非創造性區域,如聽覺皮質(auditory cortex),抑或負責創造性思維的額葉皮質(frontal cortex),版權判定又有何不同?這些都是法院必須煩惱的地方。

(首圖來源:Plos Biology