雖然仍處於早期開發階段,但該技術是邁向更好助聽器的重要一步,使佩戴者能夠無縫,高效地與周圍的人交談。今天在Science Advances中描述了這一成就。首席研究員Nima Mesgarani博士說:“處理聲音的大腦區域非常敏感和強大;它可以“放大”一個聲音,相比之下,目前的助聽器仍然不夠完善。通過創造一種利用大腦本身力量的設備,我們希望我們的工作能夠帶來技術改進,使全球數億聽障人士能夠像他們的朋友和家人一樣輕鬆地進行交流。”哥倫比亞工程公司電氣工程副教授梅斯卡拉尼博士說:“在擁擠的地方,佩戴助聽器會立刻放大所有人的聲音。這嚴重阻礙了佩戴者有效交談的能力。”
“以前,我們發現當兩個人互相交談時,說話者的腦電波與聽眾的腦電波十分相似,”利用這些知識,該團隊將強大的語音分離算法與神經網絡,模仿大腦自然計算能力的複雜數學模型相結合。他們創建了一個係統,首先從一個組中分離出各個說話者的聲音,然後將每個說話者的聲音與聽者的腦電波進行比較。其聲音模式與聽眾的腦電波最匹配的說話者隨後被放大。
研究人員在2017年發布了該係統的早期版本,雖然很有希望,但卻有一個關鍵的局限性:它必須預先訓練才能識別出特定的揚聲器。“如果你和家人在一家餐館,那個設備會為你識別並解碼這些聲音。但是,一旦有新人加入,係統就會失敗。”
>
最近這項研究很大程度上解決了這個問題。在哥倫比亞科技風險投資公司的資助下,改進其原始算法,Mesgarani博士等人再次利用深度神經網絡的力量構建了一個更複雜的模型。“我們的最終結果是一種語音分離算法,其表現與先前版本相似,但有重大改進。”為了測試該算法的有效性,研究人員與Northwell Health Institute for Neurology and Neurosurgery的神經外科醫生Ashesh Dinesh Mehta合作進行試驗。 “這些患者自願聽取不同的發言者,同時我們通過植入患者大腦的電極直接監測他們的腦電波。” “然後我們將新開發的算法應用於該數據。”
該團隊的算法跟蹤患者的注意力,因為他們聽取了之前沒有聽過的不同的發言者。當患者專注於一個揚聲器時,係統會自動放大該聲音。當他們的注意力轉移到另一個揚聲器時,音量水平發生變化以反映這種轉變。
在他們的研究結果的鼓舞下,研究人員正在研究如何將這種原型轉變為一種非侵入性設備,可以將其置於頭皮外部或耳朵周圍。 他們還希望進一步改進和改進算法,使其能夠在更廣泛的環境中運行。“到目前為止,我們隻在室內環境中進行了測試。但我們希望確保它能夠在繁忙的城市街道或嘈雜的餐廳中工作,這樣無論走到哪裏,他們都可以充分體驗世界和周圍的人。”