Woman's Brain Implant 將她的想法實時轉(zhuǎn)化為語言

在 30 歲時患上腦干中風(fēng)近二十年后，由于新的腦機接口 （BCI） 過程，美國一名女性重新獲得了將想法實時轉(zhuǎn)化為文字的能力。

通過以 80 毫秒的增量分析她的大腦活動并將其轉(zhuǎn)換為她聲音的合成版本，美國研究人員的創(chuàng)新方法消除了困擾該技術(shù)早期版本的令人沮喪的延遲。

我們的身體能夠按照我們認(rèn)為的方式傳達聲音，這是我們經(jīng)常認(rèn)為理所當(dāng)然的功能。只有在極少數(shù)時刻，當(dāng)我們被迫停下來等待翻譯，或者通過揚聲器聽到我們的演講被延遲時，我們才會欣賞我們自己解剖結(jié)構(gòu)的速度。

對于塑造聲音的能力已經(jīng)被切斷的人大腦的言語中樞，無論是通過肌萎縮側(cè)索硬化癥或危急病變神經(jīng)系統(tǒng)的組成部分，大腦植入物與專用軟件相結(jié)合，有望獲得新的生命。

一個數(shù)字之BCI 語音翻譯項目見過巨大的突破最近，每個都旨在減少從思想中產(chǎn)生語言所需的時間。

大多數(shù)現(xiàn)有方法都需要在軟件破譯其含義之前考慮完整的文本塊，這可能會大大拖延語音起始和發(fā)聲之間的秒數(shù)。

這不僅不自然，而且對于使用該系統(tǒng)的人來說也可能令人沮喪和不舒服。

“改善語音合成延遲和解碼速度對于動態(tài)對話和流暢的交流至關(guān)重要，”來自加州大學(xué)伯克利分校和舊金山分校的研究人員寫在他們發(fā)布的報告中.

這“由于語音合成需要額外的時間來播放以及用戶和聽眾理解合成的音頻這一事實而變得更加復(fù)雜，”解釋該團隊由加州大學(xué)伯克利分校計算工程師 Kaylo Littlejohn 領(lǐng)導(dǎo)。

更重要的是，大多數(shù)現(xiàn)有的方法都依賴于 “說話者” 通過公開地進行發(fā)聲動作來訓(xùn)練界面。對于不練習(xí)或總是難以說話的人來說，為他們的解碼軟件提供足夠的數(shù)據(jù)可能是一個挑戰(zhàn)。

為了克服這兩個障礙，研究人員在這位 47 歲的參與者的感覺運動皮層活動上訓(xùn)練了一個靈活的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，同時她從 1,000 多個單詞的詞匯中默默地“說出”了 100 個獨特的句子。

Littlejohn 及其同事還使用了一種基于 50 個短語的輔助交流形式，使用了一組較小的單詞。

與以前的方法不同，這個過程不涉及參與者嘗試發(fā)聲——只是在腦海中思考句子。

該系統(tǒng)對兩種通信方式的解碼都非常出色，每分鐘的平均翻譯字?jǐn)?shù)接近以前方法的兩倍。

重要的是，使用可以連續(xù)即時解釋的預(yù)測方法可以使參與者的語音以更自然的方式流動，比其他方法快 8 倍。它甚至聽起來像她自己的聲音，這要歸功于一個基于她之前演講錄音的語音合成程序。

該團隊在沒有時間限制的情況下離線運行該過程，表明他們的策略甚至可以解釋代表它沒有經(jīng)過刻意訓(xùn)練的單詞的神經(jīng)信號。

作者指出，在該方法被認(rèn)為在臨床上可行之前，仍有很大的改進空間。雖然語音可以理解，但它遠不及解碼文本的方法。

考慮到多遠技術(shù)來了在短短幾年內(nèi)然而，我們有理由樂觀地認(rèn)為，那些沒有聲音的人可能很快就會歌頌研究人員和他們的讀心術(shù)設(shè)備。

這項研究發(fā)表在自然神經(jīng)科學(xué).

寶寶起名 起名