發(fā)布日期:2019-08-22
《自然—通訊》近日發(fā)表的一項(xiàng)研究介紹了一種可以將問答對(duì)話相關(guān)腦活動(dòng)轉(zhuǎn)化為文字記錄的神經(jīng)解碼器。
大腦皮層包含不同的區(qū)域,其中的神經(jīng)活動(dòng)會(huì)編碼語音感知與生成。研究表明,這種腦活動(dòng)可以被解碼;但是之前的研究側(cè)重于將聽說任務(wù)分開解碼。
美國(guó)加州大學(xué)舊金山分校的Edward Chang及同事在模擬的問答對(duì)話試驗(yàn)中,通過腦活動(dòng)解碼語音感知與生成。被試為3名正在接受癲癇治療的患者,他們要聽一系列的問題并通過一套規(guī)定的答案,口頭回答問題,作者將被試在這個(gè)過程中的腦皮層活動(dòng)記錄了下來,之后這些數(shù)據(jù)被用于訓(xùn)練語音檢測(cè)和解碼模型。接著,被試再聽一系列問題,并大聲地用自己所選的答案作答。
僅使用在對(duì)話中記錄下的神經(jīng)信號(hào),作者便能夠檢測(cè)被試何時(shí)在聽、何時(shí)在說,并且能夠預(yù)測(cè)所聽或所說的是什么。通過解碼問題,他們能夠利用所得信息提高被解碼答案的準(zhǔn)確性(因?yàn)椴糠执鸢钢贿m用于特定問題),而且對(duì)于生成語音和感知語音的解碼準(zhǔn)確性分別提高到了61%和76%。
還需要開展進(jìn)一步的工作來解碼想象的語音回答,這樣才能使因?yàn)閾p傷或神經(jīng)退行性疾病而無法說話的個(gè)體使用這項(xiàng)技術(shù)。(來源:中國(guó)科學(xué)報(bào) 唐一塵編譯)
相關(guān)論文信息:https://doi.org/10.1038/s41467-019-10994-4
來源:《自然—通訊》