【ZiDongHua 之自動化學院派收錄關鍵詞：普林斯頓大學   腦科學研究 自然語言處理  細胞出版社】

美國普林斯頓大學神經(jīng)科學家：在談話過程中，說話者和聽話者的大腦活動與特定詞匯相關

當兩個人互動時，他們的大腦活動會變得同步，但人們直到現(xiàn)在還不清楚這種“腦對腦耦合”在多大程度上歸因于語言信息或其他因素，如肢體語言或語調(diào)。8月2日，研究人員在細胞出版社（Cell Press）旗下期刊Neuron上報告說，通過分析談話中使用的詞語及其語境，可以模擬談話中的腦對腦耦合。

論文第一作者、美國普林斯頓大學神經(jīng)科學家Zaid Zada說：“我們可以看到，在說話者真正說出他們想說的話之前，語言內(nèi)容一個字一個字地出現(xiàn)在他們的大腦中，而同樣的語言內(nèi)容在聽者聽到后迅速重現(xiàn)在他們的大腦中。”

為了進行口頭交流，我們必須對不同單詞的定義達成一致，但這些定義可能會根據(jù)上下文而變化。例如，如果沒有語境，就不可能知道“冷”這個字是指溫度、性格特征，還是感冒。

聯(lián)合通訊作者、普林斯頓大學神經(jīng)學家Samuel Nastase說：“單詞在特定句子或特定對話中出現(xiàn)時的語境意義，對我們理解彼此的方式非常重要。我們想測試語境在協(xié)調(diào)說者和聽者大腦活動方面的重要性，試圖量化在談話中，大腦之間分享了什么。”

為了研究語境在驅動大腦耦合中的作用，研究小組收集了癲癇患者在自然對話中的大腦活動數(shù)據(jù)和對話記錄。這些患者在紐約大學醫(yī)學院綜合癲癇中心接受了與臨床目的無關的皮質電成像顱內(nèi)監(jiān)測。與功能磁共振成像等侵入性較小的方法相比，皮質電成像記錄的大腦活動分辨率極高，因為電極與大腦表面直接接觸。

接下來，研究人員使用大型語言模型GPT-2提取了對話中使用的每個單詞的上下文，然后使用這些信息訓練了一個模型，以預測對話中信息從說者流向聽者時大腦活動的變化。

利用這個模型，研究人員能夠觀察到說者和聽者大腦中與特定語境的單詞含義相關的大腦活動。他們發(fā)現(xiàn)，說者在說出每個單詞前250毫秒左右大腦中特定單詞的大腦活動達到峰值，而聽者在聽到相同單詞后250毫秒左右大腦中出現(xiàn)相應的大腦活動峰值。

與之前關于說者—聽者大腦耦合研究相比，該團隊基于語境的方法模型能夠更好地預測大腦活動的共享模式。

“這顯示了環(huán)境的重要性，因為它最好地解釋了大腦數(shù)據(jù)。”Zada說，“大型語言模型包含了語言學的所有不同元素，如語法和語義，并用一個高維向量表示它們。我們證明，這類統(tǒng)一模型能夠優(yōu)于其他語言學手工設計模型。”

未來，研究人員計劃擴展其研究，將該模型應用于分析其他類型的大腦活動數(shù)據(jù)，例如功能磁共振成像數(shù)據(jù)，以研究大腦中皮質電成像無法訪問的部分如何在對話中運作。

“未來有很多令人興奮的工作要做，例如看看不同的大腦區(qū)域如何在不同的時間尺度和不同的內(nèi)容下相互協(xié)調(diào)。”Nastase說。

信息來源：細胞出版社