【ZiDongHua創(chuàng)新自科文收錄關鍵詞：中科院自動化所 腦科學研究 科技創(chuàng)新 模式識別 人工智能 】

無創(chuàng)解碼大腦信號語義，中科院自動化所團隊在多模態(tài)神經信息編解碼方面取得新進展

導讀 |近日，中科院自動化所神經計算與腦機交互團隊將大腦、視覺和語言知識相結合，通過多模態(tài)學習實現了從人類腦活動中零樣本地解碼視覺新類別。相關研究成果以Decoding Visual Neural Representations by Multimodal Learning of Brain-Visual-Linguistic Features為題發(fā)表于IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI)。

解碼人類視覺神經表征是一項具有重要科學意義的挑戰(zhàn)，可以揭示視覺處理機制并促進腦科學與人工智能的發(fā)展。然而，目前的神經解碼方法仍然面臨著未能充分利用神經數據背后的多模態(tài)語義知識，以及現有的可利用配對(刺激-腦響應)訓練數據不足等問題，難以泛化到訓練數據以外的新類別。近日，中科院自動化所神經計算與腦機交互團隊將大腦、視覺和語言知識相結合，通過多模態(tài)學習成功實現了從人類腦活動中零樣本地解碼視覺新類別。

人類對視覺刺激的感知和識別受到視覺特征和人們先前經驗的影響，例如當人們看到一個熟悉的物體時，大腦會自然而然地檢索與該物體相關的知識。如圖1所示，認知神經科學對雙重編碼理論的研究認為，具體概念在大腦中既以視覺方式又以語言方式進行編碼，其中語言作為有效的先驗經驗，有助于塑造由視覺生成的表征。因此，研究團隊認為，想要更好地解碼記錄到的腦信號，不僅應該使用實際呈現的視覺語義特征，還應該包括與該視覺目標對象相關的更豐富的語言語義特征。基于此，本研究提出“腦-圖-文”三模態(tài)聯合學習框架，在使用實際呈現的視覺語義特征的同時，加入與該視覺目標對象相關的更豐富的語言語義特征，以實現更好地腦信號解碼。

圖1. 人類大腦中的知識雙重編碼。當看到大象的圖片時，我們會自然地在腦海中檢索到大象的相關知識(如長鼻子，長牙齒，大耳朵等)。此時，大象的概念會在大腦中以視覺和語言的形式進行編碼，其中語言作為一種有效的先前經驗，有助于塑造由視覺產生的表征。

圖2. 本文提出的“腦-圖-文”三模態(tài)聯合學習框架，簡稱BraVL

研究團隊在多個“腦-圖-文”三模態(tài)匹配數據集上進行了廣泛的零樣本神經解碼實驗。結果證明，從人類腦活動中解碼新的視覺類別是可以實現的，并且精度較高;使用視覺和語言特征的組合比僅使用其中之一的解碼表現更好;在人腦語義表征過程中，視覺加工會受到語言的影響。

相關發(fā)現不僅對人類視覺系統(tǒng)的理解有所啟示，也有望為腦機接口技術提供新思路。研究團隊介紹，本工作提出的方法具有三個方面的潛在應用：作為一種神經語義解碼工具，此方法將在新型讀取人腦語義信息的神經假肢設備的開發(fā)中發(fā)揮重要作用，可為其提供技術基礎;作為神經編碼工具，通過跨模態(tài)推斷腦活動，可用于研究視覺和語言特征如何在人類大腦皮層上表達，揭示哪些腦區(qū)具有多模態(tài)屬性(即對視覺和語言特征敏感);作為類腦特性評估工具，測試哪個模型的(視覺或語言)表征更接近于人類腦活動，從而激勵研究人員設計更加類腦的計算模型。

該論文第一作者為中國科學院特別研究助理杜長德，通訊作者為何暉光研究員。研究工作得到了科技部科技創(chuàng)新2030—“新一代人工智能”重大項目、基金委項目、中國科學院自動化研究所2035創(chuàng)新任務以及CAAI-華為MindSpore學術獎勵基金及智能基座等項目的支持。

為促進該領域的持續(xù)發(fā)展，研究團隊已將代碼和新收集的三模態(tài)數據集開源。