【ZiDongHua 之創(chuàng)新自科文收錄關鍵詞：中國科學院自動化研究所   曾毅    人工智能】
 
　　類腦心理揣測脈沖神經網絡助力多智能體合作與競爭
 
　　類腦心理揣測脈沖神經網導語 | 2023年6月23日，中國科學院自動化研究所曾毅研究員課題組在Cell Press細胞出版社期刊Patterns上發(fā)表了一篇題為“A Brain-inspired Theory of Mind Spiking Neural Network Improves Multi-agent Cooperation and Competition”的新研究。他們受心理揣測(Theory of Mind)機制啟發(fā)，構建了包含模擬自我和他人的心理揣測脈沖神經網絡模型（MAToM-SNN），助力多智能體高效地合作與競爭。
 
　　研究亮點
 
　　智能體能利用自身經驗或對他人的觀測來揣測他人行為
 
　　具備心理揣測能力的智能體自適應地調整策略以更好地與他人交互
 
　　心理揣測模型能夠提升多智能體在合作和競爭任務中的表現(xiàn)
 
　　心理揣測模型在基于脈沖神經網絡和循環(huán)神經網絡的多智能體強化學習任務中展現(xiàn)出高度的泛化性
 
　　論文簡介
 
　　人類等群體動物在自然界中廣泛存在著合作或競爭等社會行為。心理揣測等社會認知能力在社會智能的群體涌現(xiàn)中起到至關重要的作用。心理揣測是指能夠區(qū)分自我和他人，揣測他人心理狀態(tài)（包括信念、意圖、愿望等）的能力（圖1A）。近年來，這種認知功能在心理學與認知神經科學中受到了廣泛的研究并逐漸揭開了心理揣測的神經機制（圖1B）。而心理揣測的神經機制為我們研究并探索基于心理揣測的多智能體社會交互、人機交互提供了重要啟發(fā)與創(chuàng)新源泉。
 
　　
 
　　圖1. A，心理揣測例子；B，心理揣測涉及的腦區(qū)及神經回路
 
　　中國科學院自動化研究所曾毅研究員負責的類腦認知智能研究組借鑒人腦心理揣測的神經機制，提出了面向多智能體的類腦心理揣測脈沖神經網絡（MAToM-SNN,如圖2）。具體而言，借鑒腹內側前額葉皮層（the ventral medial prefrontal cortex, vmPFC）和背內側前額葉皮層（the dorsal medial prefrontal cortex, dmPFC）分別內化和存儲與自我和他人相關的信息，背外側前額葉皮層（the dorsolateral prefrontal cortex, dlPFC）進一步推斷他人決策的神經機制,所提模型分別構建了根據(jù)自身經驗揣測他人的模塊（Self-MAToM）和根據(jù)對他人觀測揣測他人的模塊（Other-MAToM）。兩個模塊均采用四層全連接的脈沖神經網絡結構，用LIF模型（the leaky integrate-and-fire model）模擬脈沖神經元放電情況。此外，受人腦前扣帶皮層（the anterior cingulate cortex, ACC）基于對他人預測的行為與真實行為的差別的響應機制啟發(fā)，所提模型基于代理梯度算法對網絡進行訓練與優(yōu)化。MAToM-SNN預測的他人行為給決策模型提供了豐富的狀態(tài)表征，進而幫助決策網絡自適應地調整自身策略。
 
　　
 
　　圖2. 心理揣測模型助力多智能體高效合作與競爭
 
　　文章第一作者博士生趙卓雅說：“我們在多個合作、合作競爭混合場景中進行了實驗，其中收獲（Harvest）、升級（Escalation）、打獵（Hunt）的合作場景需要多個智能體協(xié)力收獲更多的獎勵，而單一智能體僅能取得有限的獎勵；欺騙（Physical Deception）、捕食（Predator-Prey）、通訊（World Communication）的合作競爭場景存在對立的雙方，其中一方需要合力干擾另一方的判斷或圍堵/躲避另一方。
 
　　我們發(fā)現(xiàn)在合作場景中，心理揣測模型能夠幫助智能體自主與他人協(xié)作獲取群體更多利益，做出更具前瞻性的選擇；在合作競爭場景中，心理揣測模塊幫助智能體更了解隊友與對手，因此在與決策模型結合的過程中會衍生出更有利于團隊整體的行為。實驗結果也證明了心理揣測模型能有效泛化至由傳統(tǒng)的人工神經網絡和脈沖神經網絡構建的決策網絡上，提升平均獎勵和學習速度（圖3，圖4）。
 
　　
 
　　圖3. 心理揣測模型助力多智能體合作
 
　　
 
　　圖4. 心理揣測助力多智能體競爭
 
　　除此之外，我們在競爭任務中深入研究了心理揣測模型的作用。消融實驗顯示（表1）：具有心理揣測能力的團隊（B-ToM）比沒有心理揣測能力的團隊（B）獲得更高的獎勵。此外，對立團隊中一方擁有心理揣測模型（B-ToM）使得被推斷出的團隊的獎勵（A）會減少。這表明在競爭任務中，心理揣測增加了一個團隊的獎勵并抑制了對立團隊的獎勵。當兩個團隊都有心理揣測模型時，擁有更多智能體的團隊（B隊）可以獲得更多獎勵并抑制擁有較少智能體的團隊獲得獎勵。這也證實了我們的模型將有助于人數(shù)較多的團隊在競爭性任務中提高性能。”
 
　　
 
　　表1. 競爭任務的消融分析結果
 
　　文章共同作者趙菲菲副研究員介紹：“本研究進一步分析了基于自我經驗、對他人觀測實現(xiàn)的心理揣測模型在社會決策過程中的影響。從圖5可以發(fā)現(xiàn)，基于自我經驗對他人揣測能夠在交互早期快速地幫助提升合作效率和表現(xiàn)，隨著交互中不斷累積到他人的觀測數(shù)據(jù)，后期對他人直接建模更加準確。因此基于自我經驗和對他人觀測的心理揣測貢獻于社會交互的不同階段，協(xié)同助力多智能體的合作與競爭。
 
　　
 
　　圖5. 具有自我經驗的智能體與沒有自我經驗的智能體在競爭中的表現(xiàn)對比
 
　　這項工作受人腦心理揣測的機理啟發(fā)，采用具備生物合理性的脈沖神經網絡進行建模，探索人腦區(qū)分自我和他人的心理揣測能力在社會決策中的重要作用。同時，這項研究為探索人機交互、多智能體社會決策提供了基礎。”
 
　　文章責任作者曾毅研究員說：“對高等認知功能，特別是社會認知的類腦智能建模是我們課題組比較有特色的研究。文章中的這項研究通過提出并實現(xiàn)類腦心理揣測模型將心理揣測能力帶給了多智能體，并賦能其在復雜社會決策中取得應用，證明了心理揣測能力在社會交互中能夠幫助高效地合作與競爭。這是我們課題組前期繼探索腦啟發(fā)的心理揣測脈沖神經網絡實現(xiàn)智能體推斷他人錯誤信念、幫助他人規(guī)避安全風險之后，進一步拓展至多智能體社會交互的復雜協(xié)作與競爭場景的工作。使人工智能具有心理揣測、共情等社會認知能力是發(fā)展安全、負責任、有道德、可信的人工智能的基礎，將促進人與人工智能的和諧共生。”
 
　　文章鏈接：
 
　　https://www.sciencedirect.com/science/article/pii/S2666389923001265
 
　　代碼：
 
　　https://github.com/BrainCog-X/Brain-Cog/tree/main/examples/Social_Cognition/MAToM-SNN
 
　　作者介紹
 
　　趙卓雅
 
　　中國科學院自動化研究所類腦認知智能研究組2019級博士研究生，導師為曾毅研究員。研究方向為類腦心理揣測與決策模型。目前已在Patterns、Frontiers in Neuroscience等發(fā)表論文多篇。
 
　　趙菲菲
 
　　中國科學院自動化研究所類腦認知智能研究組副研究員。研究方向為類腦決策、發(fā)育及演化脈沖神經網絡。目前已在Patterns、IEEE Transactions on Cognitive and Developmental Systems、Neural Computation、Scientific Reports、Cognitive Computation、Frontiers in Neuroscience以及人工智能領域重要國際會議IJCAI等發(fā)表論文多篇。
 
　　趙宇軒
 
　　中國科學院自動化研究所類腦認知智能研究組副研究員。研究方向為類腦認知計算建模、高等認知功能模擬。目前已在Patterns、iScience、Frontiers in Neuroscience、Cognitive Computation等期刊發(fā)表多篇論文。
 
　　曾毅
 
　　中國科學院自動化研究所研究員、類腦認知智能研究組負責人、腦圖譜與類腦智能實驗室副主任、人工智能倫理與治理研究中心主任；中國科學院大學崗位教授、博士生導師；中國人工智能學會心智計算專委會主任；國家新一代人工智能治理專委會委員；聯(lián)合國教科文組織人工智能倫理特設專家組專家。研究方向為：類腦人工智能、人工智能倫理、治理與可持續(xù)發(fā)展。代表性成果發(fā)表在Cell Press細胞出版社旗下期刊Patterns、iScience、Nature出版社旗下Scientific Data、Scientific Reports、Science出版社旗下Science Advances、以及IEEE Transactions和人工智能領域重要國際會議IJCAI和AAAI等。
 
　　孫胤乾
 
　　中國科學院自動化研究所類腦認知智能研究組博士研究生。研究方向為類腦信息編碼、感知決策神經網絡。目前已在 iScience、Patterns、Frontiers in Neuroscience等發(fā)表論文多篇。
 
　　絡助力多智能體合作與競爭