【ZiDongHua 之創(chuàng)新自科文收錄關鍵詞：人工智能   可持續(xù)發(fā)展  智能實驗室  類腦脈沖  智能機制 】
　　
　　新一代類腦生成式人工智能:神經元-膠質細胞協同生成式類腦脈沖神經網絡發(fā)布
　　
　　生成式人工智能模型一般為數據驅動的人工神經網絡模型，缺乏生物合理性并具有較高功耗。而現有脈沖神經網絡生成模型一般是對基于人工神經網絡的生成式人工智能模型進行轉換。近日, 由曾毅博士領導的中國科學院自動化研究所類腦認知智能團隊和遠期人工智能研究中心聯合提出了一種類腦生成式人工智能模型，該模型的核心是由星形膠質細胞調控的類腦生成式脈沖神經網絡，將神經元-星形膠質細胞相互作用融入計算范式中，并據此構建了第一個類腦脈沖神經網絡大語言對話模型，并在保持高生物合理性和計算可行性的同時，展現了數據和能源效率方面的顯著優(yōu)勢。相關文章于2023年12月12日在線發(fā)表于arXiv。
　　
　　數據驅動的生成式人工智能在行為和用戶體驗上近期達到了前所未有的高度，然而由于其在智能機制機理上與自然演化塑造的人腦有顯著差異，使得這種方法是否能支持實現真正意義的人工通用智能這個問題廣受關注。類腦人工智能被認為是實現基于自然機制與機理發(fā)展人工智能更為堅實的途徑。更具生物合理性的類腦脈沖神經網絡以脈沖神經元作為基本的計算單元，通過脈沖序列進行信息傳遞與智能信息處理。
　　
　　然而，盡管脈沖神經網絡在設計上具有生物合理性和相對創(chuàng)新性，它們也面臨著諸多挑戰(zhàn)。這些模型往往只展現出有限的、單一的特性，與人腦神經元的豐富多樣響應形成鮮明對比。此外，它們的設計通常無法在時間上實現解耦，缺乏并行處理能力，這反過來限制了大規(guī)模脈沖神經網絡的訓練和應用。以往的研究主要集中于神經元之間的互動，而忽視了神經膠質細胞，特別是星形膠質細胞的重要作用?？紤]到神經膠質細胞在神經行為和信息處理中的關鍵影響，忽略它們可能會阻礙我們對神經系統的全面理解，類腦智能模型中僅有神經元模型更可能忽略了自然智能體的系統性設計。 
　　
　　星形膠質細胞作為中樞神經系統不可或缺的一部分，與突觸前和突觸后的神經元共同構成了三方突觸結構，通過釋放膠質遞質積極介入神經元之間的信息交互。這種調節(jié)機制對神經網絡在信息處理方面的能力至關重要。
　　
　　本研究第一作者博士生申國斌介紹：在本研究中，研究團隊將星形膠質細胞引入類腦脈沖神經網絡的計算模型，構建了星形膠質細胞調控的脈沖神經網絡（AstroSNN）。如下圖所示，研究將星形膠質細胞納入脈沖神經網絡模型之中，它們通過與多個神經元突觸的連接，為脈沖神經網絡(SNNs)增加了一個額外的、長期的信息處理層。這些細胞不僅在物理上提升了神經網絡的復雜度，而且在功能上引入了新的維度。它們通過調節(jié)突觸活動和神經遞質的釋放，為神經網絡帶來了時間維度的信息記憶和處理能力。特別是，星形膠質細胞的引入使得SNNs能夠捕捉并維持輸入信號之間的長期關聯，這在傳統基于神經元的網絡模型中是難以實現的。在處理長期記憶和復雜序列分析任務時，這種新的網絡結構顯示出顯著優(yōu)勢。
　　
　　
　　
　　本研究主要作者之一趙東城博士介紹：傳統的LIF脈沖神經元模型雖然受到生物腦神經元啟發(fā)，但對真實世界的神經元行為進行了相當簡化的抽象。它們的主要局限是將神經元表示為標量實體, 具體體現在神經元的隱狀態(tài)不存在向量操作。這種方法阻礙了神經元之間的交流，因為它們無法有效傳遞一系列數值或復雜信息, 這與生物神經系統大相徑庭。這種標量性質雖然計算效率高，但卻犧牲了豐富的表征和適應性，從而限制了網絡捕捉復雜模式和依賴關系的能力。得益于星形膠質細胞的引入, 星形細胞調制的脈沖單元 (AM-SU)具有更豐富的隱藏狀態(tài)表示 (神經元數量的平方倍)，這賦予了它更強的記憶和信息處理能力。通過合并脈沖神經元的動態(tài)時間行為和星形膠質細胞的調節(jié)影響，AM-SU可以捕捉到更廣泛的神經元活動和依賴關系。與LIF神經元相比，AM-SU的設計確保了更好的并行處理和更廣泛的狀態(tài)表征（如下圖所示）。
　　
　　
　　
　　在星形細胞調制的脈沖單元 (AM-SU)中，不同時刻的內部狀態(tài)線性相關, 非線性的操作僅存在于對于輸入和輸出的處理。這樣的設計實現了AM-SU內部狀態(tài)的時間上的解耦。在知道之前時刻所有的輸入刺激, 就能夠通過O(1)的復雜度并行化計算出之前所有時刻的神經元的輸出。我們在英特爾 13900K CPU 上進行了分析，比較了AstroSNN 和 GPT2的推理開銷, 結果如圖3所示，顯示了 AstroSNN 在不同序列長度下的延遲、吞吐量和內存使用方面的卓越性能。
　　
　
　　基于此, 我們在具有800GB語料的預訓練數據集The Pile上訓練了一個擁有 15 億個參數的類腦生成式人工智能模型AstroSNN, 該模型能夠具有一定的對話能力。這也是就研究團隊所知第一個基于脈沖神經網絡模型的具有對話能力的大語言對話模型。對話的樣例如圖4所示.
　　
　　基于膠質細胞-脈沖神經元協同的類腦生成式脈沖神經網絡模型AstroSNN將腦啟發(fā)的神經科學原理與先進的計算技術深度融合，并在大規(guī)模生成式人工智能方面取得應用，為生成式人工智能、類腦智能、神經形態(tài)計算引入了新思想與實質進展。與當前主流的基于人工神經網絡的大模型不同，AstroSNN采用了類腦脈沖神經網絡，并巧妙地引入了星形膠質細胞，這種創(chuàng)新方法解決了基于 LIF 的傳統 SNN 固有的局限性，顯著提升了模型的表征能力和處理復雜時間依賴關系的能力。這些膠質細胞通過與眾多脈沖神經元的突觸連接，為脈沖神經網絡增添了一個全新的、長期的信息處理維度。它們的加入，使得AstroSNN能夠捕捉到更加豐富和深入的神經活動及其相互依賴關系。在面對復雜的語言理解和生成任務時，AstroSNN不僅顯示出與大型語言模型相媲美的能力，而且其運行時的計算負擔僅是后者的一小部分。
　　
　　該項研究的負責人曾毅博士說：“我們所塑造的類腦生成式人工智能(Brain-inspired Generative AI)與傳統生成式人工智能具有顯著不同的理念，長遠目標是自然與生物智能機制機理啟發(fā)、相對小數據、低功耗、高智能。學習了大規(guī)模數據的類腦智能模型如果在機理機制上具備生物意義的智能，必將有潛力達到人工通用智能。基于膠質細胞-脈沖神經元協同的類腦生成式脈沖神經網絡模型AstroSNN不僅是對現有生成式人工智能模型的反思與變革，更是對下一代人工智能的探索。它在保持高智能處理能力的同時，展現了數據和能源效率方面的顯著優(yōu)勢，為未來的生成式人工智能、人工通用智能提供了新的方向”。
　　
　
　　作者簡介：
　　
　　申國斌
　　
　　中國科學院自動化研究所類腦認知智能研究組2021級博士研究生，導師曾毅研究員。主要研究方向為類腦脈沖神經網絡可塑性建模。目前已在PNAS, Patterns、Neural、Networks Information Sciences、IEEE TVLSI、ACM ToMM、NeurIPS、IJCAI, AAAI等發(fā)表論文多篇。
　　
 
　　
　　趙東城
　　
　　中國科學院自動化研究所類腦認知智能研究組助理研究員，遠期人工智能研究中心首席研究員。研究方向為類腦脈沖神經網絡、類腦深度神經網絡。目前已在PNAS、IEEE TVLSI、Scientific Data、Patterns、Neural Networks、Information Sciences、NeurIPS、AAAI、IJCAI等發(fā)表論文多篇。
　　
 
　　
　　董一廷
　　
　　中國科學院自動化研究所類腦認知智能研究組2020級博士研究生。導師曾毅研究員。主要研究方向為類腦脈沖神經網絡不同監(jiān)督方式和可塑性研究。目前已在PNAS、Patterns、Neural Networks、Scientific Data、NeurIPS等發(fā)表論文多篇。
　　
 
　　
　　李楊
　　
　　中國科學院自動化研究所類腦認知智能研究組2019級博士生，導師為曾毅研究員。研究方向為類腦脈沖神經網絡優(yōu)化方法。目前已在Scientific Data，Neural Networks，Information Sciences，Frontiers in Computational Neuroscience，IJCAI、NeurIPS等發(fā)表論文多篇。
　　
　　
　　李金東
　　
　　中國科學院自動化研究所類腦認知智能研究組2022級碩士研究生在讀。主要研究方向為類腦脈沖神經網絡軟硬件協同創(chuàng)新與實現。目前已在IEEE TVLSI發(fā)表論文。
　　
　　
　　孫康
　　
　　遠期人工智能研究中心副主任，研究方向為人工智能安全、倫理與治理，類腦人工智能。目前已在AI and Ethics、IPSJ Magazine等發(fā)表論文多篇。
　　
 
　　
　　曾毅
　　
　　中國科學院自動化研究所研究員、類腦認知智能研究組負責人、腦圖譜與類腦智能實驗室副主任、人工智能倫理與治理研究中心主任；中國科學院大學崗位教授、博士生導師；遠期人工智能研究中心創(chuàng)始主任；中國人工智能學會心智計算專委會主任；國家新一代人工智能治理專委會委員；聯合國人工智能高層顧問機構專家；聯合國教科文組織人工智能倫理特設專家組專家。研究方向為：類腦人工智能、人工智能倫理、治理與可持續(xù)發(fā)展。被美國《時代周刊(TIME)》評為人工智能最具影響力100人。
　　
　　代表性成果發(fā)表在PNAS、Cell Press旗下期刊Patterns、iScience，Nature出版社旗下Scientific Data、Scientific Reports、Humanities and social sciences communications，以及Science出版社旗下Science Advances、IEEE Transactions、Neural Networks以及人工智能領域重要國際會議NeurIPS、IJCAI和AAAI等。
　　
　　類腦認知智能實驗室
　　
　　類腦認知智能實驗室(BrainCog Lab)隸屬于中國科學院自動化研究所，實驗室成立于2013年，是從事類腦人工智能前沿理論和腦與智能交叉創(chuàng)新的研究團隊。由中國科學院自動化研究所腦圖譜與類腦智能實驗室副主任曾毅研究員擔任團隊負責人。
　　
　　類腦認知智能實驗室以構建面向通用人工智能的類腦認知智能模型與應用為主要研究內容，特別是在類腦脈沖神經網絡學習、發(fā)育與演化機理、類腦可塑性理論體系、類腦知識表征與推理、類腦決策理論、意識計算模型、情感與倫理道德的類腦模型等方面開展研究。
　　
　　實驗室研制的類腦認知智能引擎“智脈(BrainCog)”致力于為新一代人工智能前沿探索打造基于脈沖神經網絡的通用人工智能引擎，服務于人類與人工智能的和諧共生。
　　
　　類腦認知智能實驗室(BrainCog Lab)主頁：http://www.braincog.ai
　　
　　類腦認知智能引擎“智脈(BrainCog)”主頁：http://www.brain-cog.network/
　　
　　遠智觀點(Views on Long-term AI)關注人工智能倫理與治理近期與長遠發(fā)展的理論研究、觀點分析與實踐，旨在培育領域前瞻思想，促進國內、國際觀點對話與交流，助力領域共識、規(guī)范與政策的形成。主要涉及近期與長遠人工智能的風險與挑戰(zhàn)、人工智能倫理與治理理論與實踐、通用人工智能與超級智能的發(fā)展途經及其社會影響、國防人工智能與軍控、人工智能促進世界和平、人工智能助力可持續(xù)發(fā)展。