【ZiDongHua 之智能自動化收錄關鍵詞： 中國科學院自動化研究所 曾毅 人工智能 神經網絡】
　　
　　會發(fā)育的人工智能：腦發(fā)育多尺度可塑性啟發(fā)的自適應修剪模型塑造高效神經網絡結構
　　
　　近日，中國科學院自動化研究所曾毅研究員領導的“類腦認知智能研究組”在權威期刊IEEE Transactions on Pattern Analysis and Machine Intelligence（IEEE TPAMI）上發(fā)表了一篇題為“Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and Artificial Neural Networks”的新研究。他們融合生物腦多尺度發(fā)育可塑性機制，例如：樹突棘動態(tài)可塑性、局部突觸可塑性和活動依賴的神經元脈沖跡等，基于“用進廢退”的原則設計自適應剪枝策略去除網絡中冗余的突觸和神經元，探索腦發(fā)育可塑性如何賦予深度神經網絡以動態(tài)結構調整能力，使其像生物腦一樣逐步“發(fā)育”為更高效的結構。研究所提出的通用發(fā)育可塑性自適應剪枝（DPAP）方法在深度神經網絡（DNNs）和脈沖神經網絡（SNNs）中均對性能和效率有顯著提升。
　　
　　研究亮點
　　
　　本研究融合樹突棘動態(tài)發(fā)育可塑性、突觸可塑性和神經元脈沖跡等多尺度時空結構發(fā)育可塑性機制來評估突觸和神經元的重要性為高效結構發(fā)育提供依據。
　　
　　本研究基于“用進廢退”的原則設計了自適應剪枝策略，借鑒樹突棘收縮先于突觸衰減，突觸剪枝先于神經元消亡的發(fā)育規(guī)律，逐步的剪枝網絡中冗余的突觸和神經元。
　　
　　所提通用剪枝算法在深度神經網絡和脈沖神經網絡中的動態(tài)結構剪枝符合大腦先快后慢逐步穩(wěn)定的發(fā)育剪枝過程，在與大腦相似的約50%稀疏度時達到了最佳性能。同時，算法提高了學習性能和速度，降低了能量消耗。
　　
　　論文簡介
　　
　　腦發(fā)育可塑性通過塑造生物腦動態(tài)結構對復雜環(huán)境變化展現出靈活的適應性，以極低的能耗逐步習得和完善諸多復雜的認知功能。自嬰兒出生以來，突觸爆炸式增長，在兩三歲時達到頂峰。隨后，根據“用進廢退”的原則，突觸數量經歷了先指數型下降，后逐步穩(wěn)定的過程。通過與環(huán)境不斷的相互作用和自發(fā)學習，基于樹突棘、突觸和神經元多尺度共同作用，相互協(xié)同的發(fā)育可塑性通過動態(tài)修剪冗余突觸和神經元自適應和靈活地調整了神經網絡結構，提升網絡自適應性的同時降低了能量消耗。受此啟發(fā)，本研究認為針對日益復雜和規(guī)模不斷擴大的人工神經網絡，如何有效融合發(fā)育可塑性機制以獲得更高效和高度自適應的神經網絡結構是推進人工智能進一步發(fā)展所需的深刻和迫切的研究。
 
　　
　　圖1：腦發(fā)育機制啟發(fā)的自適應剪枝方法
　　
　　研究深度融合受生物腦多尺度發(fā)育可塑性變化機制啟發(fā)的策略，如圖1所示。依據樹突棘收縮先于突觸衰減，突觸剪枝先于神經元消亡的發(fā)育規(guī)律，使用基于脈沖跡的Bienenstock-Cooper-Munros（BCM）突觸可塑性評估突觸重要性；使用綜合神經元脈沖跡和 BCM 突觸可塑性的樹突棘動態(tài)可塑性評估神經元重要性。此外，根據“用進廢退”的原則，研究設計了突觸和神經元的存活函數來綜合其長期重要性。當存活函數多次小于0時，對應的突觸和神經元才會被剪枝，以確保剪枝的準確性。
　　
　　研究提出的通用自適應剪枝算法對DNNs和SNNs均適用，特別地對于事件驅動的 SNNs，引入了空間和時間維度的聯合剪枝。其中，空間維度重要性以時間脈沖序列為基礎計算，時間維度剪枝考慮了空間中突觸前后神經元狀態(tài)。在多個空間數據集和神經形態(tài)數據集的不同任務中，DPAP方法實現了類腦的剪枝過程和稀疏結構，針對DNNs和SNNs都提高了收斂速度和正確率的同時降低了能耗如圖2。特別是所提出的時空聯合剪枝方法在神經形態(tài)數據集上為 SNNs 帶來了最先進的性能，能耗僅為原固定基礎網絡的 6.00%。
 
　　
　　圖2：所提DPAP方法提高了模型性能和學習速度，降低能量消耗
　　
　　論文的第一作者博士生韓冰說:
　　
　　“我們的研究遵循生物腦結構發(fā)育可塑性過程，融合多尺度樹突棘、突觸和神經元動態(tài)結構變化提出了一種通用的自適應剪枝算法。通過生物合理的可塑性建模，我們發(fā)現所提出的DPAP方法的整體剪枝優(yōu)化過程和結果符合大腦的宏觀發(fā)育修剪規(guī)律。在大腦中，剪枝是一個與學習同時進行的在線過程，神經剪枝速率先快后慢，最后趨于穩(wěn)定。我們的實驗顯示，在DPAP方法的學習過程中，網絡中的連接總數首先急劇下降，然后逐漸保持穩(wěn)定如圖3，符合大腦的剪枝過程。此外，不同于其它剪枝方法稀疏度增高性能下降的現象，所提方法的性能隨稀疏度的增高先提升后下降，并在約50%左右達到最佳性能，這與成年大腦的稀疏度一致。”
 
　　
　　圖3：基于腦發(fā)育可塑性的剪枝實現類腦的結構優(yōu)化過程
　　
　　論文的共同第一作者趙菲菲副研究員說:
　　
　　“我們的方法具有很高的生物合理性，并從多個方面為理解發(fā)育中大腦的自然剪枝過程提供了啟示。在大腦中，樹突棘的收縮和消亡是神經元活動和突觸可塑性降低的結果，同時，樹突棘消亡以及突觸剪枝是神經元修剪的先決條件。因而，依據樹突棘收縮先于突觸衰減，突觸剪枝先于神經元消亡的發(fā)育機制，DPAP方法修剪突觸或神經元并不是一個瞬間的沖動決定，而經歷了持續(xù)多次基于多尺度可塑性的綜合評估。只有連續(xù)衰減的突觸和神經元才會被逐漸剪枝，確保了被修剪的突觸或神經元是多余的，也符合大腦中樹突棘、突觸和神經元相互影響，逐步修剪的發(fā)育規(guī)律。我們將所提到的發(fā)育可塑性成功引入深度和脈沖神經網絡的結構優(yōu)化中表明發(fā)育規(guī)則使神經元能夠自組織形成類腦高效神經網絡結構。”
　　
　　論文的通訊作者曾毅研究員說：
　　
　　“我們的研究可以說是腦科學與人工智能雙向啟發(fā)又一個典型的案例。我們在同一個神經網絡計算模型中融合了腦發(fā)育過程中多尺度的突觸、神經元自適應新生與消亡機制，探索了這些原理在計算層面的協(xié)同，通過計算建模進一步驗證了腦發(fā)育原理。在此基礎上提出基于類腦發(fā)育可塑性的通用結構學習理論，受此啟發(fā)構建結構動態(tài)發(fā)育的低能耗、高性能類腦神經網絡。這項研究揭示了發(fā)育可塑性在助力神經網絡自適應形成類腦高效結構方面的重要價值和關鍵作用，同時也從一個側面驗證了這些原理對于生物腦在發(fā)育過程中將大腦塑造為更具自適應性的結構。融合學習-發(fā)育-演化原理的類腦人工智能是我們團隊在人工智能科學創(chuàng)新方面的持久努力和我們近10年來的理論研究重要核心，此項研究是我們實驗室在類腦發(fā)育神經網絡方面的又一新進展，并已開源開放，匯入我們面向通用智能的類腦認知智能引擎“智脈(BrainCog)”，為發(fā)展高適應性、高性能的類腦人工智能模型與平臺提供了有力的理論與技術支持。”
　　
　　論文標題：
　　
　　Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and Artificial Neural Networks
　　
　　論文地址：
　　
　　https://ieeexplore.ieee.org/document/10691937
　　
　　論文源碼：
　　
　　https://github.com/BrainCog-X/Brain-Cog/tree/main/examples/Structural_Development/DPAP
　　
　　作者簡介：
　　
　　韓冰
　　
　　中國科學院自動化研究所類腦認知智能研究組2021級博士研究生，導師為曾毅研究員，研究方向為腦發(fā)育機制啟發(fā)的脈沖神經網絡模型。目前已在IEEE TPAMI、IEEE TAI、IJCAI、Patterns、iScience、Information Sciences、Scientific Reports等發(fā)表論文多篇。
　　
　　趙菲菲
　　
　　中國科學院自動化研究所類腦認知智能研究組副研究員。研究方向為類腦決策、發(fā)育及演化脈沖神經網絡。相關成果發(fā)表于Cell出版社旗下Patterns、iScience、IEEE TPAMI、IEEE TAI、IEEE TCDS、Neural Computation、Information Sciences、Scientific Reports、Cognitive Computation等國際期刊及國際會議IJCAI等。
　　
　　曾毅
　　
　　中國科學院自動化研究所研究員、類腦認知智能研究組負責人、腦圖譜與類腦智能實驗室副主任、人工智能倫理與治理研究中心主任；中國科學院大學崗位教授、博士生導師；中國人工智能學會心智計算專委會主任；國家新一代人工智能治理專委會委員；聯合國人工智能高層顧問機構專家；聯合國教科文組織人工智能倫理特設專家組專家。研究方向為：類腦人工智能、人工智能倫理、治理與可持續(xù)發(fā)展。被美國《時代周刊TIME》評為人工智能最具影響力100人。
　　
　　相關成果發(fā)表于PNAS、Cell Press旗下期刊Patterns、iScience，Nature出版社旗下Scientific Data、Scientific Reports，以及Science出版社旗下Science Advances、人工智能領域重要期刊IEEE TPAMI、TVLSI、TCAD、TCDS、TAI、Neural Networks以及人工智能領域重要國際會議NeurIPS、CVPR、IJCAI和AAAI等。
　　
　　申國斌
　　
　　中國科學院自動化研究所類腦認知智能研究組2021級博士研究生，導師為曾毅研究員，研究方向為腦發(fā)育機制啟發(fā)的脈沖神經網絡模型。目前已在PNAS、Patterns、Neural Networks、Information Sciences、IEEE TVLSI、IEEE TCAD、CVPR、NeurIPS、IJCAI, AAAI、MM、FPL等發(fā)表論文多篇。
　　
　　類腦認知智能實驗室
　　
　　類腦認知智能實驗室(BrainCog Lab)隸屬于中國科學院自動化研究所，實驗室成立于2013年，是從事類腦人工智能前沿理論和腦與智能交叉創(chuàng)新的研究團隊。由中國科學院自動化研究所腦圖譜與類腦智能實驗室副主任曾毅研究員擔任團隊負責人。
　　
　　類腦認知智能實驗室以構建面向通用人工智能的類腦認知智能模型與應用為主要研究內容，特別是在類腦脈沖神經網絡學習、發(fā)育與演化機理、類腦可塑性理論體系、類腦知識表征與推理、類腦決策理論、意識計算模型、情感與倫理道德的類腦模型等方面開展研究。
　　
　　實驗室研制的類腦認知智能引擎“智脈(BrainCog)”致力于為新一代人工智能前沿探索打造基于脈沖神經網絡的通用人工智能引擎，服務于人類與人工智能的和諧共生。
　　
　　類腦認知智能實驗室(BrainCog Lab)主頁：http://www.braincog.ai
　　
　　類腦認知智能引擎“智脈(BrainCog)”主頁：http://www.brain-cog.network/