Science Advances | 自動化所與北京大學(xué)合作開源深度脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架SpikingJelly CASIA 中國科學(xué)院自動化研究所
【ZiDongHua 之技術(shù)文章區(qū)收錄關(guān)鍵詞:中國科學(xué)院自動化研究所 北京大學(xué) 開源深度脈沖 解決方案】
Science Advances | 自動化所與北京大學(xué)合作開源深度脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架SpikingJelly
CASIA 中國科學(xué)院自動化研究所
為了解決上述問題,中國科學(xué)院自動化研究所李國齊研究員與北京大學(xué)計算機學(xué)院田永鴻教授團(tuán)隊合作構(gòu)建并開源了深度脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架SpikingJelly(中文名:驚蜇)。SpikingJelly(驚蜇)提供了全棧式的脈沖深度學(xué)習(xí)解決方案,支持神經(jīng)形態(tài)數(shù)據(jù)處理、深度SNN的構(gòu)建、替代梯度訓(xùn)練、ANN轉(zhuǎn)換SNN、權(quán)重量化和神經(jīng)形態(tài)芯片部署等功能。SpikingJelly(驚蜇)框架的主要優(yōu)勢如下:
脈沖深度學(xué)習(xí)作為計算神經(jīng)科學(xué)與深度學(xué)習(xí)的交叉學(xué)科,要求研究者同時掌握兩個領(lǐng)域的知識體系,但實際情況是研究者可能只對一個領(lǐng)域有深度了解。SpikingJelly(驚蜇)框架提供了簡單易用的PyTorch風(fēng)格的API、中英文雙語編寫的教程、活躍友善的討論社區(qū),常用的網(wǎng)絡(luò)模型和訓(xùn)練腳本也一并給出,研究者可以快速進(jìn)行跨領(lǐng)域的學(xué)習(xí)和使用,通過寥寥數(shù)行代碼輕松構(gòu)建并訓(xùn)練深度SNN。
通過模仿真實生物神經(jīng)系統(tǒng)或借鑒人工神經(jīng)網(wǎng)絡(luò)的成熟經(jīng)驗,改進(jìn)和提出新的SNN算法和模型,這種研究范式已經(jīng)被廣泛使用,成果頗豐。研究者期望能夠自由地定義和擴展新模型,僅需少量代碼改動就對模型行為產(chǎn)生巨大改變,這一開發(fā)理念與SpikingJelly(驚蜇)的設(shè)計哲學(xué)不謀而合。SpikingJelly(驚蜇)中的絕大多數(shù)模塊都是通過層次清晰的多重繼承實現(xiàn),這既為開發(fā)者降低了開發(fā)成本,也給用戶提供了完美的定義新模型的范例。
深度學(xué)習(xí)涉及大規(guī)模數(shù)據(jù)處理、大尺度模型訓(xùn)練,脈沖深度學(xué)習(xí)亦不例外。而SNN特有的額外的時間維度,使其具有更高的計算復(fù)雜度,因而脈沖深度學(xué)習(xí)對計算資源的需求更高??紤]到ImageNet這樣百萬規(guī)模樣本的數(shù)據(jù)集已經(jīng)在SNN中廣泛使用,研究者愈發(fā)關(guān)注網(wǎng)絡(luò)的訓(xùn)練速度。SpikingJelly(驚蜇)充分利用SNN的特性,通過計算圖遍歷順序優(yōu)化、JIT (just-in-time compilation, 即時編譯)、半自動CUDA代碼生成等技術(shù)來加速SNN仿真,與其他框架相比可達(dá)11倍的訓(xùn)練加速。第三方獨立社區(qū)Open Neuromorphic組織對多個SNN框架進(jìn)行了精細(xì)的速度基準(zhǔn)測試,參與評測的框架除了SpikingJelly(驚蜇)還包括來自Intel、SynSense時識科技、加州大學(xué)圣克魯斯分校、海德堡大學(xué)、瑞典皇家理工學(xué)院等科技公司和學(xué)術(shù)機構(gòu)的框架,結(jié)果表明SpikingJelly(驚蜇)具有最快的仿真速度,比其他框架快10倍以上。
SpikingJelly(驚蜇)框架自2019年冬季一經(jīng)推出就受到了研究者們的歡迎和廣泛使用,基于SpikingJelly(驚蜇)的研究工作已經(jīng)大量出版,將SNN的應(yīng)用從簡單的MNIST數(shù)據(jù)集分類擴展到人類水平的ImageNet圖像分類、網(wǎng)絡(luò)部署、事件相機數(shù)據(jù)處理等實際應(yīng)用。此外,一些尖端前沿領(lǐng)域的探索也被報道,包括可校準(zhǔn)的神經(jīng)形態(tài)感知系統(tǒng)、神經(jīng)形態(tài)憶阻器、事件驅(qū)動加速器硬件設(shè)計等。目前有超過95篇公開論文使用SpikingJelly(驚蜇)框架進(jìn)行實驗,其中25篇發(fā)表在CCF-A類人工智能頂級會議,5篇發(fā)表在IEEE Transactions,1篇發(fā)表在Nature Communications。以上應(yīng)用和研究表明,SpikingJelly(驚蜇)的開源,極大促進(jìn)了脈沖深度學(xué)習(xí)領(lǐng)域的發(fā)展。
介紹SpikingJelly (驚蜇)框架的論文SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence于2023年10月6號在Science子刊《科學(xué)進(jìn)展》(Science Advances)在線發(fā)表。北京大學(xué)計算機學(xué)院田永鴻教授、中國科學(xué)院自動化研究所李國齊研究員為論文共同通訊作者,北京大學(xué)計算機學(xué)院直博生方維為論文第一作者。國家自然科學(xué)基金、鵬城云腦網(wǎng)絡(luò)智能重大科技基礎(chǔ)設(shè)施項目、北京市自然科學(xué)基金為此項研究提供了資助。SpikingJelly(驚蜇)框架在2020-2022連續(xù)三年獲得科技部領(lǐng)導(dǎo)的啟智社區(qū)優(yōu)秀開源項目,啟智社區(qū)亦為框架的發(fā)展提供了大力支持。
微信聯(lián)盟:北京大學(xué)微信群、開源深度脈沖微信群、解決方案微信群,各細(xì)分行業(yè)微信群:點擊這里進(jìn)入。
鴻達(dá)安視:水文水利在線監(jiān)測儀器、智慧農(nóng)業(yè)在線監(jiān)測儀器 查看各品牌在細(xì)分領(lǐng)域的定位宣傳語


評論排行