——習(xí)近平總書記在致中國(guó)科學(xué)院建院70周年賀信中作出的“兩加快一努力”重要指示要求
——中國(guó)科學(xué)院辦院方針
語音播報(bào)
近日,中國(guó)科學(xué)院自動(dòng)化研究所李國(guó)齊和徐波團(tuán)隊(duì)與相關(guān)單位合作,推出類腦脈沖大模型“瞬悉1.0”(SpikingBrain-1.0)。該模型基于團(tuán)隊(duì)原創(chuàng)“內(nèi)生復(fù)雜性”理論,在國(guó)產(chǎn)千卡GPU算力平臺(tái)上完成全流程訓(xùn)練和推理,實(shí)現(xiàn)大模型在超長(zhǎng)序列推理上數(shù)量級(jí)的效率和速度提升,展現(xiàn)出構(gòu)建國(guó)產(chǎn)自主可控的新型(非Transformer)大模型架構(gòu)生態(tài)的可行性。研究團(tuán)隊(duì)開源了SpikingBrain-1.0-7B模型,開放SpikingBrain-1.0-76B測(cè)試網(wǎng)址,同步公開經(jīng)工業(yè)界大規(guī)模驗(yàn)證的類腦脈沖大模型SpikingBrain-1.0中英文技術(shù)報(bào)告。
當(dāng)前主流的Transformer模型存在固有缺點(diǎn),即訓(xùn)練時(shí)開銷隨序列長(zhǎng)度呈平方級(jí)增長(zhǎng),推理時(shí)顯存占用隨序列長(zhǎng)度線性增加,造成資源消耗,導(dǎo)致其處理超長(zhǎng)序列能力受限。
研發(fā)團(tuán)隊(duì)借鑒大腦神經(jīng)元內(nèi)部復(fù)雜工作機(jī)制,提出“基于內(nèi)生復(fù)雜性”大模型構(gòu)架方式,打造類腦脈沖大模型“瞬悉1.0”,在理論上建立脈沖神經(jīng)元內(nèi)生動(dòng)力學(xué)與線性注意力模型之間的聯(lián)系,揭示現(xiàn)有線性注意力機(jī)制是樹突計(jì)算的特殊簡(jiǎn)化形式,展示出一條不斷提升模型復(fù)雜度和性能的新型可行路徑。進(jìn)一步,研發(fā)團(tuán)隊(duì)構(gòu)建并開源了基于脈沖神經(jīng)元、具有線性及混合線性復(fù)雜度的新型類腦基礎(chǔ)模型,開發(fā)出面向國(guó)產(chǎn)GPU集群高效訓(xùn)練和推理框架、Triton算子庫(kù)、模型并行策略、集群通信原語。
SpikingBrain-1.0在多個(gè)性能方面實(shí)現(xiàn)突破:實(shí)現(xiàn)極低數(shù)據(jù)量高效訓(xùn)練、實(shí)現(xiàn)推理效率數(shù)量級(jí)提升、構(gòu)建國(guó)產(chǎn)自主可控類腦大模型生態(tài)、提出基于動(dòng)態(tài)閾值脈沖化的多尺度稀疏機(jī)制。
這是我國(guó)首次提出大規(guī)模類腦線性基礎(chǔ)模型架構(gòu),并首次在國(guó)產(chǎn)GPU算力集群上構(gòu)建類腦脈沖大模型的訓(xùn)練和推理框架。其超長(zhǎng)序列處理能力在法律與醫(yī)學(xué)文檔分析、復(fù)雜多智能體模擬、高能粒子物理實(shí)驗(yàn)、DNA序列分析、分子動(dòng)力學(xué)軌跡等超長(zhǎng)序列任務(wù)建模場(chǎng)景中具有顯著的潛在效率優(yōu)勢(shì)。
相關(guān)鏈接:
© 1996 - 中國(guó)科學(xué)院 版權(quán)所有 京ICP備05002857號(hào)-1
京公網(wǎng)安備110402500047號(hào) 網(wǎng)站標(biāo)識(shí)碼bm48000002
地址:北京市西城區(qū)三里河路52號(hào) 郵編:100864
電話: 86 10 68597114(總機(jī)) 86 10 68597289(總值班室)
© 1996 - 中國(guó)科學(xué)院 版權(quán)所有 京ICP備05002857號(hào)-1
京公網(wǎng)安備110402500047號(hào) 網(wǎng)站標(biāo)識(shí)碼bm48000002
地址:北京市西城區(qū)三里河路52號(hào) 郵編:100864
電話: 86 10 68597114(總機(jī)) 86 10 68597289(總值班室)
© 1996 - 中國(guó)科學(xué)院 版權(quán)所有
京ICP備05002857號(hào)-1
京公網(wǎng)安備110402500047號(hào)
網(wǎng)站標(biāo)識(shí)碼bm48000002
地址:北京市西城區(qū)三里河路52號(hào) 郵編:100864
電話:86 10 68597114(總機(jī))
86 10 68597289(總值班室)