2024229期排列三試機號 904
發(fā)表于：2024/08/26 17:51:24
中新網(wǎng)北京8月17日電 (記者 孫自法)針對“基于外生復(fù)雜性”通用人工智能(AI)路徑面臨計算資源及能源消耗難以為繼、可解釋性不足等問題，中國科學(xué)院自動化研究所李國齊、徐波研究團隊聯(lián)合清華大學(xué)、北京大學(xué)等同行學(xué)者，借鑒大腦神經(jīng)元復(fù)雜動力學(xué)特性，最新研究提出“基于內(nèi)生復(fù)雜性”的類腦神經(jīng)元模型構(gòu)建方法。
這一新型類腦計算方法，可改善傳統(tǒng)模型通過向外拓展規(guī)模帶來的計算資源消耗問題，也為有效利用神經(jīng)科學(xué)發(fā)展人工智能提供了示例。相關(guān)成果論文近日在國際專業(yè)學(xué)術(shù)期刊《自然-計算科學(xué)》(Nature Computational Science)發(fā)表。
合作團隊介紹說，構(gòu)建更加通用的人工智能，讓模型具有更加廣泛和通用的認(rèn)知能力，是當(dāng)前人工智能領(lǐng)域發(fā)展的重要目標(biāo)。目前流行的大模型路徑是基于“尺度定律”(Scaling Law)去構(gòu)建更大、更深和更寬的神經(jīng)網(wǎng)絡(luò)，可稱之為“基于外生復(fù)雜性”的通用智能實現(xiàn)方法，但這一路徑面臨著計算資源及能源消耗難以為繼、可解釋性不足等問題。
在本項研究中，合作團隊首先展示脈沖神經(jīng)網(wǎng)絡(luò)神經(jīng)元LIF模型和HH模型在動力學(xué)特性上存在等效性，進(jìn)一步從理論上證明HH神經(jīng)元可以和4個具有特定連接結(jié)構(gòu)的時變參數(shù)LIF神經(jīng)元(tv-LIF)動力學(xué)特性等效。
基于這種等效性，團隊通過設(shè)計微架構(gòu)提升計算單元的內(nèi)生復(fù)雜性，使HH網(wǎng)絡(luò)模型能夠模擬更大規(guī)模LIF網(wǎng)絡(luò)模型的動力學(xué)特性，在更小的網(wǎng)絡(luò)架構(gòu)上實現(xiàn)與之相似的計算功能。隨后，團隊進(jìn)一步將由4個tv-LIF神經(jīng)元構(gòu)建的“HH模型”(tv-LIF2HH)簡化為s-LIF2HH模型，并通過仿真實驗驗證這種簡化模型在捕捉復(fù)雜動力學(xué)行為方面的有效性。
這次研究的實驗結(jié)果表明，HH網(wǎng)絡(luò)模型和s-LIF2HH網(wǎng)絡(luò)模型在表示能力和魯棒性上具有相似的性能，驗證了內(nèi)生復(fù)雜性模型在處理復(fù)雜任務(wù)時的有效性和可靠性。同時，研究還發(fā)現(xiàn)，HH網(wǎng)絡(luò)模型在計算資源消耗上更為高效，顯著減少內(nèi)存和計算時間的使用，從而提高了整體的運算效率。
合作團隊通過信息瓶頸理論對他們的研究結(jié)果進(jìn)行解釋認(rèn)為，本項研究為將神經(jīng)科學(xué)的復(fù)雜動力學(xué)特性融入人工智能提供新的方法和理論支持，為實際應(yīng)用中的人工智能模型優(yōu)化和性能提升提供可行的解決方案。
據(jù)透露，合作團隊目前已開展對更大規(guī)模HH網(wǎng)絡(luò)，以及具備更大內(nèi)生復(fù)雜性的多分支多房室神經(jīng)元的研究，有望進(jìn)一步提升大模型計算效率與任務(wù)處理能力，實現(xiàn)在實際應(yīng)用場景中的快速落地。(完)