自動化所提出以中間狀況生物可塑性為核心的類

  自動化所提出以中間狀況生物可塑性為核心的類腦脈沖神經網絡

 

  與傳統人工神經網絡相比,脈沖神經網絡更接近人腦神經網絡的任务機理,更適合用於提醒智能的本質,不但能够用來對腦神經系統進行建模,并且能夠應用於解決人工智能的問題 。脈沖神經網絡具有膜電勢的非線性積累、達到閾值後的脈沖放電以及放電後的不應期冷卻等愈加紮實的生物基礎,這些特性在給脈沖神經網絡提供瞭愈加復雜的信息處理才能的同時,也為它的訓練和優化帶來瞭挑戰。

  傳統的基於誤差反傳的學習办法已經被證明能够很好地優化人工神經網絡,但是其要求網絡和神經元節點處處可微分,因而不適用於脈沖神經網絡的優化,其原理也與生物腦的學習法則存在差距。当前還沒有一套針對脈沖神經網絡的通用訓練办法。但是考慮到生物系統中自有一套可塑性學習機制指導著生物脈沖網絡的學習和訓練,因而以生物可塑性原理出發,最終啟發失掉脈沖神經網絡的訓練办法,將會是一個能够的途徑。

  據此,自動化研讨所類腦智能研讨中心團隊研讨員曾毅課題組提出以生物可塑性為中心的類腦脈沖神經網絡,在MNIST手寫識別任務中正確率接近人工神經網絡程度,拉近瞭類腦脈沖神經網絡與人工智能應用之間的距離 。課題組次要遴經計算,此次公佈的18款車型中,零整比系數最高的車型為北京奔馳GLK級,零整比系數為974.66%,零整比系數最低的車型為長城哈弗H6 ,為189.5%選瞭兩條生物可塑性規則作為研讨對象:首先,任何的理論優化办法,其最終目的都是為網絡實現穩定的功用表達,在微觀尺度即是神經元的膜電位改變和輸入電流達到平均,在宏觀尺度即是網絡功用輸出和信息輸入達到平均;其次,生物網絡的訓練中,突觸權值往往是隨著突觸前後神經元放電的狀態變化而被動的更新,如脈沖時序在換裝更小排量的2.0T引擎之後對應稅率僅為5%,下調瞭4個百分點依賴的突觸可塑性(Spike-Timing Dependent Plasticity,STDP)。基於上述兩點規則的啟發,研讨將脈沖網絡訓練办法分為四個步驟:基於前饋的膜電位信息更新;基於輸入輸出穩態操纵的膜電位信息更新;基於一層誤差反饋的膜電位更新;基於STDP的由膜電位變化到突觸變化的被動更新。“為瞭驗證四個步驟網絡訓練的无效性,我們采纳最簡的三層脈沖神經網絡進行測試,最終在MNIST任務上達到分類正確率為98.52%。據瞭解,這已是應用生物神經可塑性進行訓練的純脈沖神經網絡應用到MNIST數據集上获得的最好結果,在我們的任务之前,最好的是2015年的一個結果,大致在95%左右。”研讨人員介紹到,“這項研讨使得類腦脈沖神經網絡在MNIST手寫數字識別問題上根本上具備瞭與深度神經網絡的可比性。用脈沖神經元替換通過反向傳播訓練的人工神經網絡上的神經元,能够構建卷積脈沖神經網絡(Convolutional SNN),正確率乃至還能够進一步達到99.1%,但是這樣的學習機制實際上依然是人工神經網絡和反向傳播在發揮作用,而不是脈沖神經網絡的才能,更不是真正的腦啟發的學習機制。這項研讨的模型具備相對更片面的生物合感性,更能反映智能的本質,提醒生物腦可塑性的原理應用到人工智能問題上的潛力”。

  相關研讨结果已被第32屆AAAI大會接纳 。

  

  

圖1.三層脈沖神經網絡架構

  

  

圖2.生物可塑性原理為中心的脈沖網絡測試準確率

  

 

您可能还会对下面的文章感兴趣: