高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

适合类脑脉冲神经网络的应用任务范式分析与展望

张铁林 李澄宇 王刚 张马路 余磊 徐波

徐勇军, 杨浩克, 李国军, 陈前斌. 多标签无线供电反向散射通信网络能效优化算法[J]. 电子与信息学报, 2022, 44(10): 3492-3498. doi: 10.11999/JEIT210772
引用本文: 张铁林, 李澄宇, 王刚, 张马路, 余磊, 徐波. 适合类脑脉冲神经网络的应用任务范式分析与展望[J]. 电子与信息学报, 2023, 45(8): 2675-2688. doi: 10.11999/JEIT221459
XU Yongjun, YANG Haoke, LI Guojun, CHEN Qianbin. Energy-efficient Optimization Algorithm in Multi-tag Wireless-powered Backscatter Communication Networks[J]. Journal of Electronics & Information Technology, 2022, 44(10): 3492-3498. doi: 10.11999/JEIT210772
Citation: ZHANG Tielin, LI Chengyu, WANG Gang, ZHANG Malu, YU Lei, XU Bo. Research Advances and New Paradigms for Biology-inspired Spiking Neural Networks[J]. Journal of Electronics & Information Technology, 2023, 45(8): 2675-2688. doi: 10.11999/JEIT221459

适合类脑脉冲神经网络的应用任务范式分析与展望

doi: 10.11999/JEIT221459
基金项目: 科技创新2030新一代人工智能项目(2020AAA0104305),中国科学院先导专项(XDA27010000, XDB32070000),上海市市级科技重大专项(2021SHZDZX),中国科学院青年促进会
详细信息
    作者简介:

    张铁林:男,博士,副研究员,研究方向为类脑脉冲神经网络、脑机接口等

    李澄宇:男,博士,研究员,研究方向为工作记忆的神经环路机制

    王刚:男,博士,副研究员,研究方向为类脑视觉感知

    张马路:男,博士,研究员,研究方向为类脑智能、机器学习等

    余磊:男,博士,副教授,博士生导师,研究方向为信号处理、图像处理、类脑视觉成像与感知等

    徐波:男,博士,研究员,研究方向为类脑智能、决策博弈、语音识别等

    通讯作者:

    张铁林 tielin.zhang@ia.ac.cn

  • 中图分类号: TP183

Research Advances and New Paradigms for Biology-inspired Spiking Neural Networks

Funds: The National Key Research and Development Program of China (2020AAA0104305), The Strategic Priority Research Program of the Chinese Academy of Sciences (XDA27010000, XDB32070000), The Shanghai Municipal Science and Technology Major Project (2021SHZDZX), and The Youth Innovation Promotion Association CAS
  • 摘要: 类脑脉冲神经网络(SNN)由于同时具有生物合理性和计算高效性等特点,因而在生物模拟计算和人工智能应用两个方向都受到了广泛关注。该文通过对SNN发展历史演进的分析,发现上述两个原本相对独立的研究方向正在朝向快速交叉融合的趋势发展。回顾历史,动态异步事件信息采集装置的成熟,如动态视觉相机(DVS)、动态音频传感(DAS)的成功应用,使得SNN可以有机会充分发挥其在脉冲时空编码、神经元异质性、功能环路特异性、多尺度可塑性等方面的优势,并在一些传统典型的应用任务中崭露头角,如动态视觉信号追踪、听觉信息处理、强化学习连续控制等。与这些物理世界的应用任务范式相比,生物大脑内部存在着一个特殊的生物脉冲世界,这个脉冲世界与外界物理世界互为映像且复杂度相似。展望未来,随着侵入式、高通量脑机接口设备的逐步成熟,脑内脉冲序列的在线识别和反向控制,将逐渐成为一个天然适合SNN最大化发挥其低能耗、鲁棒性、灵活性等优势的新型任务范式。类脑SNN从生物启发而来,并将最终应用到生物机制探索中去,相信这类正反馈式的科研方式将极大的加速后续相关的脑科学和类脑智能研究。
  • 随着通信技术的飞速发展以及无线设备的迅猛增长,大量传感器节点或终端设备将会接入到物联网中,如何维持节点的传输效率和解决无线供能将会成为制约物联网大规模部署的关键问题。近年来,学者提出了反向散射通信这一技术用来解决上述问题[1]。反向散射通信通过反向散射设备反射和调制入射的射频波以此进行数据传输,因此,反向散射设备不需要产生主动射频信号以及进行模数转换,从而减小了能量消耗[2]

    资源分配技术通过对发射功率、传输时间以及载波分配等因子进行动态的调整,实现对无线通信资源的合理调度,从而使得系统性能最优,同时满足每个用户的服务质量[3,4]。目前,对反向散射通信的研究已取得了许多有价值的成果[5-13]。文献[5]通过联合优化时间分配和功率分配比,最大化数据传输速率。文献[6]考虑在发射功率约束和传输时间的约束下,通过优化时间分配和波束成形向量,提出了基于块坐标下降法的吞吐量最大化算法。文献[7]考虑反向散射通信网络场景,联合优化反向散射设备的传输时间和功率反射系数,提出了基于连续凸近似的次优迭代算法。文献[8]针对认知反向散射通信网络场景,在保证主系统最低速率的需求下,使得反向散射设备的吞吐量最大化。文献[9]通过联合优化时间调度、功率分配和能量波束向量最大化系统加权和速率。文献[10]提出了一种时间分配和反射系数选择的策略以最大化系统的吞吐量。文献[5-10]主要集中在对系统传输速率的研究,忽略了能耗问题,并且大部分交替迭代算法只能获得次优解。为了实现传输速率与系统能耗之间的平衡关系,文献[11,12]研究了无线供电反向散射通信网络能效优化问题,但单标签场景过于理想。文献[13]将上述问题拓展到多用户系统,然而没有考虑时间分配,无法满足5G差异化业务需求。

    为了解决上述问题,本文针对多标签无线供电反向散射通信网络,研究系统能效最大化的最优功率分配、反射系数及能量收集时间求解问题,主要贡献如下:

    (1) 建立了多标签无线供电反向散射通信网络系统模型。在传输速率约束、能量收集约束、反射系数约束、发射功率约束以及传输时间的约束下,通过对发射功率、反射系数和传输时间的联合优化,提出了多变量耦合的非凸分式能效最大化资源分配问题。

    (2) 为求解上述非凸问题,利用Dinkelbach方法将原问题转化为函数相减的形式;然后利用2次变换方法和变量替换法,将上述问题进一步转化为凸优化问题;最后,通过拉格朗日对偶原理求得全局最优解。

    (3) 仿真结果表明,与现有算法对比,所提算法具有较好的收敛性和能效。

    本文考虑由1个基站、K个标签和1个网关组成的无线供电反向散射通信网络,如图1所示。基站、标签及网关都配备单天线,所有标签具有反向散射电路模块,标签集合定义为kK={1,2,,K}。在时隙T内,基站通过时分多址接入方式给每个标签传输信息,每个标签的传输时间为τk且满足Kk=1τkT,τk0,k。在传输时间τk内,标签通过天线阻抗将接收到的信号分成两部分,一部分反射到网关,另一部分用于标签的自身供能[14];反射信号通过反射信道与网关建立联系,收集的能量信号用于标签自身的供电。假设所有信道满足块衰落信道,即在一个小的时间帧内保持不变,在整个时间过程是时变。

    图 1  系统模型

    假设基站到标签k的信道增益定义为hk,那么标签k的接收信号可以描述为

    yk(τk)=Pkhksk(τk)+nk
    (1)

    其中,Pk表示基站发送给标签k的发射功率;sk(τk)表示在时隙τk基站发送给标签k的信号,且满足E{|sk(τk)|2}=1nkCN(0,σ2k)表示标签k处服从均值为零方差为σ2k的加性高斯白噪声。因此,此时网关的接收信号为

    yRk(τk)=αkgkyk(τk)ck(τk)+Pkhsk(τk)+n
    (2)

    其中,αk表示标签k的反射系数;gk表示标签k到网关的信道增益;ck(τk)表示标签k自身的反射信号,且满足E{|ck(τk)|2}=1nCN(0,σ2)表示网关处服从均值为零方差为σ2的加性高斯白噪声;h表示基站到网关的信道增益。从而标签k传输时,网关接收到的信噪比为γRk=αkgkhkPkαkgkσ2k+Pkh+σ2。其中,分母的第1项为标签自身噪声干扰影响,因为该噪声非常小,在现有文献中经常被忽略[5-8]。因此,网关信噪比可以重新表示为

    ˉγRk=αkgkhkPkPkh+σ2
    (3)

    因此网关的瞬时速率为RRk=log2(1+ˉγRk)

    系统的总能耗为

    Etotal=Kk=1τk[Pk+ECk(1αk)ηkPkhk]
    (4)

    其中,ECk表示标签k的电路功耗;ηk[0,1]表示标签k的能量转换因子。

    考虑在传输速率约束、能量收集约束以及传输时间约束下,建立了能效最大化资源分配问题为

    maxαk,τk,Pk Kk=1τkRRkEtotals.tC1:RRkRR,mink C2:(1αk)ηkPkhkEC,minkC3:0αk1C4:Kk=1PkPmax,Pk0C5:Kk=1τkT,τk0 }
    (5)

    其中,C1表示最小瞬时速率约束,RR,mink表示最小速率门限;C2表示标签k收集的能量大于其消耗的能量,EC,mink为最小能量收集门限;C3表示反射系数αk约束;C4表示发射功率约束,Pmax表示基站的最大发射功率门限;C5表示传输时间约束。式(5)为多变量耦合的分式非凸规划问题,难以求解。

    基于Dinkelbach方法[15],目标函数可以转化为

    f(ηEE)=ˉRtotalηEEEtotal
    (6)

    其中,ηEE0是辅助变量;ˉRtotal = Kk=1τkRRk。当ηEE趋近于无穷大时,f(ηEE)<0成立,否则f(ηEE)0。因此,f(ηEE)是关于ηEE的严格递减的凸函数。当τk,αk,Pk为最优解时

    f(ηEE)=ˉRtotal(τk,αk,Pk)ηEEEtotal(τk,αk,Pk)=0
    (7)

    其中,ηEE = ˉRtotal(τk,αk,Pk)/Etotal(τk,αk,Pk)

    因此,式(5)可以重新表述为

    maxαk,τk,Pk Kk=1{τk{log2(1+αkgkhkPkPkh+σ2)ηEE[Pk+ECk(1αk)ηkPkhk]}s.t.C1C5}
    (8)

    由式(8)可知,传输时间τk仅与约束条件C5有关。因此,首先求出传输时间τk的最优解,然后通过2次变换以及变量替换方法将非凸问题转化为凸优化问题,最后使用拉格朗日对偶理论进行求解。

    根据式(8)分解出关于传输时间τk的子问题为

    maxτk Kk=1{τk{log2(1+αkgkhkPkPkh+σ2)ηEE[Pk+ECk(1αk)ηkPkhk]}s.t.C5:Kk=1τkT,τk0 }
    (9)

    显然,式(9)为线性规划问题,可以通过线性规划求解方法求出最优的传输时间τk

    根据变量替换方法,定义βk=αkPk,式(8)可以重新表示为

    maxβk,Pk Kk=1{τk[log2(1+βkgkhkPkh+σ2)ηEE(Pk+ECkPkhkηk+βkhkηk)]}s.tˉC1:βkgkhk(2RR,mink1)(Pkh+σ2ˉC2:hkηk(Pkβk)EC,minkˉC3:0βkPkˉC4:Kk=1PkPmax,Pk0}
    (10)

    由于目标函数是非凸的,式(10)仍为非凸优化问题,难以求得最优解。根据2次变换方法[16,17],式(10)可以重新描述为

    maxβk,Pk,xk Kk=1{τk[fk(βk,Pk,xk)ηEE(Pk+ECkPkhkηk+βkhkηk)]}s.tˉC1ˉC4}
    (11)

    其中,xk是辅助变量;fk(βk,Pk,xk) = log2[1+2xkβkgkhkx2k(Pkh+σ2)]xk的最优值xk=2βkgkhkPkh+σ2。因此,式(11)可以重新表示为

    maxβk,Pk Kk=1{τk[fk(βk,Pk,xk)ηEE(Pk+ECkPkhkηk+βkhkηk)]}s.tˉC1ˉC4}
    (12)

    式(12)为凸优化问题,可以通过拉格朗日对偶理论对其进行求解。定义Yk={βk,Pk,μk,ωk,εk,ν},式(12)的拉格朗日函数为

    L(Yk)=Kk=1τk[fk(βk,Pk,xk)ηEE(Pk+ECkPkhkηk+βkhkηk)]+Kk=1εk(Pkβk)+ν(PmaxKk=1Pk)+Kk=1μk[βkgkhk(2RR,mink1)(Pkh+σ2)]+Kk=1ωk[hkηk(Pkβk)EC,mink]
    (13)

    其中,μk,ωk,εk,ν表示非负的拉格朗日乘子。式(13)可以重新表示为

    L(Yk) = Kk=1Lk(Yk)+νPmax
    (14)

    其中

    Lk(Yk) = τk[fk(βk,Pk,xk)ηEE(Pk+ECkPkhkηk+βkhkηk)]+εk(Pkβk)νPk+μk[βkgkhk(2RR,mink1)(Pkh+σ2]+ωk[hkηk(Pkβk)EC,mink]
    (15)

    对于给定的能效ηEE,式(14)的对偶问题为

    minμk,ωk,εk,νD(μk,ωk,εk,ν) s.tμk0,ωk0,εk0,ν0}
    (16)

    其中,对偶函数为

    D(μk,ωk,εk,ν) = maxβk,PkL(Yk)
    (17)

    根据卡罗需-库恩-塔克(Karush-Kuhn-Tucker, KKT)条件[18],可以得到如式(18)和式(19)的闭式解

    Pk=[τkln2[ν+μkh(2RR,mink1)εkωkhkηk+τkηEEτkηEEhkηk]+1+2βkgkhkxkhσ2h]+
    (18)
    βk=[τkln2(ηEEhk+ωkηkhk+εkμk)+xk(Pkh+σ2)12gkhk]+
    (19)

    其中,[x]+=max(0,x)。基于梯度下降方法,拉格朗日乘子更新表达式为

    μl+1k=[μlkΔμk×Lk(Yk)μk]+
    (20)
    ωl+1k=[ωlkΔωk×Lk(Yk)ωk]+
    (21)
    εl+1k=[εlkΔεk×Lk(Yk)εk]+
    (22)
    νl+1=[νlΔν×Lk(Yk)ν]+
    (23)

    其中,Lk(Yk)/Lk(Yk)ωkωk = hkηk(Pkβk)EC,mink, Lk(Yk)/Lk(Yk)νν = Pk, Lk(Yk)/Lk(Yk)εkεk = Pkβk, Lk(Yk)/μk = βkgkhk(2RR,mink1)(Pkh+σ2, l表示迭代次数,Δμk, Δωk, Δεk, Δν为大于0的迭代步长。根据Pkβk的关系,可以计算出最优的反射系数αk = βk/βkPkPk。因此,基于迭代的能效最大化资源分配算法如表1所示。

    表 1  基于迭代的能效最大化资源分配算法
     初始化系统参数K,hk,gk,h,σ2,T,Pmax,RR,mink,ECk,EC,mink
     给定初始化能效ηEE,外层迭代次数t=0
     定义算法收敛精度ϖ,外层最大迭代次数为Tmax
     (1) while|R(t)Etotal(t)ηEE(t1)|>ϖtTmax, do
     (2) 初始化迭代步长和拉格朗日乘子,内层最大迭代次数Lmax
       初始化内层迭代次数l = 0
     (3) while 所有拉格朗日乘子的收敛精度大于ϖdo
     (4)   for k = 1:K
     (5)     根据式(18)计算最优功率Pk
     (6)     根据式(19)计算βk
     (7)     计算反射系数αk
     (8)     根据式(20)—式(23)更新拉格朗日乘子
           μk,ωk,εk,ν
     (9)   end for
     (10)   更新l=l+1
     (11) until 收敛或l = Lmax
     (12) end while

     (13) 更新ηEE(t)=Kk=1τkR(t1)Etotal(t1)t=t+1
     (14) end while
     (15) 输出所需优化变量Pk,βk,αk
    下载: 导出CSV 
    | 显示表格

    假设外层能效和内层拉格朗日法的最大迭代次数分别为TmaxLmax。根据梯度下降法,更新μk,ωk,εk,ν需要O(K)O(1)次运算,拉格朗日乘子更新的计算复杂度为O(K+1)。内层迭代次数LmaxO((K+1)Lmax)的多项式函数;外循环使用Dinkelbach方法求解能效的计算复杂度是O(log2(Tmax)/ϖ2)[19]。因此,本文算法的计算复杂度为O{ln(1/˜ϑ)(K+1)Lmaxlog2(Tmax)/ϖ2},其中,˜ϑ表示解的精度。

    在本节中,通过仿真分析验证所提算法的有效性。假设网络中有1个基站、5个标签和1个网关,其中,基站到5个标签的距离分别为4 m, 5 m, 5.5 m, 6 m, 6.5 m,2个标签到网关的距离分别为3 m, 3.5 m, 4 m, 4.5 m, 5 m 。信道模型为dχi, 其中di是基站、标签和网关之间的距离, χ=3表示路径损耗指数[20]T = 1 s, σ2 = 108 W, RR,mink = 0.6 bit/Hz, ηk = 0.7, ϖ = 106, Tmax=104, Lmax=104[21]

    图2描述了本文所提算法的系统能效与迭代次数之间的关系曲线。从图2可以看出,所提算法在经过较少的迭代后趋于收敛。基站到网关之间的距离增大时,系统能效随之增大。这是因为距离增大,基站到网关之间的信道增益h减小,从式(3)可以看出,系统受到的干扰变小。

    图 2  不同信道状态下所提算法的收敛性能

    图3比较了在不同的发射功率门限下的性能。从图3可以看出,随着发射功率门限的增加,系统能效首先增加,随后保持不变。这是因为更大的发射功率门限允许基站具有更大的发射功率,从而提高了系统能效,当发射功率门限Pmax=1 W,1.5 W2 W时,系统能效将会趋于收敛。

    图 3  不同发射功率门限下所提算法的收敛性能

    图4描述了不同发射功率门限下系统能效与标签个数关系。从图4可看出,随着标签个数的增加,系统能效增加。因为,当标签个数增加时,系统的有效传输速率将会提高,导致系统能效增加。当Pmax提高时,系统能效增加。因为基站将会具有更大的发射功率,使得系统能效增加。

    图 4  不同标签个数下所提算法的收敛性能

    图5描述了在不同的标签电路功耗下所提算法的性能。从图5可以看出,本文算法在经过较少的迭代后趋于收敛。随着标签电路功耗的增加,系统能效将会减少。这是因为功耗提高,导致能效降低。

    图 5  不同电路功耗下所提算法的收敛性能

    图6描述了在不同算法下系统能效与发射功率门限之间的关系。本文算法的能效是要高于速率最大算法以及能耗最小算法,并且随着发射功率门限的增加,本文算法首先增长,然后趋于收敛,而速率最大算法先增加再下降,这是因为能耗的增加要高于速率的增加,从而导致系统能效降低。

    图 6  不同算法下系统能效与基站功率门限之间的关系

    图7描述了在不同算法下能量收集门限与系统能效的关系。随着能量收集门限的增加,系统能效会下降。本文算法考虑了速率与能耗之间的权衡,并且以系统能效最大化为目标函数;速率最大算法不包含能耗,能量收集门限对其影响较小;能耗最小算法只考虑了能耗,忽略了传输速率这一指标,因此本文算法的能效要高于另外两种算法。

    图 7  不同算法下能量收集门限与系统能效的关系

    本文研究了多标签无线供电反向散射通信网络能效优化问题,考虑用户速率约束、能量收集约束、反射系数约束、发射功率约束以及传输时间约束,通过对反射系数、传输时间和发射功率的联合优化,建立了基于系统能效最大化的资源分配模型。针对所提优化问题,利用Dinkelbach理论、2次变换及变量替换方法,将原分式非凸问题转化为可求解的凸优化问题,通过拉格朗日对偶法求得最优解。仿真结果表明,本文算法具有较好的能效以及收敛性。

  • 图  1  SNN历史发展时间简表

    图  2  SNN和ANN的关键特性比较

    图  3  SNN和ANN的卷积计算比较

    图  4  基于事件的图像运动模糊重建和图像插帧原理示意图[44,46]

    图  5  一种生物视觉双通路启发的类脑ANN-SNN视觉感知应用示例[48]

    图  6  一种结合脉冲Transformer和多类动力学脉冲神经元的SNN听觉信息处理示例[52]

    图  7  一种脉冲策略网络为主、人工评估网络为辅的强化学习连续控制应用示例[21]

    图  8  高通量侵入式脑机接口脉冲序列作为外部世界的复杂映像

    图  9  两种典型模式动物的生物实验范式示例及对应的脉冲序列数据集

    图  10  融合生物和人工网络优势的SNN模型天然适合动态视听觉和脑机接口两类典型范式

  • [1] MAASS W. Networks of spiking neurons: The third generation of neural network models[J]. Neural Networks, 1997, 10(9): 1659–1671. doi: 10.1016/S0893-6080(97)00011-7
    [2] SEUNG H S. Learning in spiking neural networks by reinforcement of stochastic synaptic transmission[J]. Neuron, 2003, 40(6): 1063–1073. doi: 10.1016/s0896-6273(03)00761-x
    [3] FIETE I R and SEUNG H S. Gradient learning in spiking neural networks by dynamic perturbation of conductances[J]. Physical Review Letters, 2006, 97(4): 048104. doi: 10.1103/PhysRevLett.97.048104
    [4] ZHANG Xu, XU Ziye, HENRIQUEZ C, et al. Spike-based indirect training of a spiking neural network-controlled virtual insect[C]. 2013 IEEE 52nd Annual Conference on Decision and Control (Cdc), Firenze, Italy, 2013: 6798–6805.
    [5] ZENKE F, AGNES E J, and GERSTNER W. Diverse synaptic plasticity mechanisms orchestrated to form and retrieve memories in spiking neural networks[J]. Nature Communications, 2015, 6: 6922. doi: 10.1038/ncomms7922
    [6] ZHANG Tielin, ZENG Yi, ZHAO Dongcheng, et al. HMSNN: Hippocampus inspired memory spiking neural network[C]. 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Budapest, Hungary, 2016: 2301–2306.
    [7] ZENKE F. Memory formation and recall in recurrent spiking neural networks[R]. 2014.
    [8] ZHAO Bo, DING Ruoxi, CHEN Shoushun, et al. Feedforward categorization on AER motion events using cortex-like features in a spiking neural network[J]. IEEE Transactions on Neural Networks and Learning Systems, 2015, 26(9): 1963–1978. doi: 10.1109/TNNLS.2014.2362542
    [9] NICOLA W and CLOPATH C. Supervised learning in spiking neural networks with FORCE training[J]. Nature Communications, 2017, 8(1): 2208. doi: 10.1038/s41467-017-01827-3
    [10] ZENG Yi, ZHANG Tielin, and XU Bo. Improving multi-layer spiking neural networks by incorporating brain-inspired rules[J]. Science China Information Sciences, 2017, 60(5): 052201. doi: 10.1007/s11432-016-0439-4
    [11] ZHANG Tielin, ZENG Yi, ZHAO Dongcheng, et al. A plasticity-centric approach to train the non-differential spiking neural networks[C]. Proceedings of the 32nd AAAI Conference on Artificial Intelligence, New Orleans, USA, 2018: 620–628.
    [12] ZHANG Tielin, ZENG Yi, ZHAO Dongcheng, et al. Brain-inspired balanced tuning for spiking neural networks[C]. Proceedings of the 27th International Joint Conference on Artificial Intelligence, Stockholm, Sweden, 2018: 1653–1659.
    [13] ZHANG Tielin, CHENG Xiang, JIA Shuncheng, et al. Self-backpropagation of synaptic modifications elevates the efficiency of spiking and artificial neural networks[J]. Science Advances, 2021, 7(43): eabh0146. doi: 10.1126/sciadv.abh0146
    [14] ZHANG Tielin, ZENG Yi, and XU Bo. A computational approach towards the microscale mouse brain connectome from the mesoscale[J]. Journal of Integrative Neuroscience, 2017, 16(3): 291–306. doi: 10.3233/JIN-170019
    [15] JIA Shuncheng, ZUO Ruichen, ZHANG Tielin, et al. Motif-topology and reward-learning improved spiking neural network for efficient multi-sensory integration[C]. International Conference on Acoustics, Speech and Signal Processing, Singapore, 2022: 8917–8921.
    [16] KIM Y, LI Yuhang, PARK H, et al. Neural architecture search for spiking neural networks[C]. 17th European Conference on Computer Vision, Tel-Aviv, Israel, 2022: 36–56.
    [17] KIM Y, LI Yuhang, PARK H, et al. Exploring lottery ticket hypothesis in spiking neural networks[C]. 17th European Conference on Computer Vision, Tel-Aviv, Israel, 2022: 102–120.
    [18] ZHANG Tielin, JIA Shuncheng, CHENG Xiang, et al. Tuning convolutional spiking neural network with biologically plausible reward propagation[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(12): 7621–7631. doi: 10.1109/TNNLS.2021.3085966
    [19] JIA Shuncheng, ZHANG Tielin, CHENG Xiang, et al. Neuronal-plasticity and reward-propagation improved recurrent spiking neural networks[J]. Frontiers in Neuroscience, 2021, 15: 654786. doi: 10.3389/fnins.2021.654786
    [20] BELLEC G, SCHERR F, SUBRAMONEY A, et al. A solution to the learning dilemma for recurrent networks of spiking neurons[J]. Nature Communications, 2020, 11(1): 3625. doi: 10.1038/s41467-020-17236-y
    [21] ZHANG Duzhen, ZHANG Tielin, JIA Shuncheng, et al. Multi-sacle dynamic coding improved spiking actor network for reinforcement learning[C/OL]. Proceedings of the 36th AAAI Conference on Artificial Intelligence, 2022: 59–67.
    [22] WU Yujie, DENG Lei, LI Guoqi, et al. Direct training for spiking neural networks: Faster, larger, better[C]. Proceedings of the 33rd AAAI Conference on Artificial Intelligence, Honolulu, USA, 2019: 1311–1318.
    [23] WU Yujie, DENG Lei, LI Guoqi, et al. Spatio-temporal backpropagation for training high-performance spiking neural networks[J]. Frontiers in Neuroscience, 2018, 12: 331. doi: 10.3389/fnins.2018.00331
    [24] LEE J H, DELBRUCK T, and PFEIFFER M. Training deep spiking neural networks using backpropagation[J]. Frontiers in Neuroscience, 2016, 10: 508. doi: 10.3389/fnins.2016.00508
    [25] STROMATIAS E, SOTO M, SERRANO-GOTARREDONA T, et al. An event-driven classifier for spiking neural networks fed with synthetic or dynamic vision sensor data[J]. Frontiers in Neuroscience, 2017, 11: 350. doi: 10.3389/fnins.2017.00350
    [26] BOBROWSKI O, MEIR R, and ELDAR Y C. Bayesian filtering in spiking neural networks: Noise, adaptation, and multisensory integration[J]. Neural Computation, 2009, 21(5): 1277–1320. doi: 10.1162/neco.2008.01-08-692
    [27] BRETTE R and GOODMAN D F M. Simulating spiking neural networks on GPU[J]. Network:Computation in Neural Systems, 2012, 23(4): 167–182. doi: 10.3109/0954898X.2012.730170
    [28] LILLICRAP T P, SANTORO A, MARRIS L, et al. Backpropagation and the brain[J]. Nature Reviews Neuroscience, 2020, 21(6): 335–346. doi: 10.1038/s41583-020-0277-3
    [29] LILLICRAP T P, COWNDEN D, TWEED D B, et al. Random synaptic feedback weights support error backpropagation for deep learning[J]. Nature Communications, 2016, 7: 13276. doi: 10.1038/ncomms13276
    [30] MEULEMANS A, CARZANIGA F S, SUYKENS J A K, et al. A theoretical framework for target propagation[C]. Proceedings of the 34th International Conference on Neural Information Processing Systems, Vancouver, Canada, 2020: 1681.
    [31] FRENKEL C, LEFEBVRE M, and BOL D. Learning without feedback: Fixed random learning signals allow for feedforward training of deep neural networks[J]. Frontiers in Neuroscience, 2021, 15: 629892. doi: 10.3389/fnins.2021.629892
    [32] MNIH A and HINTON G. Learning nonlinear constraints with contrastive backpropagation[C]. IEEE International Joint Conference on Neural Networks, Montreal, Canada, 2005: 1302–1307.
    [33] BI Guoqiang and POO M M. Synaptic modification by correlated activity: Hebb's postulate revisited[J]. Annual Review of Neuroscience, 2001, 24: 139–166. doi: 10.1146/annurev.neuro.24.1.139
    [34] DU Jiulin, WEI Hongping, WANG Zuoren, et al. Long-range retrograde spread of LTP and LTD from optic tectum to retina[J]. Proceedings of the National Academy of Sciences of the United States of America, 2009, 106(45): 18890–18896. doi: 10.1073/pnas.0910659106
    [35] ZHAO Dongcheng, ZENG Yi, ZHANG Tielin, et al. GLSNN: A multi-layer spiking neural network based on global feedback alignment and local STDP plasticity[J]. Frontiers in Computational Neuroscience, 2020, 14: 576841. doi: 10.3389/fncom.2020.576841
    [36] MOZAFARI M, GANJTABESH M, NOWZARI-DALINI A, et al. SpykeTorch: Efficient simulation of convolutional spiking neural networks with at most one spike per neuron[J]. Frontiers in Neuroscience, 2019, 13: 625. doi: 10.3389/fnins.2019.00625
    [37] SENGUPTA A, YE Yuting, WANG R, et al. Going deeper in spiking neural networks: VGG and residual architectures[J]. Frontiers in Neuroscience, 2019, 13: 95. doi: 10.3389/fnins.2019.00095
    [38] TAVANAEI A, GHODRATI M, KHERADPISHEH S R, et al. Deep learning in spiking neural networks[J]. Neural Networks, 2019, 111: 47–63. doi: 10.1016/j.neunet.2018.12.002
    [39] WU Jibin, CHUA Yansong, ZHANG Malu, et al. A spiking neural network framework for robust sound classification[J]. Frontiers in Neuroscience, 2018, 12: 836. doi: 10.3389/fnins.2018.00836
    [40] YUAN Mengwen, WU Xi, YAN Rui, et al. Reinforcement learning in spiking neural networks with stochastic and deterministic synapses[J]. Neural Computation, 2019, 31(12): 2368–2389. doi: 10.1162/neco_a_01238
    [41] 张铁林, 徐波. 脉冲神经网络研究现状及展望[J]. 计算机学报, 2021, 44(9): 1767–1785. doi: 10.11897/SP.J.1016.2021.01767

    ZHANG Tielin and XU Bo. Research advances and perspectives on spiking neural networks[J]. Chinese Journal of Computers, 2021, 44(9): 1767–1785. doi: 10.11897/SP.J.1016.2021.01767
    [42] ABBOTT L F, DEPASQUALE B, and MEMMESHEIMER R M. Building functional networks of spiking model neurons[J]. Nature Neuroscience, 2016, 19(3): 350–355. doi: 10.1038/nn.4241
    [43] DAN Yang and POO M M. Spike timing-dependent plasticity: From synapse to perception[J]. Physiological Reviews, 2006, 86(3): 1033–1048. doi: 10.1152/physrev.00030.2005
    [44] WANG Bishan, HE Jingwei, YU Lei, et al. Event enhanced high-quality image recovery[C]. 16th European Conference on Computer Vision, Glasgow, UK, 2020: 155–171.
    [45] LIN Shijie, ZHANG Yinqiang, YU Lei, et al. Autofocus for event cameras[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, USA, 2022: 16323–16332.
    [46] ZHANG Xiang and YU Lei. Unifying motion deblurring and frame interpolation with events[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, USA, 2022: 17744–17753.
    [47] LIAO Wei, ZHANG Xiang, YU Lei, et al. Synthetic aperture imaging with events and frames[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, USA, 2022: 17714–17723.
    [48] KANDEL E R, SCHWARTZ J H, and JESSELL T M. Principles of Neural Science[M]. 3rd ed. Norwalk: Appleton & Lange, 1991.
    [49] GÜTIG R and SOMPOLINSKY H. Time-warp–invariant neuronal processing[J]. PLoS Biology, 2009, 7(7): e1000141. doi: 10.1371/journal.pbio.1000141
    [50] DENNIS J, YU Qiang, TANG Huajin, et al. Temporal coding of local spectrogram features for robust sound recognition[C]. IEEE International Conference on Acoustics, Speech and Signal Processing, Vancouver, Canada, 2013: 803–807.
    [51] LIU S C, VAN SCHAIK A, MINCH B A, et al. Asynchronous binaural spatial audition sensor with 2×64×4 channel output[J]. IEEE Transactions on Biomedical Circuits and Systems, 2014, 8(4): 453–464. doi: 10.1109/TBCAS.2013.2281834
    [52] WANG Qingyu, ZHANG Tielin, HAN Minglun, et al. Complex dynamic neurons improved spiking transformer network for efficient automatic speech recognition[C]. Proceedings of the 37th AAAI Conference on Artificial Intelligence, Washington, USA, 2023.
    [53] DONG Linhao and XU Bo. CIF: Continuous integrate-and-fire for end-to-end speech recognition[C]. IEEE International Conference on Acoustics, Speech and Signal Processing, Barcelona, Spain, 2020: 6079–6083.
    [54] HAN Xuan, JIA Kebin, and ZHANG Tielin. Mouse-brain topology improved evolutionary neural network for efficient reinforcement learning[C]. 5th IFIP TC 12 International Conference on Intelligence Science IV (ICIS 2022), Xi'an, China, 2022: 3–10.
    [55] LIU Siqi, LEVER G, WANG Zhe, et al. From motor control to team play in simulated humanoid football[J]. Science Robotics, 2022, 7(69): eabo0235. doi: 10.1126/scirobotics.abo0235
    [56] BADDELEY A. Working memory: Theories, models, and controversies[J]. Annual Review of Psychology, 2012, 63: 1–29. doi: 10.1146/annurev-psych-120710-100422
    [57] ZHU Jia, CHENG Qi, CHEN Yulei, et al. Transient delay-period activity of agranular insular cortex controls working memory maintenance in learning novel tasks[J]. Neuron, 2020, 105(5): 934–946.e5. doi: 10.1016/j.neuron.2019.12.008
    [58] LOZANO A M, LIPSMAN N, BERGMAN H, et al. Deep brain stimulation: Current challenges and future directions[J]. Nature Reviews Neurology, 2019, 15(3): 148–160. doi: 10.1038/s41582-018-0128-2
    [59] KRAUSS J K, LIPSMAN N, AZIZ T, et al. Technology of deep brain stimulation: Current status and future directions[J]. Nature Reviews Neurology, 2021, 17(2): 75–87. doi: 10.1038/s41582-020-00426-z
    [60] BEUDEL M and BROWN P. Adaptive deep brain stimulation in Parkinson's disease[J]. Parkinsonism & Related Disorders, 2016, 22(S1): S123–S126. doi: 10.1016/j.parkreldis.2015.09.028
    [61] LU Meili, WEI Xile, CHE Yanqiu, et al. Application of reinforcement learning to deep brain stimulation in a computational model of Parkinson’s disease[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2020, 28(1): 339–349. doi: 10.1109/TNSRE.2019.2952637
  • 期刊类型引用(9)

    1. 欧丰林,林淑彬. 融合高斯混合模型和深度学习的目标跟踪. 吉林师范大学学报(自然科学版). 2020(01): 127-134 . 百度学术
    2. 张明月,王静. 基于深度学习的交互似然目标跟踪算法. 计算机科学. 2019(02): 279-285 . 百度学术
    3. 马义超,赵运基,张新良. 基于PCA初始化卷积核的CNN手写数字识别算法. 计算机工程与应用. 2019(13): 134-139 . 百度学术
    4. 蔡楠,李萍. 基于KPCA初始化卷积神经网络的方法. 计算机技术与发展. 2019(07): 76-79 . 百度学术
    5. 张烁,张荣. 基于卷积神经网络模型的手写数字辨识算法研究. 计算机应用与软件. 2019(08): 172-176+261 . 百度学术
    6. 毕笃彦,王世平,刘坤,何林远. 基于并行映射卷积网络的超分辨率重建算法. 系统工程与电子技术. 2018(08): 1873-1880 . 百度学术
    7. 韩东,王学军. 基于改进的卷积神经网络多姿态人脸识别研究. 吉林大学学报(信息科学版). 2018(05): 376-381 . 百度学术
    8. 梁蒙蒙,周涛,张飞飞,杨健,夏勇. 卷积神经网络及其在医学图像分析中的应用研究. 生物医学工程学杂志. 2018(06): 977-985 . 百度学术
    9. 樊养余,李祖贺,王凤琴,马江涛. 基于跨领域卷积稀疏自动编码器的抽象图像情绪性分类. 电子与信息学报. 2017(01): 167-175 . 本站查看

    其他类型引用(32)

  • 加载中
图(10)
计量
  • 文章访问数:  1237
  • HTML全文浏览量:  835
  • PDF下载量:  363
  • 被引次数: 41
出版历程
  • 收稿日期:  2022-11-21
  • 修回日期:  2023-05-08
  • 网络出版日期:  2023-05-10
  • 刊出日期:  2023-08-21

目录

/

返回文章
返回