Loading [MathJax]/jax/output/HTML-CSS/jax.js
高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于信息瓶颈的深度学习模型鲁棒性增强方法

董庆宽 何浚霖

董庆宽, 何浚霖. 基于信息瓶颈的深度学习模型鲁棒性增强方法[J]. 电子与信息学报, 2023, 45(6): 2197-2204. doi: 10.11999/JEIT220603
引用本文: 董庆宽, 何浚霖. 基于信息瓶颈的深度学习模型鲁棒性增强方法[J]. 电子与信息学报, 2023, 45(6): 2197-2204. doi: 10.11999/JEIT220603
WANG Yang, LIU Yueyang, LIAO Xi, ZHOU Jihua, SONG Haozheng, REN Minghao, CHEN Qianbin. Research on Reflection and Transmission Characteristics of the Millimeter Wave Channel at 40~50 GHz for 6G ISAC[J]. Journal of Electronics & Information Technology, 2024, 46(1): 146-154. doi: 10.11999/JEIT221560
Citation: DONG Qingkuan, HE Junlin. Robustness Enhancement Method of Deep Learning Model Based on Information Bottleneck[J]. Journal of Electronics & Information Technology, 2023, 45(6): 2197-2204. doi: 10.11999/JEIT220603

基于信息瓶颈的深度学习模型鲁棒性增强方法

doi: 10.11999/JEIT220603
基金项目: 陕西省自然科学基础研究计划(2020JM-184)
详细信息
    作者简介:

    董庆宽:男,硕士生导师,研究方向为网络与信息安全、深度学习与安全

    通讯作者:

    何浚霖 425764309@qq.com

  • 中图分类号: TN911.7; TP18

Robustness Enhancement Method of Deep Learning Model Based on Information Bottleneck

Funds: The Science Basic Research Plan in Shaanxi Province of China (2020JM-184)
  • 摘要: 作为深度学习技术的核心算法,深度神经网络容易对添加了微小扰动的对抗样本产生错误的判断,这种情况的出现对深度学习模型的安全性带来了新的挑战。深度学习模型对对抗样本的抵抗能力被称为鲁棒性,为了进一步提升经过对抗训练算法训练的模型的鲁棒性,该文提出一种基于信息瓶颈的深度学习模型对抗训练算法。其中,信息瓶颈以信息论为基础,描述了深度学习的过程,使深度学习模型能够更快地收敛。所提算法使用信息瓶颈理论提出的优化目标推导出的结论,将模型中输入到线性分类层的张量加入损失函数,通过样本交叉训练的方式将干净样本与对抗样本输入模型时得到的高层特征对齐,使模型在训练过程中能够更好地学习输入样本与其真实标签的关系,最终对对抗样本具有良好的鲁棒性。实验结果表明,所提算法对多种对抗攻击均具有良好的鲁棒性,并且在不同的数据集与模型中具有泛化能力。
  • 星基导航定位系统因其高精度的授时、定位、测距等优势广泛应用于现代国防和经济发展等领域[1]。该系统利用导航信号传递星基数据,需经长距离复杂信道环境到达地面,接收端采集的信号能量很微弱,易受到无线信道中噪声杂波与干扰信号的影响,因此针对星基定位接收机的抗干扰技术成为导航对抗领域的研究热点。

    星基导航定位系统的抗干扰方法有时域滤波,频域滤波和空域滤波3种类型。自适应空域滤波因其高效的抗干扰性能与简易的设备代价成为该系统主要抗干扰技术。现阶段的自适应空域滤波主要基于最大信干噪比(SINR)[2]与最小均方误差(MMSE)[3,4]准则而展开研究,相关学者在此基础上针对指向向量误差[5],相干干扰信号[6]以及色噪声干扰[7]等环境误差与有意干扰提出了鲁棒自适应滤波方法。从导航对抗角度出发,研究星基导航抗干扰性能的同时,亦需对己方为干扰方时的星基定位接收机干扰技术进行研究。当前国内外对自适应空域滤波干扰方法的研究很少,现存的为文献[8,9]提出闪烁信号干扰方法,通过调整干扰信号跳变速率,在干扰零陷收敛至稳态前变换干扰方式,使自适应天线不断循环反复进行迭代零陷无法收敛至稳态,但该方法仅适应于多干扰源且收敛速率慢的自适应滤波接收机。

    本文基于最小方差无失真(MVDR)自适应空域滤波方法,将海洋声场不均匀介质引起的声源信号空际间叠性下降的模型[10,11]应用至星基定位导航干扰信号中,提出了一种非完备空际间叠干扰信号模型,通过理论证明和实验仿真说明了非完备空际间叠干扰能够实现对自适应空域滤波零陷能力的抑制,降低星基定位接收机对导航信号的捕获效率。相同实验条件下与传统空域滤波零陷抑制方法相比,本文提出的非完备空际间叠空域滤波零陷抑制方法具有更明显的空域零陷能力抑制效果,使得星基导航接收机输出信干噪比明显降低。

    设天线阵列由M个全方向性的均匀间隔线性阵元组成,阵元间距为d,导航信号入射角为θd, x(t)=[x1(t),x2(t),···,xM(t)]T是阵列接收信号,可表示为

    x(t)=s(t)a(θd)+Qi=1ii(t)+n(t) (1)

    式中,Q为干扰信号数,a(θd)为导航信号的指向向量。pd=2πdsin(θd)/λo, a(θd)=[1,exp(jpd),···,exp(j(M1)pd)], λo为载波信号的波长,i(t)n(t)分别为干扰信号与噪声。s(t)为星基导航信号,本文采用L1波段传播的星基导航C/A码信号,其表达式为

    s(t)=EcC/A(t)dN/A(t)sin(2πfL1t+θL1) (2)

    式中,E表示信号能量,cC/A(t)为C/A伪随机扩频码,dN/A(t)表示导航电文信息数据码,L1表示载波频率,θL1为载波初相位。

    MVDR空域滤波方法基于最大SINR准则,保证期望信号无失真的前提下,使得阵列输出能量最小,约束关系为

    min{wHRw},wHa(θd)=1 (3)

    式中,w为阵列自适应权值向量,R为理想情况下干扰信号加噪声的相关矩阵。实际环境中无法获知干扰与噪声的相关矩阵,常以接收样本的协方差矩阵Rx=1KKk=1x(k)xH(k)替代计算,K为接收信号样本数。

    通过拉格朗日乘子法求得MVDR波束形成算法自适应权值为

    w=R1a(θd)aH(θd)R1a(θd) (4)

    则自适应阵列输出信号为

    y(t)=wHx(t) (5)

    MVDR自适应空域滤波对星基导航信号的处理过程可用图1表示。

    图 1  自适应空域滤波系统模型

    天线阵列模块将接收的导航信号传送至波束形成模块并与对应权值相乘叠加得到输出信号,输出信号反馈至自适应处理模块,调整通路对应的权值系数,使导航信号获取空域最优增益,同时在干扰信号方向进行零陷抑制,不断迭代反馈至自适应处理模块直至系统达到稳态。

    由第2节可知,星基定位接收机自适应空域滤波保证导航信号无损失增益的前提下,能够零陷抑制干扰信号,降低其对捕获性能的影响。但当干扰信号受不均匀随机振动介质或信道局部随机杂波影响时,干扰畸变非单秩点源,空际间叠性减弱,易于接收端产生角度能量扩散。基于以上考虑,本节提出非完备空际间叠干扰模型,对干扰引起的信号裂变效应进行了理论证明,同时推导了输出SINR与空际间叠长度的函数式,论证了非完备空际间叠干扰对星基定位接收机捕获性能的影响。

    若阵列接收的干扰信号为完备空际间叠干扰点源信号,则干扰信号相关矩阵模型为

    RI=σ2Ia(θI)aH(θI) (6)

    式中,σ2I为干扰信号的能量,a(θI)为干扰信号的指向向量,θI为干扰信号入射角度,设RIkl为干扰信号相关矩阵元素,则有

    RIkl=σ2Iexp[j(kl)pI],k,l=1,2,···,M (7)

    利用声场非均匀海洋波导环境下的非完备空际间叠声源模型,可以给出非完备空际间叠干扰相关矩阵元素模型为[1012]

    RIkl=σ2Iexp[j(kl)pI]gkl,k,l=1,2,···,M (8)

    式中,gkl为干扰信号的空际间叠系数,可以由海洋声场定义的空际间叠长度LI表示为

    gkl=exp((dLI|kl|)) (9)

    干扰空际间叠性随LI的增长而提高,空际间叠系数的取值区间为[0,1],设g=exp(d/LI),则gkl=g|kl|。由此可将非完备空际间叠干扰信号的相关矩阵表示为

    RI=FIGIFHI (10)

    式中,FI=diag{a(θI)}表示以干扰指向向量为对角元素的对角阵,GI=Toep{1,g,g2,···,gM1}表示干扰信号的空际间叠矩阵。

    结合式(1)和式(10)可以给出非完备空际间叠干扰下阵列接收信号自相关矩阵为

    R=σ2sa(θd)aH(θd)+σ2IFIGIFHI+σ2nI (11)

    本节基于3.1节中的干扰模型,对非完备空际间叠干扰引起的信号裂变效应进行证明,首先考虑干扰为非完备空际间叠信号时,GI中的元素g不为1,则由GI的形式可知其为托普利兹矩阵。根据托普利兹矩阵特征分解及拆分性质[13,14]可知,GI可拆分为式(12)形式

    GI=E(ϕ)DEH(ϕ)+λminI (12)
    E(ϕ)=[11···1ejϕ1ejϕ2···ejϕMmej(M1)ϕ1ej(M1)ϕ2···ej(M1)ϕMm]

    (13)

    D=diag(σ21,σ22,···,σ2Mm) (14)

    式中,λmin为矩阵GI的最小特征值,mGI最小特征值的重数,由GI元素的组成形式结合实对称托普利兹矩阵性质可知GI最小特征值重数为1,即m=1

    设矩阵C=GIλminI,矩阵Bdet(C)前阶主子式构成的矩阵,则由矩阵形式可得B最小零特征值的重数为1[14]。设v=(v0,v2,···,vM1)为其最小特征值构成的特征向量,则矩阵E(Ψ)中的元素ejϕi可由式(15)的第i个解求得[14]

    M1t=0vtzt=0 (15)

    式中,系数vt为向量v的组成元素。

    矩阵D可通过式(16)求得

    D=E+(ϕ)CE(ϕ) (16)

    式中,E+(ϕ)E(ϕ)广义逆矩阵。

    结合式(16),将式(12)代入到式(11)中,则有

    \begin{aligned}
      {{R}} = &  \sigma _{\rm s}^2{{a}}\!\left( {{\theta _{\rm d}}} \right){{{a}}^{\rm{H}}}\!\left( {{\theta _{\rm d}}} \right) + \sigma _{\rm I}^2{{{F}}\!_{\rm I}}{{E}}\!\left( \phi  \right)\!{{D}}{{{E}}^{\rm{H}}}\!\left( \phi  \right){{F}}\!_{\rm I}^\,{\rm{H}} \\
      & + \left( {{\lambda _{\min }}\sigma _{\rm I}^2 + \sigma _{\rm n}^2} \right){{I}}  \\
    = &  \sigma _{\rm s}^2{{a}}\!\left( {{\theta _{\rm d}}} \right){{{a}}^{\rm{H}}}\!\left( {{\theta _{\rm d}}} \right) \!+\! {{Q}}\!\left( {{\theta _{\rm I}},\phi } \right)\!{{{D}}_{\rm I}}{{{Q}}^{\rm{H}}}\left( {{\theta _{\rm I}},\phi } \right) \!+\! {{\overline\overline  \sigma _n^2}} {{I}}  
    \end{aligned}

    (17)

    式(17)中,

    Q(θI,ϕ)=FIE(ϕ) (18)
    DI=σ2ID=diag(σ2Iσ21,σ2Iσ22,···,σ2Iσ2M1)=diag(d1,d2,···,dM1) (19)

    矩阵Q(θI,ϕ)中的元素[Q(θI,ϕ)]kl可以表示为

    [Q(θI,ϕ)]kl=ej(k1)(ϕl+pI),k=1,2,···,M,l=1,2,···,M1 (20)

    结合式(18)与式(19)对Q(θI,ϕ)DIQH(θI,ϕ)进一步计算可得

    Q(θI,ϕ)DIQH(θIϕ)=[M1k=1dkM1k=1dkej(pI+ϕk)···M1k=1dkejM(pI+ϕk)M1k=1dkej(pI+ϕk)M1k=1dkej2(pI+ϕk)···M1k=1dkej(M+1)(pI+ϕk)M1k=1dkej(M1)(pI+ϕk)M1k=1dkejM(pI+ϕk)···M1k=1dkej2(M1)(pI+ϕk)] (21)

    现考虑阵列接收到M1个不同入射角度互不相关的干扰信号,假设第m个干扰信号的能量和入射角度分别为σ2mθIm,则阵列接收的M1个干扰可以表示为

    I(t)=M1m=1im(t)a(θIm) (22)

    其中,

    a(θIm)=[a1(θIm),a2(θIm),···,aM(θIm)] (23)
    ak(θIm)=exp(j(k1)pIm),k=1,2,···,M (24)
    pIm=2πdsin(θIm)λo (25)

    M1个干扰的相关函数为

    RIM1=E[IH(t)I(t)]=[M1m=1σ2mM1m=1σ2mejpm···M1m=1σ2mej(M1)pmM1m=1σ2mejpmM1m=1σ2mej2pm···M1m=1σ2mejMpmM1m=1σ2mej(M1)pmM1m=1σ2mejMpm···M1m=1σ2mej2(M1)pm] (26)

    比较式(21)和式(26)可以看出二者形式上相似,仅在矩阵元素组成部分相差指数形式的初相位。由此可见式(26)形式上表达的物理意义与式(21)相同,可以等效为阵列接收到M1个互不相关的入射干扰信号。由组成DI元素的形式可将第m个入射干扰信号能量等效为

    dm=σ2Iσ2m (27)

    又由[Q(θI,ϕ)]kl=ej(k1)(ϕl+pI)可知,若pm=pI+ϕl,则可求得干扰信号等效入射角度

    θIm=arcsin[λIm(pI+ϕI)2πd],θIm(π,π) (28)

    由3.1节可知,干扰空际间叠性越弱,GI中的元素g越小,求得ϕl值越大[14],因而裂变信号入射角度差也即越大,干扰信号裂变效应越明显,等效的入射干扰信号越多,表明干扰信号消耗了自适应波束阵列更多的自由度,导致阵列抑制干扰的能力减弱,降消了星基定位接收机的捕获性能。

    本节对星基定位接收机输出信干噪比与空际间叠长度的函数式展开推究论证。

    由于星基导航信号已于国际星基卫星标准公开运营,因此可假设输入星基导航信号相关函数Rs已知,输入干扰信号与噪声的相关函数Rin=RRs,则有

    SINRMVDR=wHRswwHRwwHRsw=wHRswwHRinw (29)

    w=Rin1a(θd)/(aH(θd)Rin1a(θd))代入到式(29)中,可以得到

    SINRMVDR=aH(θd)R1inRsR1ina(θd)aH(θd)R1ina(θd) (30)

    Rs=σ2saH(θd)a(θd)代入到式(30)中,可以得到

    SINRMVDR=σ4sσ2nMaH(θd)R1ina(θd) (31)
    Rin=RI+σ2nI (32)

    RI进行特征值分解有

    RI=Mj=1λjejeHj (33)
    R1I=Mj=11λjejeHj (34)

    式中,λjRI的第j个特征值,ej为对应的特征向量。

    将式(34)代入到式(32)的逆矩阵中并进行泰勒级数展开可得

    R1in=Mj=11λjejeHjσ2nMj=11λ2jejeHj+σ4nMj=11λ3jejeHj··· (35)

    假设干扰信号的功率远大于噪声功率,因而可忽略R1in展开后阶数大于2的高次项,得到

    R1inMj=11λjejeHjσ2nMj=11λ2jejeHj (36)

    利用式(36)可将式(31)改写为

    SINRMVDR=σ4sσ2nMaH(θd)R1I(Iσ2nR1I)aH(θd) (37)

    利用空际间叠矩阵GI可将式(37)进一步计算得到

    SINRMVDR=σ2sσ2IaH(θd)FIG1IFHIaH(θd) (38)

    GI求逆并代入式(38)计算可得

    SINRMVDR=σ2sσ2I[M+(M2)g22g(M1)cospdI] (39)

    式中,gGI中的元素,pdI=|pdpI|

    通过分析式(39)给出的SINRMVDR解析式可知,SINRMVDR为空际间叠矩阵元素g的单调递减函数。则由3.1节给出g的表达式可知,当阵元间距d固定时,g若增大,干扰空际间叠长度LI长度减小,表明干扰信号的空际间叠性降低,对应接收机的SINRMVDR降低,导致星基定位接收机性能下降。

    为验证理论分析的正确性,评估干扰信号的空际间叠性对星基导航信号捕获性能的影响,现以星基信号中的C/A码为例,从空间方向图、输出SINR以及3维频码域相关峰值捕获3方面衡量非完备空际间叠干扰的作用效果,同时与传统的点源干扰空域滤波抑制方法进行比较,实验以空际间叠长度与阵列孔径比例Ra作为干扰空际间叠性的表征标准。考虑到星基导航定位接收机应用环境与场所限制,阵元数不宜过多,具体的仿真环境参数如表1所示。

    表 1  仿真实验参数设置
    载波频率1.57542 GHz
    阵元间距0.5波长
    信道环境高斯白噪声信道
    干扰类型随机噪声干扰
    阵元数目8
    期望信号入射方位10°
    干扰信号入射方位50°
    阵列形状均匀线性阵列天线
    下载: 导出CSV 
    | 显示表格

    本节实验对不同空际间叠性干扰下的星基定位接收机方向图进行仿真研究,由于实际环境中星基导航信号能量微弱,因此本文设置干信比为30 dB,信噪比设置为–10 dB

    比较图2中方向图可知,当Ra=0.5时,MVDR空域滤波虽然在星基导航C/A码信号方向无损失增益,但在干扰信号方向未能形成明显零陷。当Ra提高至2.0时,干扰入射方向抑制增益有所提升,可达50dB左右,但此时形成的较深零陷位置相对干扰方向仍有所偏移,未能在干扰方向形成最深零陷。当Ra达到15.0时,方向图能够在干扰信号方向形成最深零陷,且无位置偏移,同时也可观察到在最深零陷位置偏移处有零陷毛刺,这是由于信号裂变产生相近角度差干扰导致零陷凹深分离造成。

    图 2  不同Ra下波束方向图

    本节在与上节相同仿真实验条件下,考察空际间叠长度比例对输出信干噪比的影响。同时对基于MVDR算法的两种改进的鲁棒自适应空域滤波方法LSMI算法[15]和SQR算法[16]进行仿真,考察空际间叠干扰对鲁棒空域滤波的零陷抑制效果。信噪比变化范围为[10,30]dB,步长取2dB

    图3可知3种自适应滤波算法的输出SINR均随空际间叠长度比例的提高而增大,验证了3.3节给出的星基定位接收机输出SINR与空际间叠长度的函数单调关联性。当Ra=0.5,输出SINR最低,相比其他两种比例情况大约相差1020dB左右,Ra=2.0Ra=0.5时的输出SINR差幅较小。由图3(b)图3(c)可见,LSMI算法和SQP算法在不同Ra下与图3(a)MVDR算法有相似的变化趋势,但相比于MVDR算法,LSMI算法和SQP算法改进了约束条件,使得算法对干扰噪声和环境误差更鲁棒,因此输出SINR略高于MVDR算法。但3种算法在输入SNR较小时的输出SINR均有明显下降,这是由于空际间叠性减弱引起的信号裂变效应造成。

    图 3  不同算法输出SINR性能比较

    本节对不同空际间叠性干扰作用下的星基定位接收机捕获性能展开研究。信噪比设置为30dB,干信比设置为40dB, C/A码初相位设置为1900,为避免引入较大频偏,本文设置的多普勒频移为45 Hz。观察图4(a)可知,当Ra=0.5,相关函数幅度杂乱无章,仅可观察到微弱的尖峰幅度,难以在多普勒频移和C/A码相位轴上分辨尖峰位置,且在两坐标轴上的相关幅度起伏变化较大,影响峰值位置判断。当Ra增至2.0时,可以观察到明显的相关函数峰值突起,且相关函数幅度分布平缓,无明显起伏或剧烈幅度差值。Ra达到15.0时,相关函数幅度的尖峰变得非常突出,坐标轴幅度分布均匀,起伏很小,与突出峰值差异显著,从C/A码相位和多普勒频移两坐标轴上可有效提取相关峰值位于C/A码初始相位1900处,在多普勒频移轴上则出现在45 Hz处,与实验设置的初始条件相同,实现了对星基导航信号的有效捕获。

    图 4  不同Ra下相关捕获结果图

    本节将基于点源干扰方式的传统空域滤波抑制方法与非完备空际间叠空域滤波抑制进行性能比较,为检测两种空域滤波抑制方法对零陷抑制的效果,本节分别设置了不同阵元数的实验条件,考察不同空域滤波抑制方法的干扰效果。通过星基导航接收机输出信干噪比的反馈实验效果分析本文方法与传统方法的空域零陷抑制能力。阵元数分别设置为10, 15和20,干信比设置为30 dB,其余实验条件设置与表1相同。

    观察图5(a)可知,传统空域滤波抑制方法在相同信噪比点上的输出SINR均高于3种Ra情况中的空际间叠抑制方法,这是由于传统空域滤波抑制方法采用点源信号的干扰方式,仅消耗单点源干扰对应的单阵列自由度,对多阵元的天线空域滤波抑制能力不明显,而空际间叠干扰由于信号裂变效应可以产生多个等效的干扰信号,提高了阵列自由度的消耗容量,进一步降低星基导航接收机的输出SINR。从图5(b)图5(c)可以看出,随着阵元数的增多,不同空域滤波抑制方法的输出SINR有所提升,在不同信噪比上的输出SINR幅差减小,这是由于阵元数的增多能够提高阵列的零陷自由度,使得信号裂变产生的等效干扰信号被有效抑制,提高了星基导航接收机输出信干噪比,同时由于阵元数的提高大幅减弱了空际间叠性消耗的自由度,进一步降低了不同空际间叠性信号的干扰效果差异,缩小了不同输入SNR比例下的信干噪比差值容度。由此可见,空际间叠空域滤波抑制法的零陷抑制能力明显优于传统方法。

    图 5  不同阵元数下相关算法输出SINR性能比较

    针对星基定位接收机捕获导航信号干扰问题,本文提出了一种非完备空际间叠干扰模型,证明了非完备空际间叠干扰引起的信号裂变效应,推导分析了输出SINR与干扰信号空际间叠长度的函数式及单调关联性,考察了不同空际间叠扰长度比例对星基导航信号捕获性能的影响,实验对照了传统空域滤波抑制方法与空际间叠干扰方法零陷抑制的能力效果。仿真实验表明本文提出的非完备空际间叠干扰模型能够降低星基定位接收机的捕获性能,相比传统方法具有更强的空域滤波抑制能力。

  • 图  1  深度神经网络示意图

    图  2  算法流程图

    图  3  类激活图与特征图

    图  4  干净样本与对抗样本测试正确率对比图

    表  1  公式变量对照表

    公式变量名称 公式变量名称
    L目标函数 p()边缘概率分布
    ˜x 对抗样本 q() 边缘概率分布
    y 网络输出 β 信息瓶颈通过率
    z 隐藏变量 H()
    I() 互信息 KL() KL散度
    LIB 损失函数 CE() 交叉熵
    下载: 导出CSV

    表  2  使用的数据集信息

    数据集名称图片大小是否彩色数量(104张)类别(种)β
    CIFAR10032×3262010–5
    CIFAR1032×3261010–5
    MNIST28×2871010–3
    Fashion-MNIST28×2871010–3
    下载: 导出CSV

    表  3  不同防御方法在CIFAR10数据集上的鲁棒性(%)

    干净样本FGSMPGD-20PGD-100C&WDeepFool
    无防御93.065.954.249.792.041.9
    TRADES(1/λ=6)84.961.056.656.481.261.3
    TRADES(1/λ=1)88.656.349.148.984.059.1
    ADT86.860.452.151.652.4
    Feature Scatter90.078.470.568.662.6
    Fast_AT78.672.472.372.278.571.1
    本文85.079.078.878.784.973.5
    下载: 导出CSV

    表  4  Resnet18与VGG16模型在CIFAR10数据集上的鲁棒性(%)

    无防御 (Resnet18)本文 (Resnet18)无防御 (VGG16)本文 (VGG16)
    干净样本(ε=0)93.085.092.181.4
    FGSM(ε=2/8/16)83.1/65.9/66.484.9/79.0/78.783.6/47.8/28.381.4/79.8/75.9
    PGD-40(ε=2/8/16)79.1/51.5/45.284.9/78.7/77.681.3/24.3/11.881.4/79.7/74.6
    C&W(ε=2/8/16)92.7/92.0/91.085.0/84.9/84.892.0/91.5/90.781.3/81.2/81.2
    DeepFool(ε=2/8/16)78.3/41.9/16.583.5/78.5/71.578.6/31.8/5.179.2/73.5/67.0
    下载: 导出CSV

    表  5  ResNet18模型在CIFAR100数据集20分类任务上的鲁棒性(%)

    攻击算法无防御本文
    干净样本(ε=0)76.7466.02
    FGSM(ε=2/8/16)51.71/34.73/30.6464.28/59.18/52.78
    PGD-20(ε=2/8/16)46.10/14.34/5.2564.26/58.96/51.91
    PGD-100(ε=2/8/16)44.12/8.73/2.5664.26/58.94/51.62
    C&W(ε=2/8/16)49.64/16.55/3.6664.05/58.22/50.48
    DeepFool(ε=2/8/16)76.21/74.42/72.1966.00/65.86/57.00
    下载: 导出CSV

    表  6  CNN网络在MNIST数据集上的鲁棒性(%)

    攻击算法无防御本文
    干净样本(ε=0)99.199.1
    FGSM(ε=2/8/16)98.9/96.3/88.999.1/98.1/94.9
    PGD(ε=2/8/16)98.8/90.8/67.099.1/97.8/91.4
    C&W(ε=2/8/16)99.1/99.0/99.099.1/99.0/99.0
    DeepFool(ε=2/8/16)98.4/93.4/64.298.8/97.5/93.7
    下载: 导出CSV

    表  7  CNN网络在Fashion-MNIST数据集上的鲁棒性(%)

    攻击算法无防御本文
    干净样本(ε=0)93.4787.41
    FGSM(ε=2/8/16)80.13/48.09/35.1786.18/82.74/78.40
    PGD-20(ε=2/8/16)76.27/32.76/24.2386.14/81.90/75.04
    PGD-100(ε=2/8/16)75.41/29.11/23.8886.14/81.78/74.10
    C&W(ε=2/8/16)93.25/91.95/90.2887.35/87.21/86.96
    DeepFool(ε=2/8/16)77.67/25.64/0.3686.09/82.26/76.69
    下载: 导出CSV
  • [1] SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks[C]. The 2nd International Conference on Learning Representations (ICLR), Banff, Canada, 2014: 1–10.
    [2] GOODFELLOW I J, SHLENS J, and SZEGEDY C. Explaining and harnessing adversarial examples[C]. The 3rd International Conference on Learning Representations (ICLR), San Diego, USA, 2015: 1–11.
    [3] MADRY A, MAKELOV A, SCHMIDT L, et al. Towards deep learning models resistant to adversarial attacks[C]. 6th International Conference on Learning Representations (ICLR), Vancouver, Canada, 2018: 1–28.
    [4] MOOSAVI-DEZFOOLI S M, FAWZI A, and FROSSARD P. DeepFool: A simple and accurate method to fool deep neural networks[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016: 2574–2582.
    [5] CARLINI N and WAGNER D. Towards evaluating the robustness of neural networks[C]. IEEE Symposium on Security and Privacy (SP), San Jose, USA, 2017: 39–57.
    [6] WONG E, RICE L, and KOLTER J Z. Fast is better than free: Revisiting adversarial training[C]. The 8th International Conference on Learning Representations (ICLR), Addis Ababa, Ethiopia, 2020: 1–17.
    [7] ZHENG Haizhong, ZHANG Ziqi, GU Juncheng, et al. Efficient adversarial training with transferable adversarial examples[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, USA, 2020: 1178–1187.
    [8] DONG Yinpeng, DENG Zhijie, PANG Tianyu, et al. Adversarial distributional training for robust deep learning[C]. The 34th International Conference on Neural Information Processing Systems (NeurIPS), Vancouver, Canada, 2020: 693.
    [9] WANG Hongjun, LI Guanbin, LIU Xiaobai, et al. A Hamiltonian Monte Carlo method for probabilistic adversarial attack and learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(4): 1725–1737. doi: 10.1109/TPAMI.2020.3032061
    [10] CHEN Sizhe, HE Zhengbao, SUN Chengjin, et al. Universal adversarial attack on attention and the resulting dataset DAmageNet[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(4): 2188–2197. doi: 10.1109/TPAMI.2020.3033291
    [11] FAN Jiameng and LI Wenchao. Adversarial training and provable robustness: A tale of two objectives[C/OL]. The 35th AAAI Conference on Artificial Intelligence, 2021: 7367–7376.
    [12] GOKHALE T, ANIRUDH R, KAILKHURA B, et al. Attribute-guided adversarial training for robustness to natural perturbations[C/OL]. The 35th AAAI Conference on Artificial Intelligence, 2021: 7574–7582.
    [13] LI Xiaoyu, ZHU Qinsheng, HUANG Yiming, et al. Research on the freezing phenomenon of quantum correlation by machine learning[J]. Computers, Materials & Continua, 2020, 65(3): 2143–2151. doi: 10.32604/cmc.2020.010865
    [14] SALMAN H, SUN Mingjie, YANG G, et al. Denoised smoothing: A provable defense for pretrained classifiers[C]. The 34th International Conference on Neural Information Processing Systems (NeurIPS), Vancouver, Canada, 2020: 1841.
    [15] SHAO Rui, PERERA P, YUEN P C, et al. Open-set adversarial defense with clean-adversarial mutual learning[J]. International Journal of Computer Vision, 2022, 130(4): 1070–1087. doi: 10.1007/s11263-022-01581-0
    [16] MUSTAFA A, KHAN S H, HAYAT M, et al. Image super-resolution as a defense against adversarial attacks[J]. IEEE Transactions on Image Processing, 2020, 29: 1711–1724. doi: 10.1109/TIP.2019.2940533
    [17] GU Shuangchi, YI Ping, ZHU Ting, et al. Detecting adversarial examples in deep neural networks using normalizing filters[C]. The 11th International Conference on Agents and Artificial Intelligence (ICAART), Prague, Czech Republic, 2019: 164–173.
    [18] TISHBY N, PEREIRA F C, and BIALEK W. The information bottleneck method[EB/OL]. https://arxiv.org/pdf/physics/0004057.pdf, 2000.
    [19] TISHBY N and ZASLAVSKY N. Deep learning and the information bottleneck principle[C]. IEEE Information Theory Workshop (ITW), Jerusalem, Israel, 2015: 1–5.
    [20] SHWARTZ-ZIV R and TISHBY N. Opening the black box of deep neural networks via information[EB/OL]. https://arXiv.org/abs/1703.00810, 2017.
    [21] KOLCHINSKY A, TRACEY B D, and WOLPERT D H. Nonlinear information bottleneck[J]. Entropy, 2019, 21(12): 1181. doi: 10.3390/e21121181
    [22] ALEMI A A, FISCHER I, DILLON J V, et al. Deep variational information bottleneck[C]. The 5th International Conference on Learning Representations (ICLR), Toulon, France, 2017: 1–19.
    [23] SHAMIR O, SABATO S, and TISHBY N. Learning and generalization with the information bottleneck[J]. Theoretical Computer Science, 2010, 411(29/30): 2696–2711. doi: 10.1016/j.tcs.2010.04.006
    [24] STILL S and BIALEK W. How many clusters? An information-theoretic perspective[J]. Neural Computation, 2004, 16(12): 2483–2506. doi: 10.1162/0899766042321751
    [25] KINGMA D P and BA J. Adam: A method for stochastic optimization[C]. 3rd International Conference on Learning Representations (ICLR), San Diego, USA, 2015: 1–15.
    [26] ZHANG Hongyang, YU Yaodong, JIAO Jiantao, et al. Theoretically principled trade-off between robustness and accuracy[C]. The 36th International Conference on Machine Learning (ICML), Long Beach, USA, 2019: 7472–7482.
    [27] ZHANG Haichao and WANG Jianyu. Defense against adversarial attacks using feature scattering-based adversarial training[C]. The 33rd International Conference on Neural Information Processing Systems (NeurIPS), Vancouver, Canada, 2019: 164.
    [28] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016: 770–778.
    [29] LIU Shuying and DENG Weihong. Very deep convolutional neural network based image classification using small training sample size[C]. The 3rd IAPR Asian Conference on Pattern Recognition (ACPR), Kuala Lumpur, Malaysia, 2015: 730–734.
  • 期刊类型引用(0)

    其他类型引用(1)

  • 加载中
图(4) / 表(7)
计量
  • 文章访问数:  1114
  • HTML全文浏览量:  543
  • PDF下载量:  184
  • 被引次数: 1
出版历程
  • 收稿日期:  2022-05-12
  • 修回日期:  2022-10-13
  • 网络出版日期:  2022-10-20
  • 刊出日期:  2023-06-10

目录

/

返回文章
返回