Robustness Enhancement Method of Deep Learning Model Based on Information Bottleneck
-
摘要: 作为深度学习技术的核心算法,深度神经网络容易对添加了微小扰动的对抗样本产生错误的判断,这种情况的出现对深度学习模型的安全性带来了新的挑战。深度学习模型对对抗样本的抵抗能力被称为鲁棒性,为了进一步提升经过对抗训练算法训练的模型的鲁棒性,该文提出一种基于信息瓶颈的深度学习模型对抗训练算法。其中,信息瓶颈以信息论为基础,描述了深度学习的过程,使深度学习模型能够更快地收敛。所提算法使用信息瓶颈理论提出的优化目标推导出的结论,将模型中输入到线性分类层的张量加入损失函数,通过样本交叉训练的方式将干净样本与对抗样本输入模型时得到的高层特征对齐,使模型在训练过程中能够更好地学习输入样本与其真实标签的关系,最终对对抗样本具有良好的鲁棒性。实验结果表明,所提算法对多种对抗攻击均具有良好的鲁棒性,并且在不同的数据集与模型中具有泛化能力。Abstract: As the core algorithm of deep learning technology, deep neural network is easy to make wrong judgment on the adversarial examples with imperceptive perturbation. This situation brings new challenges to the security of deep learning model. The resistance of deep learning model to adversarial examples is called robustness. In order to improve the robustness of the model trained by adversarial training algorithm, an adversarial training algorithm of deep learning model based on information bottleneck is proposed. Among this, information bottleneck describes the process of deep learning based on information theory, so that the deep learning model can converge faster. The proposed algorithm uses the conclusions derived from the optimization objective proposed based on the information bottleneck theory, adds the tensor input to the linear classification layer in the model to the loss function, and aligns the clean samples with the high-level features obtained when the adversarial samples are input to the model by means of sample cross-training, so that the model can better learn the relationship between the input samples and their true labels during the training process and has finally good robustness to the adversarial samples. Experimental results show that the proposed algorithm has good robustness to a variety of adversarial attacks, and has generalization ability in different data sets and models.
-
Key words:
- Deep learning /
- Adversarial training /
- Information bottleneck /
- Adversarial example /
- Robustness
-
1. 引言
星基导航定位系统因其高精度的授时、定位、测距等优势广泛应用于现代国防和经济发展等领域[1]。该系统利用导航信号传递星基数据,需经长距离复杂信道环境到达地面,接收端采集的信号能量很微弱,易受到无线信道中噪声杂波与干扰信号的影响,因此针对星基定位接收机的抗干扰技术成为导航对抗领域的研究热点。
星基导航定位系统的抗干扰方法有时域滤波,频域滤波和空域滤波3种类型。自适应空域滤波因其高效的抗干扰性能与简易的设备代价成为该系统主要抗干扰技术。现阶段的自适应空域滤波主要基于最大信干噪比(SINR)[2]与最小均方误差(MMSE)[3,4]准则而展开研究,相关学者在此基础上针对指向向量误差[5],相干干扰信号[6]以及色噪声干扰[7]等环境误差与有意干扰提出了鲁棒自适应滤波方法。从导航对抗角度出发,研究星基导航抗干扰性能的同时,亦需对己方为干扰方时的星基定位接收机干扰技术进行研究。当前国内外对自适应空域滤波干扰方法的研究很少,现存的为文献[8,9]提出闪烁信号干扰方法,通过调整干扰信号跳变速率,在干扰零陷收敛至稳态前变换干扰方式,使自适应天线不断循环反复进行迭代零陷无法收敛至稳态,但该方法仅适应于多干扰源且收敛速率慢的自适应滤波接收机。
本文基于最小方差无失真(MVDR)自适应空域滤波方法,将海洋声场不均匀介质引起的声源信号空际间叠性下降的模型[10,11]应用至星基定位导航干扰信号中,提出了一种非完备空际间叠干扰信号模型,通过理论证明和实验仿真说明了非完备空际间叠干扰能够实现对自适应空域滤波零陷能力的抑制,降低星基定位接收机对导航信号的捕获效率。相同实验条件下与传统空域滤波零陷抑制方法相比,本文提出的非完备空际间叠空域滤波零陷抑制方法具有更明显的空域零陷能力抑制效果,使得星基导航接收机输出信干噪比明显降低。
2. 基于MVDR空域滤波的星基导航信号处理
2.1 星基导航信号接收模型
设天线阵列由
M 个全方向性的均匀间隔线性阵元组成,阵元间距为d ,导航信号入射角为θd ,x(t)= [x1(t),x2(t),···,xM(t)]T 是阵列接收信号,可表示为x(t)=s(t)a(θd)+Q∑i=1ii(t)+n(t) (1) 式中,
Q 为干扰信号数,a(θd) 为导航信号的指向向量。pd=2πdsin(θd)/λo ,a(θd)=[1,exp(jpd),···, exp(j(M−1)pd)] ,λo 为载波信号的波长,i(t) 和n(t) 分别为干扰信号与噪声。s(t) 为星基导航信号,本文采用L1波段传播的星基导航C/A码信号,其表达式为s(t)=√EcC/A(t)dN/A(t)sin(2πfL1t+θL1) (2) 式中,
E 表示信号能量,cC/A(t) 为C/A伪随机扩频码,dN/A(t) 表示导航电文信息数据码,L1 表示载波频率,θL1 为载波初相位。2.2 MVDR自适应滤波处理星基导航信号
MVDR空域滤波方法基于最大SINR准则,保证期望信号无失真的前提下,使得阵列输出能量最小,约束关系为
min{wHRw},wHa(θd)=1 (3) 式中,
w 为阵列自适应权值向量,R 为理想情况下干扰信号加噪声的相关矩阵。实际环境中无法获知干扰与噪声的相关矩阵,常以接收样本的协方差矩阵Rx=1KK∑k=1x(k)xH(k) 替代计算,K 为接收信号样本数。通过拉格朗日乘子法求得MVDR波束形成算法自适应权值为
w=R−1a(θd)aH(θd)R−1a(θd) (4) 则自适应阵列输出信号为
y(t)=wHx(t) (5) MVDR自适应空域滤波对星基导航信号的处理过程可用图1表示。
天线阵列模块将接收的导航信号传送至波束形成模块并与对应权值相乘叠加得到输出信号,输出信号反馈至自适应处理模块,调整通路对应的权值系数,使导航信号获取空域最优增益,同时在干扰信号方向进行零陷抑制,不断迭代反馈至自适应处理模块直至系统达到稳态。
3. 非完备空际间叠干扰对星基定位接收机的影响
由第2节可知,星基定位接收机自适应空域滤波保证导航信号无损失增益的前提下,能够零陷抑制干扰信号,降低其对捕获性能的影响。但当干扰信号受不均匀随机振动介质或信道局部随机杂波影响时,干扰畸变非单秩点源,空际间叠性减弱,易于接收端产生角度能量扩散。基于以上考虑,本节提出非完备空际间叠干扰模型,对干扰引起的信号裂变效应进行了理论证明,同时推导了输出SINR与空际间叠长度的函数式,论证了非完备空际间叠干扰对星基定位接收机捕获性能的影响。
3.1 非完备空际间叠干扰信号模型
若阵列接收的干扰信号为完备空际间叠干扰点源信号,则干扰信号相关矩阵模型为
RI=σ2Ia(θI)aH(θI) (6) 式中,
σ2I 为干扰信号的能量,a(θI) 为干扰信号的指向向量,θI 为干扰信号入射角度,设RIkl 为干扰信号相关矩阵元素,则有RIkl=σ2Iexp[−j(k−l)pI],k,l=1,2,···,M (7) 利用声场非均匀海洋波导环境下的非完备空际间叠声源模型,可以给出非完备空际间叠干扰相关矩阵元素模型为[10—12]
⌢RIkl=σ2Iexp[−j(k−l)pI]gkl,k,l=1,2,···,M (8) 式中,
gkl 为干扰信号的空际间叠系数,可以由海洋声场定义的空际间叠长度LI 表示为gkl=exp(−(dLI|k−l|)) (9) 干扰空际间叠性随
LI 的增长而提高,空际间叠系数的取值区间为[0,1] ,设g=exp(−d/LI) ,则gkl=g|k−l| 。由此可将非完备空际间叠干扰信号的相关矩阵表示为⌢RI=FIGIFHI (10) 式中,
FI=diag{a(θI)} 表示以干扰指向向量为对角元素的对角阵,GI=Toep{1,g,g2,···,gM−1} 表示干扰信号的空际间叠矩阵。结合式(1)和式(10)可以给出非完备空际间叠干扰下阵列接收信号自相关矩阵为
R=σ2sa(θd)aH(θd)+σ2IFIGIFHI+σ2nI (11) 3.2 非完备空际间叠引起干扰信号裂变
本节基于3.1节中的干扰模型,对非完备空际间叠干扰引起的信号裂变效应进行证明,首先考虑干扰为非完备空际间叠信号时,
GI 中的元素g 不为1,则由GI 的形式可知其为托普利兹矩阵。根据托普利兹矩阵特征分解及拆分性质[13,14]可知,GI 可拆分为式(12)形式GI=E(ϕ)DEH(ϕ)+λminI (12) E(ϕ)=[11···1ejϕ1ejϕ2···ejϕM−m⋮⋮⋱⋮ej(M−1)ϕ1ej(M−1)ϕ2···ej(M−1)ϕM−m] (13)
D=diag(σ21,σ22,···,σ2M−m) (14) 式中,
λmin 为矩阵GI 的最小特征值,m 为GI 最小特征值的重数,由GI 元素的组成形式结合实对称托普利兹矩阵性质可知GI 最小特征值重数为1,即m=1 。设矩阵
C=GI−λminI ,矩阵B 为det(C) 前阶主子式构成的矩阵,则由矩阵形式可得B 最小零特征值的重数为1[14]。设v=(v0,v2,···,vM−1) 为其最小特征值构成的特征向量,则矩阵E(Ψ) 中的元素ejϕi 可由式(15)的第i 个解求得[14]M−1∑t=0vtzt=0 (15) 式中,系数
vt 为向量v 的组成元素。矩阵
D 可通过式(16)求得D=E+(ϕ)CE(ϕ) (16) 式中,
E+(ϕ) 为E(ϕ) 广义逆矩阵。结合式(16),将式(12)代入到式(11)中,则有
\begin{aligned}
{{R}} = & \sigma _{\rm s}^2{{a}}\!\left( {{\theta _{\rm d}}} \right){{{a}}^{\rm{H}}}\!\left( {{\theta _{\rm d}}} \right) + \sigma _{\rm I}^2{{{F}}\!_{\rm I}}{{E}}\!\left( \phi \right)\!{{D}}{{{E}}^{\rm{H}}}\!\left( \phi \right){{F}}\!_{\rm I}^\,{\rm{H}} \\
& + \left( {{\lambda _{\min }}\sigma _{\rm I}^2 + \sigma _{\rm n}^2} \right){{I}} \\
= & \sigma _{\rm s}^2{{a}}\!\left( {{\theta _{\rm d}}} \right){{{a}}^{\rm{H}}}\!\left( {{\theta _{\rm d}}} \right) \!+\! {{Q}}\!\left( {{\theta _{\rm I}},\phi } \right)\!{{{D}}_{\rm I}}{{{Q}}^{\rm{H}}}\left( {{\theta _{\rm I}},\phi } \right) \!+\! {{\overline\overline \sigma _n^2}} {{I}}
\end{aligned}(17)
式(17)中,
Q(θI,ϕ)=FIE(ϕ) (18) DI=σ2ID=diag(σ2Iσ21,σ2Iσ22,···,σ2Iσ2M−1)=diag(d1,d2,···,dM−1) (19) 矩阵
Q(θI,ϕ) 中的元素[Q(θI,ϕ)]kl 可以表示为[Q(θI,ϕ)]kl=ej(k−1)(ϕl+pI),k=1,2,···,M,l=1,2,···,M−1 (20) 结合式(18)与式(19)对
Q(θI,ϕ)DIQH(θI,ϕ) 进一步计算可得Q(θI,ϕ)DIQH(θIϕ)=[M−1∑k=1dkM−1∑k=1dkej(pI+ϕk)···M−1∑k=1dkejM(pI+ϕk)M−1∑k=1dkej(pI+ϕk)M−1∑k=1dkej2(pI+ϕk)···M−1∑k=1dkej(M+1)(pI+ϕk)⋮⋮⋱⋮M−1∑k=1dkej(M−1)(pI+ϕk)M−1∑k=1dkejM(pI+ϕk)···M−1∑k=1dkej2(M−1)(pI+ϕk)] (21) 现考虑阵列接收到
M−1 个不同入射角度互不相关的干扰信号,假设第m 个干扰信号的能量和入射角度分别为σ2m 和θIm ,则阵列接收的M−1 个干扰可以表示为I(t)=M−1∑m=1im(t)a(θIm) (22) 其中,
a(θIm)=[a1(θIm),a2(θIm),···,aM(θIm)] (23) ak(θIm)=exp(j(k−1)pIm),k=1,2,···,M (24) pIm=2πdsin(θIm)λo (25) 则
M−1 个干扰的相关函数为RIM−1=E[IH(t)I(t)]=[M−1∑m=1σ2mM−1∑m=1σ2mejpm···M−1∑m=1σ2mej(M−1)pmM−1∑m=1σ2mejpmM−1∑m=1σ2mej2pm···M−1∑m=1σ2mejMpm⋮⋮⋱⋮M−1∑m=1σ2mej(M−1)pmM−1∑m=1σ2mejMpm···M−1∑m=1σ2mej2(M−1)pm] (26) 比较式(21)和式(26)可以看出二者形式上相似,仅在矩阵元素组成部分相差指数形式的初相位。由此可见式(26)形式上表达的物理意义与式(21)相同,可以等效为阵列接收到
M−1 个互不相关的入射干扰信号。由组成DI 元素的形式可将第m 个入射干扰信号能量等效为dm=σ2Iσ2m (27) 又由
[Q(θI,ϕ)]kl=ej(k−1)(ϕl+pI) 可知,若pm=pI +ϕl ,则可求得干扰信号等效入射角度θIm=arcsin[λIm(pI+ϕI)2πd],θIm∈(−π,π) (28) 由3.1节可知,干扰空际间叠性越弱,
GI 中的元素g 越小,求得ϕl 值越大[14],因而裂变信号入射角度差也即越大,干扰信号裂变效应越明显,等效的入射干扰信号越多,表明干扰信号消耗了自适应波束阵列更多的自由度,导致阵列抑制干扰的能力减弱,降消了星基定位接收机的捕获性能。3.3 空际间叠长度与输出SINR的关系
本节对星基定位接收机输出信干噪比与空际间叠长度的函数式展开推究论证。
由于星基导航信号已于国际星基卫星标准公开运营,因此可假设输入星基导航信号相关函数
Rs 已知,输入干扰信号与噪声的相关函数Rin=R−Rs ,则有SINRMVDR=wHRswwHRw−wHRsw=wHRswwHRinw (29) 将
w=Rin−1a(θd)/(aH(θd)Rin−1a(θd)) 代入到式(29)中,可以得到SINRMVDR=aH(θd)R−1inRsR−1ina(θd)aH(θd)R−1ina(θd) (30) 把
Rs=σ2saH(θd)a(θd) 代入到式(30)中,可以得到SINRMVDR=σ4sσ2nMaH(θd)R−1ina(θd) (31) Rin=RI+σ2nI (32) 对
RI 进行特征值分解有RI=M∑j=1λjejeHj (33) R−1I=M∑j=11λjejeHj (34) 式中,
λj 为RI 的第j 个特征值,ej 为对应的特征向量。将式(34)代入到式(32)的逆矩阵中并进行泰勒级数展开可得
R−1in=M∑j=11λjejeHj−σ2nM∑j=11λ2jejeHj+σ4nM∑j=11λ3jejeHj−··· (35) 假设干扰信号的功率远大于噪声功率,因而可忽略
R−1in 展开后阶数大于2的高次项,得到R−1in≈M∑j=11λjejeHj−σ2nM∑j=11λ2jejeHj (36) 利用式(36)可将式(31)改写为
SINRMVDR=σ4sσ2nMaH(θd)⋅R−1I(I−σ2nR−1I)aH(θd) (37) 利用空际间叠矩阵
GI 可将式(37)进一步计算得到SINRMVDR=σ2sσ2IaH(θd)FIG−1IFHIaH(θd) (38) 对
GI 求逆并代入式(38)计算可得SINRMVDR=σ2sσ2I[M+(M−2)g2−2g(M−1)cospdI] (39) 式中,
g 为GI 中的元素,pdI=|pd−pI| 。通过分析式(39)给出的
SINRMVDR 解析式可知,SINRMVDR 为空际间叠矩阵元素g 的单调递减函数。则由3.1节给出g 的表达式可知,当阵元间距d 固定时,g 若增大,干扰空际间叠长度LI 长度减小,表明干扰信号的空际间叠性降低,对应接收机的SINRMVDR 降低,导致星基定位接收机性能下降。4. 仿真实验与性能分析
为验证理论分析的正确性,评估干扰信号的空际间叠性对星基导航信号捕获性能的影响,现以星基信号中的C/A码为例,从空间方向图、输出SINR以及3维频码域相关峰值捕获3方面衡量非完备空际间叠干扰的作用效果,同时与传统的点源干扰空域滤波抑制方法进行比较,实验以空际间叠长度与阵列孔径比例
Ra 作为干扰空际间叠性的表征标准。考虑到星基导航定位接收机应用环境与场所限制,阵元数不宜过多,具体的仿真环境参数如表1所示。表 1 仿真实验参数设置载波频率 1.57542 GHz 阵元间距 0.5波长 信道环境 高斯白噪声信道 干扰类型 随机噪声干扰 阵元数目 8 期望信号入射方位 10° 干扰信号入射方位 50° 阵列形状 均匀线性阵列天线 4.1 不同空际间叠性干扰下的方向图
本节实验对不同空际间叠性干扰下的星基定位接收机方向图进行仿真研究,由于实际环境中星基导航信号能量微弱,因此本文设置干信比为30
dB ,信噪比设置为–10dB 。比较图2中方向图可知,当
Ra=0.5 时,MVDR空域滤波虽然在星基导航C/A码信号方向无损失增益,但在干扰信号方向未能形成明显零陷。当Ra 提高至2.0时,干扰入射方向抑制增益有所提升,可达−50dB 左右,但此时形成的较深零陷位置相对干扰方向仍有所偏移,未能在干扰方向形成最深零陷。当Ra 达到15.0时,方向图能够在干扰信号方向形成最深零陷,且无位置偏移,同时也可观察到在最深零陷位置偏移处有零陷毛刺,这是由于信号裂变产生相近角度差干扰导致零陷凹深分离造成。4.2 空际间叠长度比例对输出SINR的影响
本节在与上节相同仿真实验条件下,考察空际间叠长度比例对输出信干噪比的影响。同时对基于MVDR算法的两种改进的鲁棒自适应空域滤波方法LSMI算法[15]和SQR算法[16]进行仿真,考察空际间叠干扰对鲁棒空域滤波的零陷抑制效果。信噪比变化范围为
[−10,30]dB ,步长取2dB 。由图3可知3种自适应滤波算法的输出SINR均随空际间叠长度比例的提高而增大,验证了3.3节给出的星基定位接收机输出SINR与空际间叠长度的函数单调关联性。当
Ra=0.5 ,输出SINR最低,相比其他两种比例情况大约相差10∼20dB 左右,Ra=2.0 与Ra=0.5 时的输出SINR差幅较小。由图3(b)与图3(c)可见,LSMI算法和SQP算法在不同Ra 下与图3(a)MVDR算法有相似的变化趋势,但相比于MVDR算法,LSMI算法和SQP算法改进了约束条件,使得算法对干扰噪声和环境误差更鲁棒,因此输出SINR略高于MVDR算法。但3种算法在输入SNR较小时的输出SINR均有明显下降,这是由于空际间叠性减弱引起的信号裂变效应造成。4.3 星基导航信号捕获性能分析
本节对不同空际间叠性干扰作用下的星基定位接收机捕获性能展开研究。信噪比设置为
−30dB ,干信比设置为−40dB , C/A码初相位设置为1900,为避免引入较大频偏,本文设置的多普勒频移为45 Hz。观察图4(a)可知,当Ra=0.5 ,相关函数幅度杂乱无章,仅可观察到微弱的尖峰幅度,难以在多普勒频移和C/A码相位轴上分辨尖峰位置,且在两坐标轴上的相关幅度起伏变化较大,影响峰值位置判断。当Ra 增至2.0时,可以观察到明显的相关函数峰值突起,且相关函数幅度分布平缓,无明显起伏或剧烈幅度差值。Ra 达到15.0时,相关函数幅度的尖峰变得非常突出,坐标轴幅度分布均匀,起伏很小,与突出峰值差异显著,从C/A码相位和多普勒频移两坐标轴上可有效提取相关峰值位于C/A码初始相位1900处,在多普勒频移轴上则出现在45 Hz处,与实验设置的初始条件相同,实现了对星基导航信号的有效捕获。4.4 基于传统空域滤波抑制效果性能分析
本节将基于点源干扰方式的传统空域滤波抑制方法与非完备空际间叠空域滤波抑制进行性能比较,为检测两种空域滤波抑制方法对零陷抑制的效果,本节分别设置了不同阵元数的实验条件,考察不同空域滤波抑制方法的干扰效果。通过星基导航接收机输出信干噪比的反馈实验效果分析本文方法与传统方法的空域零陷抑制能力。阵元数分别设置为10, 15和20,干信比设置为30
dB ,其余实验条件设置与表1相同。观察图5(a)可知,传统空域滤波抑制方法在相同信噪比点上的输出SINR均高于3种
Ra 情况中的空际间叠抑制方法,这是由于传统空域滤波抑制方法采用点源信号的干扰方式,仅消耗单点源干扰对应的单阵列自由度,对多阵元的天线空域滤波抑制能力不明显,而空际间叠干扰由于信号裂变效应可以产生多个等效的干扰信号,提高了阵列自由度的消耗容量,进一步降低星基导航接收机的输出SINR。从图5(b)和图5(c)可以看出,随着阵元数的增多,不同空域滤波抑制方法的输出SINR有所提升,在不同信噪比上的输出SINR幅差减小,这是由于阵元数的增多能够提高阵列的零陷自由度,使得信号裂变产生的等效干扰信号被有效抑制,提高了星基导航接收机输出信干噪比,同时由于阵元数的提高大幅减弱了空际间叠性消耗的自由度,进一步降低了不同空际间叠性信号的干扰效果差异,缩小了不同输入SNR比例下的信干噪比差值容度。由此可见,空际间叠空域滤波抑制法的零陷抑制能力明显优于传统方法。5. 结论
针对星基定位接收机捕获导航信号干扰问题,本文提出了一种非完备空际间叠干扰模型,证明了非完备空际间叠干扰引起的信号裂变效应,推导分析了输出SINR与干扰信号空际间叠长度的函数式及单调关联性,考察了不同空际间叠扰长度比例对星基导航信号捕获性能的影响,实验对照了传统空域滤波抑制方法与空际间叠干扰方法零陷抑制的能力效果。仿真实验表明本文提出的非完备空际间叠干扰模型能够降低星基定位接收机的捕获性能,相比传统方法具有更强的空域滤波抑制能力。
-
表 1 公式变量对照表
公式变量 名称 公式变量 名称 L 目标函数 p(⋅) 边缘概率分布 ˜x 对抗样本 q(⋅) 边缘概率分布 y 网络输出 β 信息瓶颈通过率 z 隐藏变量 H(⋅) 熵 I(⋅) 互信息 KL(⋅) KL散度 LIB 损失函数 CE(⋅) 交叉熵 表 2 使用的数据集信息
数据集名称 图片大小 是否彩色 数量(104张) 类别(种) β CIFAR100 32×32 是 6 20 10–5 CIFAR10 32×32 是 6 10 10–5 MNIST 28×28 否 7 10 10–3 Fashion-MNIST 28×28 否 7 10 10–3 表 3 不同防御方法在CIFAR10数据集上的鲁棒性(%)
干净样本 FGSM PGD-20 PGD-100 C&W DeepFool 无防御 93.0 65.9 54.2 49.7 92.0 41.9 TRADES(1/λ=6) 84.9 61.0 56.6 56.4 81.2 61.3 TRADES(1/λ=1) 88.6 56.3 49.1 48.9 84.0 59.1 ADT 86.8 60.4 52.1 51.6 52.4 – Feature Scatter 90.0 78.4 70.5 68.6 62.6 – Fast_AT 78.6 72.4 72.3 72.2 78.5 71.1 本文 85.0 79.0 78.8 78.7 84.9 73.5 表 4 Resnet18与VGG16模型在CIFAR10数据集上的鲁棒性(%)
无防御 (Resnet18) 本文 (Resnet18) 无防御 (VGG16) 本文 (VGG16) 干净样本(ε=0) 93.0 85.0 92.1 81.4 FGSM(ε=2/8/16) 83.1/65.9/66.4 84.9/79.0/78.7 83.6/47.8/28.3 81.4/79.8/75.9 PGD-40(ε=2/8/16) 79.1/51.5/45.2 84.9/78.7/77.6 81.3/24.3/11.8 81.4/79.7/74.6 C&W(ε=2/8/16) 92.7/92.0/91.0 85.0/84.9/84.8 92.0/91.5/90.7 81.3/81.2/81.2 DeepFool(ε=2/8/16) 78.3/41.9/16.5 83.5/78.5/71.5 78.6/31.8/5.1 79.2/73.5/67.0 表 5 ResNet18模型在CIFAR100数据集20分类任务上的鲁棒性(%)
攻击算法 无防御 本文 干净样本(ε=0) 76.74 66.02 FGSM(ε=2/8/16) 51.71/34.73/30.64 64.28/59.18/52.78 PGD-20(ε=2/8/16) 46.10/14.34/5.25 64.26/58.96/51.91 PGD-100(ε=2/8/16) 44.12/8.73/2.56 64.26/58.94/51.62 C&W(ε=2/8/16) 49.64/16.55/3.66 64.05/58.22/50.48 DeepFool(ε=2/8/16) 76.21/74.42/72.19 66.00/65.86/57.00 表 6 CNN网络在MNIST数据集上的鲁棒性(%)
攻击算法 无防御 本文 干净样本(ε=0) 99.1 99.1 FGSM(ε=2/8/16) 98.9/96.3/88.9 99.1/98.1/94.9 PGD(ε=2/8/16) 98.8/90.8/67.0 99.1/97.8/91.4 C&W(ε=2/8/16) 99.1/99.0/99.0 99.1/99.0/99.0 DeepFool(ε=2/8/16) 98.4/93.4/64.2 98.8/97.5/93.7 表 7 CNN网络在Fashion-MNIST数据集上的鲁棒性(%)
攻击算法 无防御 本文 干净样本(ε=0) 93.47 87.41 FGSM(ε=2/8/16) 80.13/48.09/35.17 86.18/82.74/78.40 PGD-20(ε=2/8/16) 76.27/32.76/24.23 86.14/81.90/75.04 PGD-100(ε=2/8/16) 75.41/29.11/23.88 86.14/81.78/74.10 C&W(ε=2/8/16) 93.25/91.95/90.28 87.35/87.21/86.96 DeepFool(ε=2/8/16) 77.67/25.64/0.36 86.09/82.26/76.69 -
[1] SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks[C]. The 2nd International Conference on Learning Representations (ICLR), Banff, Canada, 2014: 1–10. [2] GOODFELLOW I J, SHLENS J, and SZEGEDY C. Explaining and harnessing adversarial examples[C]. The 3rd International Conference on Learning Representations (ICLR), San Diego, USA, 2015: 1–11. [3] MADRY A, MAKELOV A, SCHMIDT L, et al. Towards deep learning models resistant to adversarial attacks[C]. 6th International Conference on Learning Representations (ICLR), Vancouver, Canada, 2018: 1–28. [4] MOOSAVI-DEZFOOLI S M, FAWZI A, and FROSSARD P. DeepFool: A simple and accurate method to fool deep neural networks[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016: 2574–2582. [5] CARLINI N and WAGNER D. Towards evaluating the robustness of neural networks[C]. IEEE Symposium on Security and Privacy (SP), San Jose, USA, 2017: 39–57. [6] WONG E, RICE L, and KOLTER J Z. Fast is better than free: Revisiting adversarial training[C]. The 8th International Conference on Learning Representations (ICLR), Addis Ababa, Ethiopia, 2020: 1–17. [7] ZHENG Haizhong, ZHANG Ziqi, GU Juncheng, et al. Efficient adversarial training with transferable adversarial examples[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, USA, 2020: 1178–1187. [8] DONG Yinpeng, DENG Zhijie, PANG Tianyu, et al. Adversarial distributional training for robust deep learning[C]. The 34th International Conference on Neural Information Processing Systems (NeurIPS), Vancouver, Canada, 2020: 693. [9] WANG Hongjun, LI Guanbin, LIU Xiaobai, et al. A Hamiltonian Monte Carlo method for probabilistic adversarial attack and learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(4): 1725–1737. doi: 10.1109/TPAMI.2020.3032061 [10] CHEN Sizhe, HE Zhengbao, SUN Chengjin, et al. Universal adversarial attack on attention and the resulting dataset DAmageNet[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(4): 2188–2197. doi: 10.1109/TPAMI.2020.3033291 [11] FAN Jiameng and LI Wenchao. Adversarial training and provable robustness: A tale of two objectives[C/OL]. The 35th AAAI Conference on Artificial Intelligence, 2021: 7367–7376. [12] GOKHALE T, ANIRUDH R, KAILKHURA B, et al. Attribute-guided adversarial training for robustness to natural perturbations[C/OL]. The 35th AAAI Conference on Artificial Intelligence, 2021: 7574–7582. [13] LI Xiaoyu, ZHU Qinsheng, HUANG Yiming, et al. Research on the freezing phenomenon of quantum correlation by machine learning[J]. Computers, Materials & Continua, 2020, 65(3): 2143–2151. doi: 10.32604/cmc.2020.010865 [14] SALMAN H, SUN Mingjie, YANG G, et al. Denoised smoothing: A provable defense for pretrained classifiers[C]. The 34th International Conference on Neural Information Processing Systems (NeurIPS), Vancouver, Canada, 2020: 1841. [15] SHAO Rui, PERERA P, YUEN P C, et al. Open-set adversarial defense with clean-adversarial mutual learning[J]. International Journal of Computer Vision, 2022, 130(4): 1070–1087. doi: 10.1007/s11263-022-01581-0 [16] MUSTAFA A, KHAN S H, HAYAT M, et al. Image super-resolution as a defense against adversarial attacks[J]. IEEE Transactions on Image Processing, 2020, 29: 1711–1724. doi: 10.1109/TIP.2019.2940533 [17] GU Shuangchi, YI Ping, ZHU Ting, et al. Detecting adversarial examples in deep neural networks using normalizing filters[C]. The 11th International Conference on Agents and Artificial Intelligence (ICAART), Prague, Czech Republic, 2019: 164–173. [18] TISHBY N, PEREIRA F C, and BIALEK W. The information bottleneck method[EB/OL]. https://arxiv.org/pdf/physics/0004057.pdf, 2000. [19] TISHBY N and ZASLAVSKY N. Deep learning and the information bottleneck principle[C]. IEEE Information Theory Workshop (ITW), Jerusalem, Israel, 2015: 1–5. [20] SHWARTZ-ZIV R and TISHBY N. Opening the black box of deep neural networks via information[EB/OL]. https://arXiv.org/abs/1703.00810, 2017. [21] KOLCHINSKY A, TRACEY B D, and WOLPERT D H. Nonlinear information bottleneck[J]. Entropy, 2019, 21(12): 1181. doi: 10.3390/e21121181 [22] ALEMI A A, FISCHER I, DILLON J V, et al. Deep variational information bottleneck[C]. The 5th International Conference on Learning Representations (ICLR), Toulon, France, 2017: 1–19. [23] SHAMIR O, SABATO S, and TISHBY N. Learning and generalization with the information bottleneck[J]. Theoretical Computer Science, 2010, 411(29/30): 2696–2711. doi: 10.1016/j.tcs.2010.04.006 [24] STILL S and BIALEK W. How many clusters? An information-theoretic perspective[J]. Neural Computation, 2004, 16(12): 2483–2506. doi: 10.1162/0899766042321751 [25] KINGMA D P and BA J. Adam: A method for stochastic optimization[C]. 3rd International Conference on Learning Representations (ICLR), San Diego, USA, 2015: 1–15. [26] ZHANG Hongyang, YU Yaodong, JIAO Jiantao, et al. Theoretically principled trade-off between robustness and accuracy[C]. The 36th International Conference on Machine Learning (ICML), Long Beach, USA, 2019: 7472–7482. [27] ZHANG Haichao and WANG Jianyu. Defense against adversarial attacks using feature scattering-based adversarial training[C]. The 33rd International Conference on Neural Information Processing Systems (NeurIPS), Vancouver, Canada, 2019: 164. [28] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016: 770–778. [29] LIU Shuying and DENG Weihong. Very deep convolutional neural network based image classification using small training sample size[C]. The 3rd IAPR Asian Conference on Pattern Recognition (ACPR), Kuala Lumpur, Malaysia, 2015: 730–734. 期刊类型引用(0)
其他类型引用(1)
-