高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于分类误差一致性准则的自适应知识迁移

梁爽 杭文龙 冯伟 刘学军

梁爽, 杭文龙, 冯伟, 刘学军. 基于分类误差一致性准则的自适应知识迁移[J]. 电子与信息学报, 2019, 41(11): 2736-2743. doi: 10.11999/JEIT181054
引用本文: 梁爽, 杭文龙, 冯伟, 刘学军. 基于分类误差一致性准则的自适应知识迁移[J]. 电子与信息学报, 2019, 41(11): 2736-2743. doi: 10.11999/JEIT181054
Wei Wei, Li Li. A NEW METHOD FOR CALCULATING THYRISTOR REVERSE RECOVERY CURRENT PARAMETERS[J]. Journal of Electronics & Information Technology, 1993, 15(5): 532-535.
Citation: Shuang LIANG, Wenlong HANG, Wei FENG, Xuejun LIU. Adaptive Knowledge Transfer Based on Classification-error Consensus Regularization[J]. Journal of Electronics & Information Technology, 2019, 41(11): 2736-2743. doi: 10.11999/JEIT181054

基于分类误差一致性准则的自适应知识迁移

doi: 10.11999/JEIT181054
基金项目: 国家自然科学基金(61802177),江苏省高校自然科学研究面上项目(18KJB520020),南京邮电大学引进人才科研启动基金(NY219034),江苏省重点研发计划(BE2015697)
详细信息
    作者简介:

    梁爽:女,1987年生,讲师,研究方向为机器学习、信号处理

    杭文龙:男,1988年生,讲师,研究方向为机器学习、模式识别

    冯伟:男,1995年生,硕士生,研究方向机器学习、模式识别

    刘学军:男,1970年生,教授,硕士生导师,研究方向为数据挖掘、大数据分布式处理

    通讯作者:

    杭文龙 wlhang@njtech.edu.cn

  • 中图分类号: TP181

Adaptive Knowledge Transfer Based on Classification-error Consensus Regularization

Funds: The National Nature Science Foundation of China (61802177), The Natural Science Foundation of the Higher Education Institutions of Jiangsu Province (18KJB520020), NUPTSF (NY219034), Key Research and Development Program of Jiangsu Province (BE2015697)
  • 摘要: 目前大多数迁移学习方法在利用源域数据辅助目标域数据建模时,通常假设源域中的数据均与目标域数据相关。然而在实际应用中,源域中的数据并非都与目标域数据的相关程度一致,若基于上述假设往往会导致负迁移效应。为此,该文首先提出分类误差一致性准则(CCR),对源域与目标域分类误差的概率分布积分平方误差进行最小化度量。此外,该文提出一种基于CCR的自适应知识迁移学习方法(CATL),该方法可以快速地从源域中自动确定出与目标域相关的数据及其权重,以辅助目标域模型的构建,使其能在提高知识迁移效率的同时缓解负迁移学习效应。在真实图像以及文本数据集上的实验结果验证了CATL方法的优势。
  • 在阵列信号处理中,互质阵列[1]的研究是近年来备受关注的课题。利用互素数的性质和互素数组的互质阵,可以得到一个更大的虚拟阵列。众所周知,更大的阵列意味着更大的阵列孔径,这将有助于提高分辨率和干扰抑制能力。互质采样的优点是有助于提高DOA估计的自由度。此外,一些研究将互质采样用于自适应波束形成研究。在文献[2]中,基于压缩感知理论[3],提出了一种适用于互质阵列的自适应波束形成算法,该算法充分利用了压缩感知和互质阵列的优点,结果表明该方法比其他方法具有更好的性能。文献[4-6]提出了几种稳健自适应波束形成算法,但这些算法均是在理想条件下,未考虑幅相误差的影响。

    然而,在实际阵列中,从阵列接收的信号包含幅相误差。如果幅相误差存在但被忽视,则自适应波束形成的性能会受到影响。因此,如何校准幅相误差是一个非常重要的问题。为了解决该问题。许多算法被提出。大多数提出的算法,例如基于特征结构的自校准方法[7,8],可以精确校准幅相误差。然而,在低信噪比和快照数较少的情况下,这些算法的性能会急剧下降。文献[9,10]提出了一种基于压缩感知的幅相误差校准算法,但该算法主要用于直线阵列。文献[11]提出了一种幅相误差条件下的稳健自适应波束形成算法,该算法主要用于均匀直线阵。文献[12]提出了一种扰动情况下的阵列信号处理模型,该方法针对均匀直线阵,将阵列扰动视为一个与信号相关的误差,建立了一个扰动存在条件下的信号接收模型,将扰动的校准问题转化为了对误差参数的估计问题,并利用文献[13,14]中的最小二乘算法实现参数的有效估计。

    为了在低信噪比和少量快照的情况下准确地校准幅相误差并重构信号的协方差矩阵,本文提出了一种基于最小二乘(TLS)的方法。首先,建立了具有幅相误差的协方差矩阵重构的基本模型。然后将问题转化为变量误差(EIV)模型,此时问题就转化为估计与幅相误差相关的误差矩阵,而不是直接校准幅相误差,并提出一种交替下降算法来估计误差矩阵和重构协方差矩阵。该方法有望消除幅相误差的影响,并优于部分其他算法。最后利用重构的信号协方差矩阵进行自适应波束形成,从而降低幅相误差的影响。

    考虑两个均匀直线阵列,第1个阵列包含2M个阵元,阵元之间的间距为Nd,第2个阵列包含N个阵元,阵元之间的间距为Md。其中,d=λ/2λ表示波长,MN满足M<N。根据质数的性质,这两个均匀直线阵列可以等效为一个包含2M+N1个阵元的互质阵列。此时,该互质阵的信号接收模型可表示为

    x(t)=xs(t)+xi(t)+n(t)
    (1)

    其中,t表示第t次快拍。xs(t)=a(θs)s(t)表示阵列输出的目标信号,a(θs)表示导向矢量,θs表示信号的实际方位信息,xi(t)表示干扰信号,n(t)表示均值为0方差为1的高斯白噪声。

    为了自适应地抑制干扰,实现对实际目标的有效探测,常常会选择合适的自适应波束形成算法对干扰进行抑制。其中,最常用的一种自适应波束形成算法就是线性约束最小方差(Linearly Constrained Minimum Variance, LCMV)算法。LCMV算法中最重要的步骤是获得优化的权值向量。该权值向量可以表示为

    w=R1a(θs)aH(θs)R1a(θs)
    (2)

    其中,R表示信号的协方差矩阵,其表达式为

    R=E[xxH]=Ki=1E[|si|2]a(θi)aH(θi)+σ2I
    (3)

    其中,K表示信号的个数,si表示信号的幅度。I表示单位阵。

    由压缩感知理论可知,压缩感知重构算法能够精确重构信号的一个前提是信号在空域上满足稀疏性,为了满足信号的稀疏性,将整个信号空间[90,90]划分成Q等份,同时将信号的协方差矩阵向量化,此时可得

    r=vec(R)=Bp+σ2nvec(I)
    (4)

    其中,B=[a(θ1)a(θ1),a(θ2)a(θ2),,a(θQ)a(θQ)], p=[0,,s2s,,s22,,s2K,,0]CQ×1, 表示Kronecker积,s2s表示目标信号的功率,s22,,s2K表示K–1个干扰信号的功率,σ2n表示噪声信号的功率。

    以上模型建立在阵列精确已知的理想情况下,但在实际系统中,由于雷达系统器件本身的非理想性,比如滤波器特性不一致、放大器的幅相特性不一致等因素,会导致阵列幅相误差的出现,且这些误差在实际系统中无法避免,幅相误差的存在,会导致雷达参数估计性能的下降。考虑幅相误差,令

    Γ=diag[1,Γ2,,Γ2M+N1]T=diag[1,ρ2ejϕ2,,ρ2M+N1ejϕ2M+N1]T
    (5)

    表示幅相误差矩阵。其中,Γi表示第i个阵元的幅相误差,ρiϕi分别表示第i个阵元的幅度误差和相位误差。此时,向量化的信号协方差矩阵可表示为

    r=vec(R)=Bp+σ2nvec(I)
    (6)

    其中,B=[Γa(θ1)Γa(θ1),,Γa(θQ)Γa(θQ)], “”表示共轭。

    根据Kronecker积的运算性质,

    Γa(θi)Γa(θi)=(ΓΓ)[a(θi)a(θi)]
    (7)

    因此有

    B=(ΓΓ)B=ΓB
    (8)

    其中,Γ=ΓΓ

    此时,信号的协方差矩阵的向量化形式可表示为

    r=ΓBp+n
    (9)

    其中,n=σ2nvec(I)

    从上述模型中可以看出,由于B跟阵列相关,因此可认为是已知的,如果能够准确估计出Γp,则可以在存在幅相误差的情况下准确构建信号协方差矩阵。

    为了得到该问题的求解,我们首先将式(9)中的模型转换为一个EIV模型

    r=ΓBp+n=[B+(ΓI)B]p+n=[B+E]p+n
    (10)

    其中,E=(ΓI)B表示和幅相误差矩阵相关的误差矩阵。此时,对幅相误差的估计问题就转化为了对误差矩阵E的求解问题。通过文献[12-14],式(10)中的问题可转换为对以下问题的求解

    argminp,E,n[En]2F+λp1s.t.r=[B+E]p+n}
    (11)

    其中F表示F范数,1表示1范数。

    式(11)的问题中,主要目标是利用有效的参数估计算法,实现对未知参数的有效估计。但是由于和误差矩阵相关的Ep的存在,式(11)中的求解问题是一个非凸优化的问题,难以直接通过凸优化算法进行参数的求解。为了解决该问题,将式(11)中的优化问题转换为一个无约束的优化问题,可转化为

    minp,EE2F+r[B+E]S22+λp1,2
    (12)

    通过式(12)可以得到Ep的求解,但该问题仍然是一个非凸优化问题,仍然无法直接求解,为了得到问题的求解,本文中采用梯度下降算法,通过迭代的方式进行求解。该算法主要通过迭代对多个未知参数进行求解,首先假设其中一个待求解的参数是已知的,然后利用该参数求解另一个未知参数,再利用求解的参数估计另外的未知参数,直到迭代收敛,从而得到多个未知参数的求解。

    首先,假设误差矩阵E是已知的,在第i次迭代过程中,稀疏目标信号和干扰信号向量p可通过式(13)进行求解:

    minpipi1,2s.t.r[B+Ei1]piFε
    (13)

    其中,ε为常数。

    式(13)中的问题可通过压缩感知信号重构方法进行求解,例如l1/l2混合范数优化方法、贪婪算法等,本文选择贪婪算法进行问题的求解,主要选择OMP(Orthogonal Matching Pursuit)算法,OMP算法的最大特点就是操作简单、计算复杂度较低。得到了稀疏目标信号和干扰信号向量p的估计,将估计得到的稀疏信号向量p代入式(12),可以得到误差矩阵Ei的估计如式(14)所示

    Ei=minEE22+r[B+E]pi2F
    (14)

    对式(14)关于E求偏导数并等于0,可得到误差矩阵E的求解

    Ei=[rBpi](pi)T[I+pi(pi)T]1
    (15)

    本文提出的算法主要是将贪婪算法和最小二乘算法相结合,进行参数的估计。其中误差矩阵E的初始化为E0=0。该算法主要包括两个关键步骤:式(13)中对稀疏目标信号和干扰信号向量p的估计以及式(14)中对和幅相误差相关的误差矩阵E的估计。当满足迭代终止条件时,迭代终止。通过估计的稀疏目标信号和干扰信号向量p,以及已知的B,可以通过式(4)得到信号的协方差矩阵向量化的有效估计:

    r=Bp
    (16)

    从而得到重构的信号协方差矩阵,并将其代入式(2)中,得到自适应波束形成的加权向量的有效估计,从而得到互质阵列的自适应波束形成结果

    y(t)=wHx(t)
    (17)

    建立了信号模型,并提出了估计幅相误差和重建信号协方差矩阵的方法。第4节将进行仿真分析,以验证所提方法的有效性。

    对于所有的仿真试验,假设两个均匀直线阵的阵元数目分别为2M=10以及N=11,假设1个目标信号和1个干扰信号,信号角度分别为θs=15, θ1=45。对于幅相误差,假设幅度误差和相位误差均满足均匀分布,其中,幅度误差为U=[0.2,0.2],相位误差为U=[20,20]

    首先利用重构得到的信号协方差矩阵,得到自适应波束形成的最优权系数,得到自适应波束形成之后的方向图,并和含有幅相误差情况下直接进行自适应波束形成以及理想情况下的自适应波束形成结果比较。

    图1可以看出,在含有幅相误差的高信噪比条件下,利用本文提出的算法对信号的协方差矩阵进行重构之后再做自适应波束形成,得到的波束方向图基本和理想的均匀直线阵的结果相近。和含有幅相误差的结果相比,提出的算法在很大程度上降低了幅相误差的影响,得到的方向图旁瓣更低,干扰方向的零陷更深。

    图 1  自适应波束形成方向图

    为了进一步验证提出的方法的有效性,进行蒙多卡罗仿真试验,分别仿真了相干信号和非相干信号的蒙多卡罗仿真试验,通过输出信干噪比进行不同方法的衡量比较

    OutputSINR=σ2s|wHa(θs)|2wHRw
    (18)

    其中,σ2s是目标信号的功率,a(θs)是目标信号的导向矢量。蒙特卡罗分析次数为500次。我们将本文方法与文献[15]中基于稀疏表示技术(SR technique)的鲁棒自适应波束形成方法和文献[2]中的互质阵列自适应波束形成方法(CA-ABF)进行比较。

    首先仿真分析不同信噪比条件下,不同方法的输出信干噪比,信噪比从–20 dB到20 dB间变化,结果如图2所示。

    图 2  不同信噪比下输出信干噪比

    图2可以看出,当SNR较低时,输出SINR将显著降低。由于信噪比较低,信号协方差矩阵的估计偏差较大。当信噪比较高时,信号协方差矩阵被准确估计,输出信噪比显著提高。与其他方法相比,本文提出的方法的输出信噪比更高。当考虑到信号相干问题时,基于压缩感知的方法基本不受信号相干性的影响。

    接着仿真分析不同快拍数条件下,不同方法的输出信干噪比,快拍数的变化范围为10~100,结果如图3所示。

    图 3  不同快拍数下输出信干噪比

    图3中,当快拍数量较少时,信号的协方差矩阵估计有一定的偏差,导致输出SINR低于快照较多的情况。当快拍数量增加时,输出SINR增加并趋于稳定。与其他方法相比,本文方法的输出信噪比也更高。

    在本文中,针对存在幅相误差的互质阵列,提出了一种基于协方差矩阵重构的鲁棒自适应波束形成方法。首先,建立了协方差矩阵重构的基本模型。然后我们要解决的问题变成了EIV问题。然后,将幅相误差校准问题转换为与幅相误差相关的误差矩阵的估计。为了解决这一问题,提出了一种基于TLS的交替下降算法。从仿真结果可以看出,相对于不同的信噪比和快照,该方法可以获得比其他方法更好的性能。但目前我们的研究还存在一些局限性,仍然面临着失配问题。这影响了它在实际系统中的应用。

  • 图  1  6种对比算法在文本数据集上的分类精度

    表  1  图像数据集USPS及MNIST中源域数据与目标域数据的详细设置

    任务源域数据目标域数据
    正类负类正类负类
    1USPS7USPS9MNIST7MNIST9
    2USPS4USPS9MNIST4MNIST9
    3USPS0USPS6MNIST0MNIST6
    下载: 导出CSV

    表  2  文本数据集20-Newsgroups中源域数据与目标域数据的详细设置

    任务源域数据目标域数据
    正类负类正类负类
    1comp.graphicsrec.autoscomp.os.ms-windows.miscrec.motorcycles
    2comp.sys.ibm.pc.hardwarerec.sport.baseballcomp.sys.mac.hardwarerec.sport.hokey
    3sci.crypttalk.politics.gunssci.electronicstalk.politics.mideast
    4sci.medtalk.politics.miscsci.spacetalk.religion.misc
    5rec.autostalk.politics.gunsrec.motorcyclestalk.politics.mideast
    6rec.sport.baseballtalk.politics.miscrec.sport.hokeytalk.religion.misc
    下载: 导出CSV

    表  3  各种算法在图像任务上的分类精度

    任务已标注样本LSSVMCDSVMASVMTrAdaBoostSTMPRIFCATL2
    140.52870.56110.59130.57990.60180.62450.6359
    60.55200.58000.60940.61330.62980.63840.6477
    80.58970.61120.62660.60070.63190.64210.6528
    100.60300.63920.65020.62130.64870.65390.6672
    120.63810.64610.63830.65880.66430.67530.6791
    140.65410.65870.67540.66820.69010.69820.7014
    240.53540.57430.59980.58870.59830.62230.6133
    60.58970.59920.62930.59030.64260.64780.6520
    80.62760.63870.64920.66900.68030.68930.6927
    100.65080.66410.68430.69050.70670.70290.7168
    120.68920.66980.69880.71230.72340.73260.7387
    140.70980.71560.72070.70760.72660.73910.7421
    340.65780.69030.70260.68730.72350.74720.7492
    60.70130.74450.75290.73540.75410.76320.7726
    80.74520.76950.77210.74550.7618077260.7829
    100.77620.78030.77890.78360.79280.79180.8193
    120.79230.79440.80340.79940.82880.81720.8301
    140.82340.82130.81780.81450.83970.82630.8452
    下载: 导出CSV
  • DENG Zhaohong, JIANG Yizhang, CHOI K S, et al. Knowledge-leverage-based TSK fuzzy system modeling[J]. IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(8): 1200–1212. doi: 10.1109/TNNLS.2013.2253617
    DAI Wenyuan, YANG Qiang, XUE Guirong, et al. Boosting for transfer learning[C]. The 24th International Conference on Machine Learning, Corvalis, USA, 2007: 193–200.
    JIANG Yizhang, DENG Zhaohong, CHUNG F L, et al. Recognition of epileptic EEG signals using a novel multiview TSK fuzzy system[J]. IEEE Transactions on Fuzzy Systems, 2017, 25(1): 3–20. doi: 10.1109/TFUZZ.2016.2637405
    ZHUANG Fuzhen, LUO Ping, DU Changying, et al. Triplex transfer learning: Exploiting both shared and distinct concepts for text classification[J]. IEEE Transactions on Cybernetics, 2014, 44(7): 1191–1203. doi: 10.1109/TCYB.2013.2281451
    PAN S J, NI Xiaochuan, SUN Jiantao, et al. Cross-domain sentiment classification via spectral feature alignment[C]. Proceedings of the 19th International Conference on World Wide Web, Raleigh, USA, 2010: 751–760.
    ZANG Shaofei, CHENG Yuhu, WANG Xuesong, et al. Semi-supervised transfer discriminant analysis based on cross-domain mean constraint[J]. Artificial Intelligence Review, 2018, 49(4): 581–595. doi: 10.1007/s10462-016-9533-3
    WANG Guanjin, ZHANG Guangquan, CHOI K S, et al. Deep additive least squares support vector machines for classification with model transfer[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2019, 49(7): 1527–1540. doi: 10.1109/TSMC.2017.2759090
    YANG Jun, YAN Rong, and HAUPTMANN A G. Adapting SVM classifiers to data with shifted distributions[C]. The Seventh IEEE International Conference on Data Mining Workshops, Omaha, USA, 2007: 69–76.
    JIANG Yizhang, DENG Zhaohong, CHUNG F L, et al. Realizing two-view TSK fuzzy classification system by using collaborative learning[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2017, 47(1): 145–160. doi: 10.1109/TSMC.2016.2577558
    CHU Wensheng, DE LA TORRE F, and COHN J F. Selective transfer machine for personalized facial action unit detection[C]. 2013 IEEE Conference on Computer Vision and Pattern Recognition, Portland, USA, 2013: 3515–3522.
    GRETTON A, SMOLA A, HUANG Jiayuan, et al. Covariate Shift by Kernel Mean Matching[M]. QUIÑONERO-CANDELA J, SUGIYAMA M, SCHWAIGHOFER A, et al. Dataset Shift in Machine Learning. Cambridge, USA: MIT Press, 2009: 131–160.
    CHENG Yuhu, WANG Xuesong, and CAO Ge. Multi-source tri-training transfer learning[J]. IEICE Transactions on Information and Systems, 2014, E97-D(6): 1668–1672. doi: 10.1587/transinf.e97.d.1668
    WANG Yunyun, ZHAI Jie, LI Yun, et al. Transfer learning with partial related " instance-feature” knowledge[J]. Neurocomputing, 2018, 310: 115–124. doi: 10.1016/j.neucom.2018.05.029
    CHEN Minmin, XU Zhixiang, WEINBERGER K Q, et al. Marginalized denoising autoencoders for domain adaptation[C]. The 29th International Conference on Machine Learning, Edinburgh, Scotland, 2012: 1627–1634.
    ZHOU J T, PAN S J, TSANG I W, et al. Hybrid heterogeneous transfer learning through deep learning[C]. The 28th AAAI Conference on Artificial Intelligence, Québec City, Canada, 2014: 2213–2219.
    GLOROT X, BORDES A, and BENGIO Y. Domain adaptation for large-scale sentiment classification: A deep learning approach[C]. The 28th International Conference on Machine Learning, Bellevue, Washington, USA, 2011: 513–520.
    LONG Mingsheng, WANG Jianmin, CAO Yue, et al. Deep learning of transferable representation for scalable domain adaptation[J]. IEEE Transactions on Knowledge and Data Engineering, 2016, 28(8): 2027–2040. doi: 10.1109/TKDE.2016.2554549
    PARZEN E. On estimation of a probability density function and mode[J]. The Annals of Mathematical Statistics, 1962, 33(3): 1065–1076. doi: 10.1214/aoms/1177704472
    DENG Zhaohong, CHUNG F L, and WANG Shitong. FRSDE: Fast reduced set density estimator using minimal enclosing ball approximation[J]. Pattern Recognition, 2008, 41(4): 1363–1372. doi: 10.1016/j.patcog.2007.09.013
    TOMMASI T, ORABONA F, and CAPUTO B. Learning categories from few examples with multi model knowledge transfer[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(5): 928–941. doi: 10.1109/TPAMI.2013.197
    LACOSTE-JULIEN S, SCHMIDT M, and BACH F. A simpler approach to obtaining an O(1/t) convergence rate for the projected stochastic subgradient method[J]. arXiv:1212.2002, 2012.
    LONG Mingsheng, WANG Jianmin, DING Guiguang, et al. Transfer learning with graph co-regularization[J]. IEEE Transactions on Knowledge and Data Engineering, 2014, 26(7): 1805–1818. doi: 10.1109/TKDE.2013.97
    SUYKENS J A K and VANDEWALLE J. Least squares support vector machine classifiers[J]. Neural Processing Letters, 1999, 9(3): 293–300. doi: 10.1023/a:1018628609742
    BART E and ULLMAN S. Cross-generalization: Learning novel classes from a single example by feature replacement[C]. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Diego, USA, 2005: 672–679.
    GU Xiaoqing, CHUNG F L, and WANG Shitong. Bayesian Takagi-Sugeno-Kang fuzzy classifier[J]. IEEE Transactions on Fuzzy Systems, 2017, 25(6): 1655–1671. doi: 10.1109/TFUZZ.2016.2617377
  • 期刊类型引用(2)

    1. 张文青,李胤辰,陈胜垚,何成,田巳睿. 基于深度展开ADMM网络的稳健自适应波束形成. 现代雷达. 2024(06): 43-49 . 百度学术
    2. 佟昊阳,刘玉财,易文胜,李水. 基于波束形成的水下声源精确测量. 计量科学与技术. 2023(12): 27-33+66 . 百度学术

    其他类型引用(4)

  • 加载中
图(1) / 表(3)
计量
  • 文章访问数:  2583
  • HTML全文浏览量:  1431
  • PDF下载量:  58
  • 被引次数: 6
出版历程
  • 收稿日期:  2018-11-20
  • 修回日期:  2019-04-30
  • 网络出版日期:  2019-05-16
  • 刊出日期:  2019-11-01

目录

/

返回文章
返回