Adaptive Multi-scale Information Fusion Based on Dynamic Receptive Field for Image-to-image Translation
-
摘要: 为提高图像转换模型生成图像的质量，该文针对转换模型中的生成器进行改进，同时探究多样化的图像转换，拓展转换模型的生成能力。在生成器的改进方面，利用选择性(卷积)核模块(SKBlock)的动态感受野机制获取和融合生成器中每个上采样特征的多尺度信息，借助特征的多尺度信息和动态感受野构造选择性(卷积)核的生成式对抗网络(SK-GAN)。与传统生成器相比，SK-GAN以动态感受野获取多尺度信息的生成结构提高了生成图像的质量。在多样化图像转换方面，基于SK-GAN在草图合成真实图像任务提出带引导图像的选择性(卷积)核的生成式对抗网络(GSK-GAN)。该模型利用引导图像指导源图像的转换，通过引导图像编码器提取引导图像特征，然后由参数生成器(PG)和特征转换层(FT)将引导图像特征的信息传递至生成器。此外，该文还提出双分支引导图像编码器以提高转换模型的编辑能力，以及利用引导图像的隐变量分布实现随机样式的图像生成。实验表明，改进后的生成器有助于提高生成图像质量，SK-GAN在多个数据集中获得合理的生成结果。GSK-GAN不仅保证了生成图像的质量，还能生成更多样式的图像。Abstract: In order to improve the quality of the generated images by the image translation model, the generator in the translation model to obtain high-quality generated images is improved, the diversified image translation is explored and the generation ability of the translation model is expanded. In terms of generator improvement, the dynamic receptive field mechanism of Selective Kernel Block (SKBlock) is used to obtain and fuse the multi-scale information of each up sampling feature in the generator. With the help of multi-scale information of features and dynamic receptive field, the Selective Kernel Generative Adversarial Network (SK-GAN) is constructed. Compared with the traditional generator, SK-GAN improves the quality of the generated image by using dynamic receptive field to obtain multi-scale information. In terms of diversified image translation, the Selective Kernel Generative Adversarial Network with Guide (GSK-GAN) is proposed based on SK-GAN in sketch synthesis realistic image task. GSK-GAN uses the guided image to guide the source image translation and extracts the guide image features through the guided image encoder. Then transmits information of the guided image features to the generator by Parameter Generator (PG) and Feature Transformation (FT). In addition, a dual branch guided image encoder is proposed to improve the editing ability of the translation model. The random style image generation is realized by using the latent variable distribution of the guide image. The experimental results show that the improved generator is helpful to improve the quality of the generated images, and SK-GAN can obtain reasonable results in multiple datasets. GSK-GAN no only ensures the quality of the generated images, but also generates more styles of images
-
1. 引言
相比于传统全球定位系统(Global Positing System, GPS)信号，GPS现代化卫星具有更好的信号相关特性、更大的信号功率、更妥善的导航电文结构、更高的定位精度以及更强的抗干扰能力[1]。特别是在GPS现代化建设第3阶段中，如表1，将通过发射Block III卫星而增加新型民用L1C信号[1]。为了优先保障军事应用，在保留平时M码信号进行全球覆盖性发射这一思路的基础上，增加了在必要时通过高增益天线定向地产生高功率点波束发射[1]。美国于2018年底发射第1颗GPS III卫星，继Galileo和北斗全球卫星导航系统(BeiDou System, BDS)后，GPS首次在轨播发复用二进制偏移载波(Multiplexed Binary Offset Carrier, MBOC)调制中经典的时分复用二进制偏移载波(Time Multiplexed Binary Offset Carrier, TMBOC)调制信号[2-5]，全球定位系统II代(Global Positing System II, GPS II)采用正交相移键控(Quadrature Phase Shift Keying, QPSK)调制以及相干自适应副载波调制(Coherent Adaptive Subcarrier Modulation, CASM)复用方式，GPS III代复用方式尚未公开。2019年8月，第2颗GPS III卫星成功发射，标志着GPS现代化第3阶段更向前推进一步。
表 1 GPS L1 信号分量系统 GPS III GPS II 参考 复用方式/分量 未公开 QPSK CASM C/A √ √ √ IS-GPS-200J(2018) L1Cd √ – – IS-GPS-800E(2018) L1Cp √ – – IS-GPS-800E(2018) P(Y) √ √ √ IS-GPS-200J(2018) M √ – √ Marquis and Reigh(2015) 当前，关于GPS III信号的系统官方文件尚未全部公布，GPS III实际播发信号的结构和性能亟需研究。德国宇航中心的Steffen Thoelert团队对GPS III首星从频谱和星座图进行了初步分析，中国电子科技集团54研究所也做了类似的工作，对GPS III信号结构的深入研究还有很大的空间。国家授时信号质量评估团队在完成上述工作的同时，参考目前已公开的全球卫星导航系统(Global Navigation Satellite System, GNSS)控制接口文档(Interface Control Document, ICD)评估指标项为模板，更深入地进行了实际播发信号的分析工作，给出了当前信号质量评估结果，弥补了该项空白。本文作者研究团队基于中国科学院国家授时中心的GNSS空间信号质量评估系统，对GPS III卫星进行了多次监测以及数据采集、分析比对工作。对L1信号的调制方式，尤其是L1M分量载波相位“滑动”现象进行了验证，并利用L1C/A解析出M码序列，完成了L1C/A, L1Cd, L1Cp以及L1M信号分量的信号质量评估工作，对GPS III信号的S曲线过0点偏差、各信号分量功率配比以及L1M信号的相关幅值做了定量分析。本结果可支撑后续关于GPS III信号的信号质量评估分析工作，也可为北斗信号质量的设计提供参考。
2. 信号分析处理流程
如图1，本文信号分析处理主要包括信号预处理、信号现象分析以及信号质量评估3部分。首先利用大口径高增益天线进行多次数据采集，将数据送入软件接收机，进行信号捕获、跟踪和解调解扩完成数据预处理。
信号现象分析主要针对基带信号同相/正交(In-phase/Quadrature, I/Q)频谱分布以及L1信号星座图“滑动”现象，通过对不同滤波带宽设置下的星座图幅值和相位采取数理统计，初步验证了L1信号载波相位“时变”主要源于L1M信号。最后在信号质量评估阶段，利用L1C/A解析出M伪码序列，完成了多项信号质量评估指标的分析，其中信号功率配比关系指标项也佐证了“L1信号载波相位滑动现象主要源于L1M信号”。
3. GPS III卫星信号结构分析
3.1 L1信号I/Q频谱分析
功率谱反映了信号功率随着频率的变化情况，是分析卫星导航信号结构的重要手段，可直观获得卫星信号发射带宽、调制方式以及中心频率等特征，也可观测信号是否有明显畸变。采用经典的Welch周期图法[6]绘制功率谱。如图2所示，与GPS II信号相比，GPS III信号一个最显著的特征是增加MBOC调制的L1C新型民用信号分量。为了进一步研究不同信号分量间的相位关系，使用L1C/A伪码分别对GPS L1射频信号进行捕获、跟踪等接收处理后得到GPS II以及GPS III L1频点基带信号，在载波相位跟踪精准的前提下，一般基带信号为理想的正交调制，采取同样的方法对导航信号I/Q支路信号功率谱分布进行分析。如图3—图5所示，表2统计了GPS L1频点信号I/Q支路信号分量构成。
表 2 GPS L1 信号I/Q支路调制方式统计分量/系统 GPS III GPS II 未知 QPSK CASM 同相 BPSK(1) BOC(10,5) BPSK(1) BPSK(1)+ BOC(10,5) 正交 BOC(1,1)+TMBOC(6,1,4/33)+P(Y) BPSK(10) BPSK(10) 由图3可得：GPS III信号同相支路由L1C/A与L1M构成，正交支路中除了明显的L1C, P(Y)功率谱包络外，也出现了中心频率位于10 MHz，单边带宽5 MHz的信号功率谱，类似L1M功率谱特性，该现象首次出现在GPS信号中。I/Q频谱分布统计结果表明信号分量呈递增趋势，相比于传统的二进制相移键控(Binary Phase Shift Keying, BPSK)调制，二进制偏移载波(Binary Offset Carrier, BOC)调制逐渐占据主导。特别地，II代CASM复用方式下，信号明显向前向后兼容。
3.2 L1信号调制矢量分析
星座图能直观地反映信号分量的幅度大小及分量间相位对应关系。导航信号一般多采用正交调制，不同支路的伪码相位关系近似正交，利用星座图可以直观地判断导航信号的分量组成个数、信号分量间相位相对关系、信号分量间功率配比以及信号复用调制方式等信息[7]。如图6和图7所示，分别绘制GPS III和GPS II L1频点星座图，与GPS II相比，GPS III星座图包含8个未分布在单位圆上星座点，为非恒包络调制。导航信号自星上发射至地面接收过程中路径损耗以及大气衰落十分严重，为了保证地面接收端足够的接收功率，对星上发射机的发射功率提出了更高的需求[8]。为了使星上高功率放大器工作在非线性饱和区，以达到较高的发射效率，提出了合成信号恒包络特性的需求。GPS III L1信号明显未采用传统的恒包络调制方式，推测GPS在高功率放大器技术上有了明显的提升，规避了恒包络发射牺牲发射效率的弊端。
对GPS III进行卫星俯仰角变化范围为14°～36°，约6.5 h的全弧段监测。选取连续5个时间段(每间隔20 min一组，每组采集时常为10 s)数据进行分析处理，如图8给出其中3个时间段的星座图，在连续长时间分析中，发现L1信号星座图处于“时变”中，结合频谱分布中I/Q支路同时出现L1M调制特征频谱，对该现象原因进行深入分析。
选取主瓣带宽(单边带宽7 MHz)和发射带宽(单边带宽30 MHz)两种滤波器带宽进行滤波后绘制星座图，由于L1M信号为BOC(10, 5)调制，信号主能量被搬移至距中频10 MHz处，主瓣带宽内星座图主要是L1C/A, L1C, P(Y )以及三者的交调分量占主导，而发射带宽内则包含L1M信号在内的所有分量能量的调制特性。图8绘制出同时刻发射带宽和主瓣带宽条件下的星座图。从星座图变化趋势来看，发射带宽条件下为非恒包络调制，且信号间相位关系处于变化中，主瓣带宽内信号相位则相对恒定，为恒包络QPSK调制。
为了进一步验证，采取图9所示星座图表征方式，对不同时刻主瓣带宽内信号星座图的星座点幅值和相位进行统计分析。
表3中同时刻条件下，主瓣带宽内4个星座点的幅度差异仅为0.01，不同时刻条件下，信号相位变化规律保持一致，佐证了L1C/A, P(Y )以及L1C信号分量间功率配比以及相位关系恒定，为恒包络QPSK调制。L1M调制方式为BOC(10, 5)，主瓣带宽内信号能量分布较少，推测L1信号星座图相位滑动现象主要是由L1M引起的，且L1M载波相位一直在“时变”。
表 3 主瓣带宽内星座点幅度相位统计结果时间 星座点 12:00 12:20 12:40 13:00 13:20 幅值 A 0.57 0.53 0.49 0.48 0.49 B 0.56 0.53 0.49 0.46 0.48 C 0.56 0.53 0.49 0.47 0.47 D 0.57 0.52 0.48 0.48 0.48 相位 A 59.80 60.90 63.23 61.73 61.23 B 115.38 116.22 115.55 117.00 116.52 C 242.08 241.92 241.42 240.62 241.53 D 297.23 297.59 295.54 295.54 295.32 3.3 L1信号功率配比关系
假设信号失真引入的相关功率损失较小可忽略，基于跟踪稳定后的即时支路输出结果，可准确求解已解析信号分量的功率配比[9]。P(Y ), L1C以及L1M分量共同调制在正交支路上，由于有两路授权信号在正交支路上，解码误码率不能保障，本文对P(Y )的功率未作分析。表4为GPS III L1频点所有可以稳定跟踪的信号分量的功率占比。
表 4 不同时刻L1频点各信号分量功率配比统计表信号分量 L1Cd L1Cp L1C/A L1M 数据1 1.00 2.70 2.35 4.67 数据2 1:00 2.68 2.36 6.75 数据3 1:00 2.73 2.39 6.78 数据4 1:00 2.74 2.40 4.66 4. L1频点授权信号解析
4.1 L1M 授权信号解析
采用逐码片相关法以及三环跟踪法[10,11]可解析L1M授权信号的伪码序列。该方法原理如下：
本地生成长度为一个码片宽度
TM 的BOC(10, 5)信号子载波序列cl(n), n=1,2,···,N (1) 其中，
N 为一个L1M信号伪码宽度内的子载波采样点数。假设时长为
TM 的同相支路信号表达式为sI(n),n=1,2,···,NsI(n)=βCAdCAcCA(n)+βMdMcM(n)} (2) 其中，
βCA 和βM 分别为L1C/A和L1M信号的幅度因子，dCA 为L1C/A信号电文符号，dM 为L1M信号伪码符号和电文的乘积，TM 为一个L1M伪码周期。默认短时期内电文未发生翻转，即
dM 为1，利用本地信号cl(n) 和sI(n) 每个采样点进行相乘，得到cl(n)⋅sI(n)=N∑n=1cl(n)×N∑n=1[βCAdCAcCA(n)+βMdMcM(n)]=N∑n=1(βCAdCAcl(n)cCA(n))+N∑n=1(βMdMcl(n)cM(n)) (3) 如图10所示，由于L1C/A信号单个伪码宽度内包含4个完整的L1M信号子载波码片，根据伪随机噪声码的平衡性式(3)可改写为
cl(n)⋅sI(n)=N∑n=1(βMdMcl(n)cM(n)) (4) 通过式(4)可得L1M伪码符号最佳判决门限为0，则取符号函数可直接判断L1M信号的伪码符号。为验证所解析L1M伪码的正确性，对解析出L1M伪码序列采用峰跳法[12]进行跟踪，如图11跟踪结果所示，载波环路和码环路均跟踪稳定，由于默认电文未发生翻转，所以跟踪结果呈单极性。
对解析出的L1M授权信号分别与本地接收信号的同相/正交支路进行互相关操作，如图12和图13，同相/正交支路均有明显的相关曲线，均符合BOC(10, 5)信号调制特征。
4.2 信号质量评估-相关特性分析
信号失真带来的伪距误差，可直接体现为相关函数的异常。利用相关曲线，可以评估由信道带限和失真等因素引起的相关功率损耗及其对导航性能的影响[12-14]。理想情况下，接收机码跟踪环鉴相曲线(S曲线)的过0点(即码环的锁定点)应位于码跟踪误差为0处，而实际上由于信道传输失真、多径等影响会引起码环锁定存在偏差，由于用户接收机设置带宽和相关器间隔之间的差异，会造成严重的测距误差[11]。S曲线过0点偏差(S-Curve Bias, SCB)则反映了码环的锁定点在不同相关器间隔情况下的测距表现。采用典型的非相干超前—滞后鉴相器为例，设其相关器的超前—滞后间距为δ, S曲线的表达式为
Scurve(ε,δ)=|CCF(ε−δ2)|2−|CCF(ε+δ2)|2 (5) 锁定点偏差
εbias(δ) 满足Scurve(εbias(δ),δ)=0 (6) 本文中软件接收机中滤波器带宽设置为40 MHz，采样率为250 MHz，分析时长为稳定跟踪后2 s，为了充分消除信号间互干扰对测距偏差的影响，各分量的S曲线是由100周期S曲线累加平均所得。
δmax 定义为不同调制方式下相关间隔δ 的最大取值，[0,δmax] 定义为不同调制方式下相关间隔δ 的取值范围[4]dmax[chips]={1.54mn−1,BOC(m,n)1.5,BPSK(n) (7) 如表5所示，统计各支路信号相关间隔内SCB最大值。本次数据结果分析，由于L1Cp调制方式为高阶BOC调制，信号SCB为1.271 ns，其余支路均小于0.3 ns。其中授权信号L1M性能最优，达到了0.058 ns，测距性能明显优于其他信号分量。
表 5 L1信号SCB统计表信号分量 L1C/A L1Cd L1Cp L1M 最大相关间隔区(chip) <0.5 <0.5 <0.06 <0.21 SCB (ns) –0.129 –0.135 1.271 0.058 5. 结束语
本文对GPS III卫星的L1频点空间信号进行了长期监测以及分析。相比以往GPS信号，非恒包络调制首次出现在现代化GNSS中，且信号特性完好。推测GPS III卫星上高功率放大器有了新的突破，规避恒包络复用方法牺牲发射效率的缺陷，北斗全球系统B1频点为多信号分量恒包络合成，后续可在该方向有所突破。文献[1]中提到的GPS III设计M码在星上采取单独链路发射，在有需求时，GPS III 将采用高增益天线定向产生M码信号点波束发射理念，结合本文GPS III L1信号的载波相位滑动现象主要由L1M信号分量引起，推测L1M可能单独于其他信号分量，有利于军方的灵活调整。L1M功率占比明显大于L1Cd, L1Cp及L1C/A信号支路，S曲线过0点偏差更小，性能更优，信号设计优先考虑了军事应用，推测未来将以L1M信号作为主要的军用信号。中国科学院国家授时中心GNSS空间信号质量评估系统，将持监测GPS信号变化情况，进一步进行GPS III新卫星信号结构的推演以及长期信号质量评估工作。
-
表 4 生成器中不同的上采样过程生成的图像质量对比结果
SSIM PSNR FID LPIPS 模式1 0.267 12.821 102.771 0.415 模式2 0.267 12.853 92.608 0.404 模式3 0.284 12.981 89.718 0.405 模式3 (GAN) 0.262 12.568 97.828 0.399 
下载: 导出CSV
表 5 SKBlock中不同感受野分支组合对应的图像质量对比结果
SSIM PSNR FID LPIPS K13 0.276 12.961 100.532 0.398 K35 0.284 12.981 89.718 0.405 K57 0.268 13.007 98.132 0.400
下载: 导出CSV
-
[1] ISOLA P, ZHU Junyan, ZHOU Tinghui, et al. Image-to-image translation with conditional adversarial networks[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, USA, 2017: 5967–5976. doi: 10.1109/CVPR.2017.632. [2] CHEN Wengling and HAYS J. SketchyGAN: Towards diverse and realistic sketch to image synthesis[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 9416–9425. doi: 10.1109/CVPR.2018.00981. [3] KINGMA D P and WELLING M. Auto-encoding variational Bayes[EB/OL]. https://arxiv.org/abs/1312.6114, 2013. [4] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]. The 27th International Conference on Neural Information Processing Systems, Montreal, Canada, 2014: 2672–2680. [5] RADFORD A, METZ L, and CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks[EB/OL]. https://arxiv.org/abs/1511.06434, 2015. [6] SUNG T L and LEE H J. Image-to-image translation using identical-pair adversarial networks[J]. Applied Sciences, 2019, 9(13): 2668. doi: 10.3390/app9132668 [7] WANG Chao, ZHENG Haiyong, YU Zhibin, et al. Discriminative region proposal adversarial networks for high-quality image-to-image translation[C]. The 15th European Conference on Computer Vision, Munich, Germany, 2018: 796–812. doi: 10.1007/978-3-030-01246-5_47. [8] ZHU Junyan, ZHANG R, PATHAK D, et al. Toward multimodal image-to-image translation[C]. The 31st International Conference on Neural Information Processing Systems, Long Beach, USA, 2017: 465–476. [9] XIAN Wenqi, SANGKLOY P, AGRAWAL V, et al. TextureGAN: Controlling deep image synthesis with texture patches[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 8456–8465. doi: 10.1109/CVPR.2018.00882. [10] ALBAHAR B and HUANG Jiabin. Guided image-to-image translation with bi-directional feature transformation[C]. The 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South), 2019: 9015–9024. doi: 10.1109/ICCV.2019.00911. [11] SUN Wei and WU Tianfu. Learning spatial pyramid attentive pooling in image synthesis and image-to-image translation[EB/OL]. https://arxiv.org/abs/1901.06322, 2019. [12] ZHU Junyan, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]. 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy, 2017: 2242–2251. doi: 10.1109/ICCV.2017.244. [13] LI Xiang, WANG Wenhai, HU Xiaolin, et al. Selective kernel networks[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, USA, 2019: 510–519. doi: 10.1109/CVPR.2019.00060. [14] SZEGEDY C, IOFFE S, VANHOUCKE V, et al. Inception-v4, inception-ResNet and the impact of residual connections on learning[EB/OL]. https://arxiv.org/abs/1602.07261, 2016. [15] 柳长源, 王琪, 毕晓君. 基于多通道多尺度卷积神经网络的单幅图像去雨方法[J]. 电子与信息学报, 2020, 42(9): 2285–2292. doi: 10.11999/JEIT190755LIU Changyuan, WANG Qi, and BI Xiaojun. Research on Rain Removal Method for Single Image Based on Multi-channel and Multi-scale CNN[J]. Journal of Electronics &Information Technology, 2020, 42(9): 2285–2292. doi: 10.11999/JEIT190755 [16] LI Juncheng, FANG Faming, MEI Kangfu, et al. Multi-scale residual network for image super-resolution[C]. The 15th European Conference on Computer Vision, Munich, Germany, 2018: 527–542. doi: 10.1007/978-3-030-01237-3_32. [17] MAO Xudong, LI Qing, XIE Haoran, et al. Least squares generative adversarial networks[C]. 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy, 2017: 2813–2821. doi: 10.1109/ICCV.2017.304. [18] HEUSEL M, RAMSAUER H, UNTERTHINER T, et al. Gans trained by a two time-scale update rule converge to a local nash equilibrium[C]. The 31st International Conference on Neural Information Processing Systems, Long Beach, USA, 2017: 6629–6640. [19] ZHANG R, ISOLA P, EFROS A A, et al. The unreasonable effectiveness of deep features as a perceptual metric[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 586–595. doi: 10.1109/CVPR.2018.00068. [20] CORDTS M, OMRAN M, RAMOS S, et al. The cityscapes dataset for semantic urban scene understanding[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016: 3213–3223. doi: 10.1109/CVPR.2016.350. [21] TYLEČEK R and ŠÁRA R. Spatial pattern templates for recognition of objects with regular structure[C]. The 35th German Conference on Pattern Recognition, Saarbrücken, Germany, 2013: 364–374. doi: 10.1007/978-3-642-40602-7_39. [22] CHEN Qifeng and KOLTUN V. Photographic image synthesis with cascaded refinement networks[C]. 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy, 2017: 1520–1529. doi: 10.1109/ICCV.2017.168. 期刊类型引用(3)
1. 刘义，李运宏，董政，张凯. 基于调制域增强副载波剥离的GPS M码授权码流提取方法. 海军航空大学学报. 2023(02): 167-172+178 . 
百度学术2. 杨倩倩，贺成艳，王鹏博，韩子彬. 传输通道相位失真对非恒包络信号质量的影响分析. 系统工程与电子技术. 2023(06): 1597-1605 . 百度学术3. 张强，周一飞，王茸，谭理庆. GPS Ⅲ卫星观测数据质量分析. 现代导航. 2023(03): 162-171 . 百度学术其他类型引用(7)
-
下载:
百度学术
计量
- 文章访问数: 2326
- HTML全文浏览量: 1068
- PDF下载量: 113
- 被引次数: 10
下载:
