基于多流融合生成对抗网络的遥感图像融合方法

雷大江; 张策; 李智星; 吴渝

doi:10.11999/JEIT190273

基于多流融合生成对抗网络的遥感图像融合方法

doi: 10.11999/JEIT190273

雷大江^1, ,,
张策¹,
李智星¹,
吴渝²

1.
重庆邮电大学计算机科学与技术学院重庆 400065
2.
重庆邮电大学网络智能研究所重庆 400065

基金项目: 重庆市留学归国人员创新创业项目(cx2018120)，国家社会科学基金(17XFX013)，重庆市基础研究与前沿探索项目(cstc2015jcyjA40018)

详细信息

作者简介:
雷大江：男，1979年生，副教授，研究方向为机器学习

张策：男，1994年生，硕士生，研究方向为图像处理

李智星：男，1985年生，副教授，研究方向为自然语言处理

吴渝：女，1970年生，教授，研究方向为网络智能

通讯作者:
雷大江　leidj@cqupt.edu.cn

中图分类号: TN911.73; TP751
计量
- 文章访问数: 2425
- HTML全文浏览量: 1073
- PDF下载量: 153
- 被引次数: 21
出版历程
- 收稿日期: 2019-04-19
- 修回日期: 2020-02-21
- 网络出版日期: 2020-06-26
- 刊出日期: 2020-08-18

Remote Sensing Image Fusion Based on Generative Adversarial Network with Multi-stream Fusion Architecture

Dajiang LEI^{1
, ,},
Ce ZHANG¹,
Zhixing LI¹,
Yu WU²

1.
College of Computer, Chongqing University of Posts and Telecommunications, Chongqing 400065, China
2.
Institute of Web Intelligence, Chongqing University of Posts and Telecommunications, Chongqing 400065, China

Funds: The Chongqing Innovative Project of Overseas Study (cx2018120), The National Social Science Foundation of China (17XFX013), The Natural Science Foundation of Chongqing (cstc2015jcyjA40018)

摘要

摘要:
由于强大的高质量图像生成能力，生成对抗网络在图像融合和图像超分辨率等计算机视觉的研究中得到了广泛关注。目前基于生成对抗网络的遥感图像融合方法只使用网络学习图像之间的映射，缺乏对遥感图像中特有的全锐化领域知识的应用。该文提出一种融入全色图空间结构信息的优化生成对抗网络遥感图像融合方法。通过梯度算子提取全色图空间结构信息，将提取的特征同时加入判别器和具有多流融合架构的生成器，设计相应的优化目标和融合规则，从而提高融合图像的质量。结合WorldView-3卫星获取的图像进行实验，结果表明，所提方法能够生成高质量的融合图像，在主观视觉和客观评价指标上都优于大多先进的遥感图像融合方法。
- 遥感图像融合 /
- 计算机视觉 /
- 生成对抗网络 /
- 多流融合架构
Abstract:
The generative adversarial network receives extensive attention in the study of computer vision such as image fusion and image super-resolution, due to its strong ability of generating high quality images. At present, the remote sensing image fusion method based on generative adversarial network only learns the mapping between the images, and lacks the unique Pan-sharpening domain knowledge. This paper proposes a remote sensing image fusion method based on optimized generative adversarial network with the integration of the spatial structure information of panchromatic image. The proposed algorithm extracts the spatial structure information of the panchromatic image by the gradient operator. The extracted feature would be added to both the discriminator and the generator which uses a multi-stream fusion architecture. The corresponding optimization objective and fusion rules are then designed to improve the quality of the fused image. Experiments on images acquired by WorldView-3 satellites demonstrate that the proposed method can generate high quality fused images, which is better than the most of advanced remote sensing image fusion methods in both subjective visual and objective evaluation indicators.
- Remote sensing image fusion /
- Computer vision /
- Generative adversarial network /
- Multi-stream fusion architecture

HTML全文

1. 引言

随着技术的普及，如今遥感图像已经在众多的领域中得到应用，例如灾害预警，军事侦测，海洋气象预测以及土地资源分类等方面。由于遥感卫星硬件技术的限制^[1]，遥感卫星多光谱载荷获取的全色图像(Panchromatic image, Pan)的分辨率通常会比低分辨率的多光谱图像(Low Resolution Multi-Spectral image, LRMS)更高。实际应用中都是将两者融合产生高分辨率的多光谱图像(High Resolution Multi-Spectral image, HRMS)，这一融合过程也称作“全锐化”(Pan-sharpening)，由于高质量的多光谱遥感图像在各个领域的贡献越来越多，遥感图像融合算法的研究也一直保持着热度^[2]。

已有的遥感图像融合方法可以分为5类：分量替换(component substitution)，比较经典的算法有主成分分析(Principal Component Analysis, PCA)^[3], IHS(Intensity Hue Saturation, IHS) 变换^[4]以及各种变形，基于分量替换的融合算法计算效率高，但是容易产生光谱扭曲，目前基于光谱频带之间联系的分量替换(Band-Dependent Spatial-Detail, BDSD)算法^[5]可以取得较为显著效果；多分辨率分析(multi-resolution analysis)，例如小波变换(Additive Wavelet Luminance Proportional, AWLP)^[6]，经过多分辨率分解后，全色图像将丢失部分结构细节，融合图像通常空间信息不足；混合算法则是通过将两种或多种算法的优点结合以提高融合效果，如将IHS变换与Curvelet变换相结合的算法^[7]；基于模型的遥感图像融合方法包括贝叶斯模型、稀疏表示和变分模型，如Zeng等人^[8]使用凸优化的差分求解框架求解变分模型，模型求解的最大问题在于求解模型时算法的迭代收敛次数和模型中的超参很难精确设定^[9]。基于神经网络的遥感图像融合算法目前备受关注，如将LRMS图像和PAN图像高频输入的残差网络(deep Network architecture for Pan-sharpening, PanNet)^[10]，将水源，植物通过非线性辐射指数归一化的卷积神经网络(Pan-sharpening by Convolutional Neural Networks, PCNN)^[11]，基于生成对抗网络的PSGAN算法(Generative Adversarial Network for remote sensing image Pan-Sharpening, PSGAN)^[12]。

目前利用神经网络来进行遥感图像融合的算法主要存在两个问题，一是如文献[11]和文献[12]，都是直接求解输入图像到输出图像的映射，本质上都是通过最小化融合图像和参考图像之间的欧几里德距离来训练网络，这些算法只是将遥感图像的融合过程看成一个黑盒深度学习问题；而如文献[10]，尽管提出了将LRMS图像转换到高频域来训练网络参数以使网络更多地关注PAN图像的空间结构，但是这样在训练完成后直接加上LRMS上采样后的图像作为光谱信息的补充会导致光谱信息的损失和结构信息的改变。本文针对上述问题提出了一种基于生成对抗网络^[13]的高质量遥感图像融合方法：首先根据变分模型的先验假设，将PAN图像通过梯度算子提取结构信息，全色图像关键的结构信息将以稀疏的形式表现，生成对抗网络生成器在训练网络参数时使用上采样的LRMS图像及PAN图像在垂直和水平方向的梯度纹理信息图进行融合。接着在目标函数的设计中不再单一最小化融合图像和参考图像的差距，而是根据先验信息的假设设计能量函数并且改进生成器的约束条件，使得生成图像能最大化保留LRMS图像的光谱信息并融入PAN图像的结构信息。随后为了适应遥感图像融合多流输入的情况，将LRMS图像和PAN图像的结构信息同时作为判别器的判别参考。最后通过实验证明所提方法在客观和视觉上与其他遥感融合算法对比都有提升。

2. 算法

2.1 问题描述及网络框架

全锐化主要是为了从LRMS图像和PAN图像估计出全锐化的HRMS图像，输出的融合图像应该与HRMS图像在光谱细节和结构细节上足够接近，用 ${{P}}\in {\mathbb{R}}^{H\times W}$ 表示PAN图像，定义LRMS图像 ${{Y}}\in {\mathbb{R}}^{\left(H/4\right)\times \left(W/4\right)\times B}$ ， ${{Y}}\uparrow$ 表示上采样后的LRMS图像，其中 $b=1,2,··· ,B$ 表示LRMS图像的通道数， ${{X}}_{b}= \left({{X}}_{1},{{X}}_{2},···,{{X}}_{B}\right)$ 表示融合图像， ${\widehat{{X}}}_{b}=\left({\widehat{{X}}}_{1},{\widehat{{X}}}_{2},··· , {\widehat{{X}}}_{B}\right)$ 表示真实的HRMS图像，两者大小一致为 ${\mathbb{R}}^{H\times W\times B}$ 。 $\nabla =({\nabla }_{\rm h},{\nabla }_{\rm v})$ 分别表示在水平和垂直方向的梯度算子， ${\nabla }_{\rm h}{{P}},\,{\nabla }_{\rm v}{{P}}$ 分别表示PAN图像在水平和垂直方向上的梯度信息，其大小和PAN图像一样。融合过程的目标函数的一般形式为

${{X}}=f\left({{Y}},{\nabla }_{\rm h}{{P}},{\nabla }_{\rm v}{{P}};\varTheta \right)$

(1)

其中 $f\left( \cdot \right)$ 表示将 ${{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}}$ 作为输入，输出为融合图像 ${{X}}$ 的全锐化模型， $\varTheta$ 表示模型中的参数集，在式(1)中可以将 $f\left( \cdot \right)$ 可以看作一个从 $\left( {{{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}}} \right)$ 到的 ${{X}}$ 的映射函数。定义一个生成器G，它将联合分布 ${p_{\rm d}}\left( {{{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}}} \right)$ 映射到目标分布 ${p_{\rm r}}\left( {{{\hat X}}} \right)$ ，并且通过判别器D来估计样本是来自训练数据还是来自生成模型G的概率。生成器G和判别器D之间通过互相对抗来产生无法与参考图像 ${{\hat X}}$ 区分的全锐化图像 ${{X}}$ ，这个过程可以表示为式(2)的最大最小化问题

$\begin{split} & \mathop {\min }\limits_{{\varTheta _G}} \mathop {\max }\limits_{{\varTheta _D}} {{\mathbb{E}}_{\left( {{{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}},{{\hat X}}} \right)\sim {p_{\rm d}}\left( {{{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}},{{\hat X}}} \right)}}\\ & \quad \left[ {\lg {D_{{\varTheta _D}}}\left( {{{M}},{{Z}}} \right)} \right]\\ & \quad + {{\mathbb{E}}_{\left( {{{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}}} \right)\sim {p_{\rm data}}\left( {{{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}}} \right),{{X}}\sim {p_{\rm r}}\left( {{X}} \right)}}\\ & \quad \left[ {\lg \left( {1 - {D_{{\varTheta _D}}}\left( {{{M}},{{F}}} \right)} \right)} \right] \end{split}$

(2)

其中

$\begin{split} & {{M}} = \left[ {{{Y}} \uparrow ;{\nabla _{\rm h}}{{P}};{\nabla _{\rm v}}{{P}}} \right],{{Z}} = \left[ {{\hat X}};{\nabla _{\rm h}}\mathop \sum \limits_{b = 1}^B {\omega _b}{{{{\hat X}}}_b}; \right.\\ & \left. {\nabla _{\rm v}}\mathop \sum \limits_{b = 1}^B {\omega _b}{{{{\hat X}}}_b} \right],{{F}} = \Biggr[ {G_{{\varTheta _G}}}\left( {{{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}}} \right); \\ & {\nabla _{\rm h}}\mathop \sum \limits_{b = 1}^B {\omega _b}{G_{{\varTheta _G}}}{{\left( {{{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}}} \right)}_b};\\ & \left.{\nabla _{\rm v}}\mathop \sum \limits_{b = 1}^B {\omega _b}{G_{{\varTheta _G}}}{{\left( {{{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}}} \right)}_b} \right] \end{split}$

$\left[ {{{A}};{{B}};{{C}}} \right]$ 表示将3个张量在通道层上用Concat函数连接起来。 ${\omega }_{b}$ 表示不同卫星传感器通过MTF函数^[14]得到的相关权重系数。根据以上分析，本文从一个新的角度提出了一种新的生成对抗网络融合框架，如图1所示，将PAN图像的结构信息用梯度算子提取出来，并分别与LRMS图像上采样后的图像拼接在一起，共同作为输入数据输入生成器，将得到的融合图像和样本图像输入判别器，使得生成器和判别器之间建立对抗性游戏，融合图像将逐渐获得各个样本图像的细节信息。在训练阶段，一旦生成器生成判别器无法判别的融合样本即是预期的融合图像。在训练生成器和判别器的过程中，生成器的损失函数包含两个部分

图 1 用于低分辨率的多光谱图像与全色图像梯度信息融合的生成对抗网络框架

下载: 全尺寸图片幻灯片

${\cal{L}}\left(G\right)={{\cal{L}}}_{\rm adv}+{\lambda {\cal{L}}}_{\rm c}$

(3)

其中 $\lambda$ 是一个超参数用以平衡 ${{\cal{L}}}_{\rm adv}$ 和 ${{\cal{L}}}_{\rm c}$ , ${{\cal{L}}}_{\rm adv}$ 表示在生成器和判别器之间的对抗损失

${{\cal{L}}}_{\rm adv}=\frac{1}{N}\sum\limits_{n=1}^{N}\left[-\lg{D}_{{\varTheta }_{D}}\left({{M}},{{F}}\right)\right]$

(4)

其中 $N$ 表示训练样本的数量。另一方面，参考变分模型能量函数的设计，假设融合图像具有与参考的HRMS图像一致的光谱信息，与PAN图像一致的结构信息，定义 ${{\cal{L}}}_{\rm c}$ 用于最小化融合图像和真实图像及全色图像结构信息的差距

$\begin{split} {{\cal{L}}_{\rm c}} =\,& \frac{1}{N}\mathop \sum \limits_{n = 1}^N \left[ {{{\left\| {{{\hat X}} - {G_{{\varTheta _G}}}\left( {{{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}}} \right)} \right\|}_1}} \right.\\ & + \left. \frac{\lambda }{\xi }\left( {{\left\| {{\nabla _h}{{P}} - {\nabla _{\rm h}}\mathop \sum \limits_{b = 1}^B {\omega _b}{G_{{\varTheta _G}}}{{\left( {{{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}}} \right)}_b}} \right\|}_1} \right.\right.\\ & \left.\left.+ {{\left\| {{\nabla _{\rm v}}{{P}} - {\nabla _{\rm v}}\mathop \sum \limits_{b = 1}^B {\omega _b}{G_{{\varTheta _G}}}{{\left( {{{Y}},{\nabla _{\rm h}}{{P}},{\nabla _{\rm v}}{{P}}} \right)}_b}} \right\|}_1} \right) \right]\\ \end{split}$

(5)

式中第1部分旨在使得融合图像和真实的HRMS图像足够接近，保留光谱信息；第2部分旨在保留全色图像的结构信息， $\xi$ 是一个控制两个约束部分之间权衡的正则参数。判别器用于调整生成器中的融合规则，其具体的损失函数为

$\begin{split} {\cal{L}}\left(D\right)=\,& \frac{1}{N}\sum\limits_{n=1}^{N}\left[\lg\left({1-D}_{{\varTheta }_{D}}\left({{M}},{{F}}\right)\right)\right]\\ & +\frac{1}{N}\sum\limits_{n=1}^{N}\left[\lg{D}_{{\varTheta }_{D}}\left({{M}},{{Z}}\right)\right] \end{split}$

(6)

2.2 生成器构造

根据算法以及网络框架的设计，本文设计了一种多流融合框架，具体体系结构如图2(a)所示，不同于传统的深度学习算法，因为引入了梯度信息的约束，梯度算子的作用可以看作是特征的提取，因此本文的融合不再使用像素级的融合规则，而是在特征域中完成，并且特征域上的融合会减少细节的丢失。生成器将LRMS图像和其对应的全色图像作为输入，LRMS图像会先上采样到与全色图像相匹配的大小，全色图像则通过水平和垂直的梯度算子得到水平和垂直的结构信息图。为了充分获取光谱和空间信息，与基础的卷积神经网络将多个需要融合的图像直接拼接作为输入不同，在网络底层用子网络分别对MS和两个方向的结构信息图提取分层特征，针对水平和垂直两个方向的梯度信息，本文实现了一种新的网络架构，分别将水平和垂直方向的结构信息与LRMS图像合并在一起，在充分提取水平和垂直方向的特征后，再将两者通过映射联合特征。为了保留完善的特征，在网络设计中没有使用池化层而是使用步长为2的卷积层进行下采样。同时网络中将底层的特征通过跳过连接的操作^[15]将细节补充到高层，最后通过转置卷积解码重建所需的融合图像。详细的架构和卷积参数展示在图2中。同时，这一多流融合框架可以通过增加子网络的方式扩展更多的特征输入，比如用归一化差值处理提取出的水体信息(NDWI)和植被信息(NDVI)等。

图 2 多流融合框架详细的结构

下载: 全尺寸图片幻灯片

2.3 判别器构造

本文设计的判别器网络结构是一个简单的6层卷积神经网络，详细的架构如图2(b)所示。判别器的本质是一个分类器，在第1层先对LRMS图像和全色图像在两个方向的结构信息提取特征作为参照，再使用同样的卷积核对融合图像和融合图像两个方向的结构信息提取特征，然后通过映射将两者特征联合进行合并。从第2层到第5层使用大小为 $3\times 3$ 的，步长为2的卷积核提取特征，将提取的特征图进行分类，除了最后一层，其余卷积层都使用Leaky ReLU激活，在最后一层使用sigmoid函数判断图像是真实的还是全锐化融合的。

3. 实验结果与分析

3.1 实验设置

为了验证本文算法的有效性，本节将展示一些实验结果来说明。本文主要选取具有代表性的包含城市和道路信息并且能提供8段光谱波段的WorldView-3卫星数据集，相对而言，其他卫星数据只针对了部分特征，代表性不如WorldView-3卫星。WorldView-3卫星获取的多光谱图像分辨率为1.24 m，全色图像分辨率为0.31 m。WorldView-3卫星的多光谱图像提供了可见光谱(蓝色、绿色、红色)、海岸带、黄色、红边和两组近红外光谱共8个波段。

实验将包含仿真实验和真实数据实验两部分。将提出的方法与几种广泛使用的技术和神经网络算法进行比较，包括：ATWT-M3, BDSD, PCNN, PanNet和PSGAN。对于每种方法的参数都会选择相应参考文献中作者建议的设置，使每种方法取得最佳效果。所有深度学习的实验均是在具有Intel Xeon Gold 6148 CPU 2.40 GHz 和NVIDIA Tesla V100-SXM2-16GB的GPU服务器上完成的。本文的算法使用Tensorflow框架实现，损失函数的优化求解器使用Adam算法，批量大小设置为32，初始学习率设为0.0002, Adam算法动量项设置为0.05，两个权重超参数 $\lambda$ 和 $\xi$ 分别为100和20。针对8通道数据集的训练时间大概在10 h左右，每次测试进行2000×3000的遥感图像融合生成花费时间在1.2 s到1.5 s之间。

3.2 仿真实验

仿真实验中利用已有的多光谱图像作为参考，将全色图像下采样到和多光谱图像一样的尺寸，将多光谱图像下采样同等倍数作为低分辨率的LRMS图像，整体在缩小的比例上进行融合，得到的融合结果与已有的多光谱图像尺寸一致并测量相关指标。为了直观判断融合图像的质量，首先通过可见光谱的多光谱图像进行主观视觉观察判断，除了具体展示每种方法的融合图像，还将展示每种方法与真实图像对比的残差图。在客观评价上选取的指标包括：广义图像质量指标(UIQI)向n波段扩展( ${Q}_{n}$ )^[16]，相对整体维数综合误差(Erreur Relative Global Adimensionnelle de Synthèse, ERGAS)^[17]，光谱角度映射(Spectral Angle Mapper, SAM)^[18]，空间相关系数(Spatial Correlation Coefficient, SCC)^[19]。所有需要上采样的算法融合时都采用双三次样条插值算法，将LRMS图像上采样到 $512\times 512$ 的大小来进行仿真实验。由于篇幅限制，仅各展示Worldview-3卫星数据集一组融合结果，实验结果如图3和图4所示。

图 3 基于WorldView-3卫星数据集的仿真实验融合结果

下载: 全尺寸图片幻灯片

图 4 图3中各方法与真实图像对比的残差图

下载: 全尺寸图片幻灯片

如图3所示是基于WorldView-3卫星的实测图像及各种算法仿真实验的融合结果，其中HRMS图像和PAN图像分别对应于图3(a)和图3(b)，其分辨率大小为 $512\times 512$ , LRMS图像分辨率大小为 $128\times 128$ 位于图3(a)的左上角，各种算法的融合结果直观图像展示对应图3(c)—图3(h)。从图3能直接看出在空间结构的保存上神经网络的4种算法更加优异，树枝阴影等细节部分光谱信息也更加完整；BDSD算法在部分深色区域如停车场处与原图相比有一定的空间结构信息丢失；ATWT-M3直观上建筑物的空间结构是还原了，但是有过度锐化的表现。图4(a)—图4(f)分别展示了各算法相对真实多光谱图像的残差图，理论上融合效果越好则残差图包含的纹理越少。从图4也能看出本文的算法相较于其他算法与真实多光谱图像更为接近，表明本文的算法在仿真实验中取得了最优的融合效果。更多细节的对比将用客观的指标来展示。

3.3 真实数据实验

真实数据实验则是通过仿真实验训练好的参数直接在原有数据集的尺寸上进行融合，由于真实数据实验的融合图像分辨率较高，为了充分展示融合效果，本文只展示了神经网络的4种算法在Worldview-3数据集上的融合结果，并且将融合图像的部分细节区域进行放大额外展示出来。在客观评价上，不同于仿真实验中用初始的多光谱图像作为参考图像来评价融合图像的质量，在真实数据实验中，只有真实的全色图像和初始的多光谱图像，没有真实的参考图像来计算融合图像的差距，所以在真实数据实验中使用无参考质量评价指标(Quality with No Reference index, QNR) ^[20]来进行评价，QNR中包含评价光谱细节损失的指标 ${D}_{\lambda }$ 和评价空间细节损失的指标 ${D}_{s}$ 。

如图5所示，图5(a)为LRMS图像，其大小为 $256\times 128$ ，图5(b)为PAN图像，其大小为 $1024\times 512$ ，图5(c)—图5(h)分别表示基于神经网络的4中算法的测试结果。图6则是将图5中大小为 $256\times 256$ 的部分区域放大展示。从图5可以看出本文的算法相较于其他3种算法能更大程度地减少光谱的扭曲，在结构纹理信息的保存上也更加充分。其次观察放大后的图像，本文算法在细节的部分也能取得更优的融合效果。

图 5 基于WorldView-3卫星的真实数据融合结果

下载: 全尺寸图片幻灯片

图 6 WorldView-3卫星真实数据融合结果关键局部区域

下载: 全尺寸图片幻灯片

如表1所示，与图像直观效果相应，仿真实验中ATWT-M3算法和BDSD算法图像质量指标 ${Q}_{n}$ 较差，神经网络的算法在仿真实验中，各项指标上都大幅度优于传统算法，同时本文算法有着良好的表现，这与融合图像整体模糊的目视结果一致。如表2所示，在Worldview-3卫星数据集的真实数据实验中，ATWT-M3算法在光谱信息损失的指标 ${D}_{\lambda }$ 上普遍表现不佳，BDSD算法则取得最优，神经网络算法都比较优秀，本文算法由于利用了梯度算子提取PAN图像的结构信息能更好地保存空间结构信息，相应的空间结构信息损失的指标 ${D}_{s}$ 表现最佳。综合的图像质量QNR指标也是远优于其他算法，结合仿真实验中的各项指标，充分说明了本文提出的创新点在遥感图像融合中起到了正向的作用。

表 1 基于WorldView-3卫星的仿真实验融合结果评价

融合方法	SAM	ERGAS	${Q}_{8}$	SCC
ATWT-M3	8.0478	6.5208	0.7137	0.7717
BDSD	7.6455	6.4314	0.8074	0.8834
PanNet	5.8690	4.8296	0.8606	0.9080
PCNN	5.5930	4.5703	0.8968	0.9332
PSGAN	5.5657	4.1941	0.9000	0.9373
本文算法	5.4570	4.2200	0.9053	0.9404
参考值	0	0	1	1

下载: 导出CSV

| 显示表格

表 2 基于WorldView-3卫星的真实数据实验融合结果评价

融合方法	${D}_{\lambda }$	${D}_{s}$	QNR
ATWT-M3	0.0750	0.1099	0.8233
BDSD	0.0528	0.0617	0.8888
PanNet	0.0653	0.0509	0.8871
PCNN	0.0642	0.0486	0.8903
PSGAN	0.0612	0.0452	0.8964
本文算法	0.0554	0.0412	0.9057
参考值	0	0	1

下载: 导出CSV

| 显示表格

4. 结束语

本文提出了一种融入全色图空间结构信息的高质量遥感图像融合方法，首先用梯度算子提取全色图像的空间信息，将其加入到生成对抗网络的图像融合步骤，然后在原有的生成对抗网络算法框架中改进生成器与判别器的网络结构，使得其更符合遥感图像领域的原有知识。随后考虑到梯度算子的引入，参考传统遥感图像融合的变分模型的优化函数，增加相应的约束条件改进生成对抗网络的目标函数，最后通过生成器与判别器之间的对抗游戏优化融合结果。在WorldView-3卫星得到的遥感图像与其他多种类融合算法进行仿真对比实验和真实数据的对比实验；同时对全色图结构信息和多光谱图像光谱信息在求解时分别所占比重进行了系统深入的定量分析，在增加了梯度信息项的约束后，无论权重参数取值为多少，算法都是有提升的。通过对融合图像的对照及指标结果的分析，结果表明，本文方法在主观视觉和客观评价两个方面都能超越大多数先进的遥感图像融合算法。

图 1 用于低分辨率的多光谱图像与全色图像梯度信息融合的生成对抗网络框架

下载: 全尺寸图片幻灯片

图 2 多流融合框架详细的结构

下载: 全尺寸图片幻灯片

图 3 基于WorldView-3卫星数据集的仿真实验融合结果

下载: 全尺寸图片幻灯片

图 4 图3中各方法与真实图像对比的残差图

下载: 全尺寸图片幻灯片

图 5 基于WorldView-3卫星的真实数据融合结果

下载: 全尺寸图片幻灯片

图 6 WorldView-3卫星真实数据融合结果关键局部区域

下载: 全尺寸图片幻灯片

表 1 基于WorldView-3卫星的仿真实验融合结果评价

融合方法	SAM	ERGAS	${Q}_{8}$	SCC
ATWT-M3	8.0478	6.5208	0.7137	0.7717
BDSD	7.6455	6.4314	0.8074	0.8834
PanNet	5.8690	4.8296	0.8606	0.9080
PCNN	5.5930	4.5703	0.8968	0.9332
PSGAN	5.5657	4.1941	0.9000	0.9373
本文算法	5.4570	4.2200	0.9053	0.9404
参考值	0	0	1	1

下载: 导出CSV

表 2 基于WorldView-3卫星的真实数据实验融合结果评价

融合方法	${D}_{\lambda }$	${D}_{s}$	QNR
ATWT-M3	0.0750	0.1099	0.8233
BDSD	0.0528	0.0617	0.8888
PanNet	0.0653	0.0509	0.8871
PCNN	0.0642	0.0486	0.8903
PSGAN	0.0612	0.0452	0.8964
本文算法	0.0554	0.0412	0.9057
参考值	0	0	1

下载: 导出CSV

参考文献(20)

THOMAS C, RANCHIN T, WALD L, et al. Synthesis of multispectral images to high spatial resolution: A critical review of fusion methods based on remote sensing physics[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(5): 1301–1312. doi: 10.1109/TGRS.2007.912448

LIU Pengfei, XIAO Liang, ZHANG Jun, et al. Spatial-hessian-feature-guided variational model for pan-sharpening[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(4): 2235–2253. doi: 10.1109/TGRS.2015.2497966

纪峰, 李泽仁, 常霞, 等. 基于PCA和NSCT变换的遥感图像融合方法[J]. 图学学报, 2017, 38(2): 247–252. doi: 10.11996/JG.j.2095-302X.2017020247

JI Feng, LI Zeren, CHANG Xia, et al. Remote sensing image fusion method based on PCA and NSCT transform[J]. Journal of Graphics, 2017, 38(2): 247–252. doi: 10.11996/JG.j.2095-302X.2017020247

RAHMANI S, STRAIT M, MERKURJEV D, et al. An adaptive IHS Pan-sharpening method[J]. IEEE Geoscience and Remote Sensing Letters, 2010, 7(4): 746–750. doi: 10.1109/LGRS.2010.2046715

GARZELLI A, NENCINI F, and CAPOBIANCO L. Optimal MMSE Pan sharpening of very high resolution multispectral images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(1): 228–236. doi: 10.1109/TGRS.2007.907604

RANCHIN T and WALD L. Fusion of high spatial and spectral resolution images: The ARSIS concept and its implementation[J]. Photogrammetric Engineering and Remote Sensing, 2000, 66(1): 49–61.

肖化超, 周诠, 郑小松. 基于IHS变换和Curvelet变换的卫星遥感图像融合方法[J]. 华南理工大学学报: 自然科学版, 2016, 44(1): 58–64. doi: 10.3969/j.issn.1000-565X.2016.01.009

XIAO Huachao, ZHOU Quan, and ZHENG Xiaosong. A fusion method of satellite remote sensing image based on IHS transform and Curvelet transform[J]. Journal of South China University of Technology:Natural Science Edition, 2016, 44(1): 58–64. doi: 10.3969/j.issn.1000-565X.2016.01.009

ZENG Delu, HU Yuwen, HUANG Yue, et al. Pan-sharpening with structural consistency and ℓ_1/2 gradient prior[J]. Remote Sensing Letters, 2016, 7(12): 1170–1179. doi: 10.1080/2150704X.2016.1222098

LIU Yu, CHEN Xun, WANG Zengfu, et al. Deep learning for pixel-level image fusion: Recent advances and future prospects[J]. Information Fusion, 2018, 42: 158–173. doi: 10.1016/J.INFFUS.2017.10.007

YANG Junfeng, FU Xueyang, HU Yuwen, et al. PanNet: A deep network architecture for pan-sharpening[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 1753–1761. doi: 10.1109/ICCV.2017.193.

MASI G, COZZOLINO D, VERDOLIVA L, et al. Pansharpening by convolutional neural networks[J]. Remote Sensing, 2016, 8(7): 594. doi: 10.3390/rs8070594

LIU Xiangyu, WANG Yunhong, and LIU Qingjie. PSGAN: A generative adversarial network for remote sensing image Pan-sharpening[C]. The 25th IEEE International Conference on Image Processing, Athens, Greece, 2018: 873–877. doi: 10.1109/ICIP.2018.8451049.

GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]. The 27th International Conference on Neural Information Processing Systems, Cambridge, USA, 2014: 2672–2680.

AIAZZI B, ALPARONE L, BARONTI S, et al. MTF-tailored multiscale fusion of high-resolution MS and Pan imagery[J]. Photogrammetric Engineering & Remote Sensing, 2006, 72(5): 591–596. doi: 10.14358/PERS.72.5.591

RONNEBERGER O, FISCHER P, and BROX T. U-net: Convolutional networks for biomedical image segmentation[C]. The 18th International Conference on Medical Image Computing and Computer-Assisted Intervention, Munich, Germany, 2015: 234–241. doi: 10.1007/978-3-319-24574-4_28.

GARZELLI A and NENCINI F. Hypercomplex quality assessment of multi/hyperspectral images[J]. IEEE Geoscience and Remote Sensing Letters, 2009, 6(4): 662–665. doi: 10.1109/LGRS.2009.2022650

WALD L. Data Fusion: Definitions and Architectures: Fusion of Images of Different Spatial Resolutions[M]. Paris, France: Ecole des Mines de Paris, 2002: 165–189.

VIVONE G, ALPARONE L, CHANUSSOT J, et al. A critical comparison among pansharpening algorithms[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(5): 2565–2586. doi: 10.1109/TGRS.2014.2361734

张新曼, 韩九强. 基于视觉特性的多尺度对比度塔图像融合及性能评价[J]. 西安交通大学学报, 2004, 38(4): 380–383. doi: 10.3321/j.issn.0253-987X.2004.04.013

ZHANG Xinman and HAN Jiuqiang. Image fusion of multiscale contrast pyramid-Based vision feature and its performance evaluation[J]. Journal of Xi’an Jiaotong University, 2004, 38(4): 380–383. doi: 10.3321/j.issn.0253-987X.2004.04.013

ALPARONE L, AIAZZI B, BARONTI S, et al. Multispectral and panchromatic data fusion assessment without reference[J]. Photogrammetric Engineering & Remote Sensing, 2008, 74(2): 193–200. doi: 10.14358/PERS.74.2.193

施引文献

期刊类型引用(10)

1.	郭保收. 基于GAN的广播通讯过程多链路信息融合方法. 信息技术. 2023(03): 70-74+79 . 百度学术
2.	师博，王福柱. 警务实战训练虚拟动态场景构建仿真. 计算机仿真. 2023(03): 1-4+134 . 百度学术
3.	吴燕燕，王亚杰，谢延延. 基于多尺度残差注意力网络的全色锐化方法. 重庆理工大学学报(自然科学). 2023(08): 222-230 . 百度学术
4.	雷大江，杜加浩，张莉萍，李伟生. 联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法. 电子与信息学报. 2022(01): 237-244 . 本站查看
5.	裘星，尹仕红，张之涵，谢智伟，江敏丰，郭兴林，杨建明，郑建勇. 基于改进生成对抗网络的非侵入式负荷预测样本不均衡的改善方法. 电器与能效管理技术. 2022(03): 23-29+38 . 百度学术
6.	于宁，卢海军，邓琳，乔雪. 基于遥感数据的城乡路网空间演化预测仿真. 计算机仿真. 2022(04): 110-113 . 百度学术
7.	张碧仙. 基于SDN技术的光纤网络与公网融合方法研究. 激光杂志. 2022(05): 111-115 . 百度学术
8.	陈麒，张杰. 基于多光谱图像配准融合的机器人巡检平台. 计算技术与自动化. 2022(02): 118-124 . 百度学术
9.	李妹燕. 基于深度学习网络的红外遥感图像多目标检测. 激光杂志. 2021(11): 107-111 . 百度学术
10.	王晶. 计算机技术在新媒体中的应用和发展分析. 记者观察. 2020(33): 108-109 . 百度学术

其他类型引用(11)

资源附件(0)

访问统计

图(6) / 表(2)

计量

文章访问数: 2425
HTML全文浏览量: 1073
PDF下载量: 153
被引次数: 21

1. 引言
2. 算法
2.1 问题描述及网络框架
2.2 生成器构造
2.3 判别器构造
3. 实验结果与分析
3.1 实验设置
3.2 仿真实验
3.3 真实数据实验
4. 结束语

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于多流融合生成对抗网络的遥感图像融合方法

doi: 10.11999/JEIT190273

作者简介:
雷大江：男，1979年生，副教授，研究方向为机器学习

张策：男，1994年生，硕士生，研究方向为图像处理

李智星：男，1985年生，副教授，研究方向为自然语言处理

吴渝：女，1970年生，教授，研究方向为网络智能

通讯作者:
雷大江　leidj@cqupt.edu.cn

计量

Remote Sensing Image Fusion Based on Generative Adversarial Network with Multi-stream Fusion Architecture

1. 引言

2. 算法

2.1 问题描述及网络框架

2.2 生成器构造

2.3 判别器构造

3. 实验结果与分析

3.1 实验设置

3.2 仿真实验

3.3 真实数据实验

4. 结束语

期刊类型引用(10)

其他类型引用(11)

计量

目录

1. 引言

2. 算法

2.1 问题描述及网络框架

2.2 生成器构造

2.3 判别器构造

3. 实验结果与分析

3.1 实验设置

3.2 仿真实验

3.3 真实数据实验

4. 结束语

留言板

基于多流融合生成对抗网络的遥感图像融合方法

doi: 10.11999/JEIT190273

作者简介: 雷大江：男，1979年生，副教授，研究方向为机器学习 张策：男，1994年生，硕士生，研究方向为图像处理 李智星：男，1985年生，副教授，研究方向为自然语言处理 吴渝：女，1970年生，教授，研究方向为网络智能

通讯作者: 雷大江 leidj@cqupt.edu.cn

计量

出版历程

Remote Sensing Image Fusion Based on Generative Adversarial Network with Multi-stream Fusion Architecture

1. 引言

2. 算法

2.1 问题描述及网络框架

2.2 生成器构造

2.3 判别器构造

3. 实验结果与分析

3.1 实验设置

3.2 仿真实验

3.3 真实数据实验

4. 结束语

期刊类型引用(10)

其他类型引用(11)

计量

出版历程

目录

1. 引言

2. 算法

2.1 问题描述及网络框架

2.2 生成器构造

2.3 判别器构造

3. 实验结果与分析

3.1 实验设置

3.2 仿真实验

3.3 真实数据实验

4. 结束语

作者简介:
雷大江：男，1979年生，副教授，研究方向为机器学习

张策：男，1994年生，硕士生，研究方向为图像处理

李智星：男，1985年生，副教授，研究方向为自然语言处理

吴渝：女，1970年生，教授，研究方向为网络智能

通讯作者:
雷大江　leidj@cqupt.edu.cn