基于一致性生成对抗的遥感多时相建筑物变化检测数据对生成技术

陈昊; 周光尧; 王乾通; 高斌; 王文志; 唐皓

doi:10.11999/JEIT240720

基于一致性生成对抗的遥感多时相建筑物变化检测数据对生成技术

doi: 10.11999/JEIT240720

陈昊¹,
周光尧^2, ,,
王乾通²,
高斌²,
王文志²,
唐皓²

1.
北京跟踪与通信技术研究所北京 100094
2.
中国科学院空天信息创新研究院北京 100094

详细信息

作者简介:
陈昊：男，副研究员，研究方向为遥感图像处理，变化检测

周光尧：男，研究员，研究方向为遥感信息处理系统，遥感图像解译

王乾通：男，助理研究员，研究方向为光学遥感影像解译

高斌：男，助理研究员，研究方向为遥感信息处理系统

王文志：男，助理研究员，研究方向为遥感信息处理系统，图像解译，多源信息融合处理

唐皓：男，高级工程师，研究方向为遥感信息处理系统，高光谱图像处理，目标智能解译

通讯作者:
周光尧　zhougy@aircas.an.cn

中图分类号: TN991.73; TP751.2
计量
- 文章访问数: 120
- HTML全文浏览量: 58
- PDF下载量: 17
- 被引次数: 0
出版历程
- 收稿日期: 2024-08-19
- 修回日期: 2025-01-16
- 网络出版日期: 2025-02-24

Building Change Detection Data Generation Technology for Multi-temporal Remote Sensing Imagery Based on Consistent Generative Adversarial

1.
Beijing Institute of Tracking and Communication Technology, Beijing 100094, China
2.
Aerospace Information Innovation Research Institute, Chinese Academy of Sciences, Beijing 100094, China

摘要

摘要: 虽然目前可以获取海量的多时相遥感数据，但是由于建筑物变化时间周期过长，难以获取充足的建筑物变化数据对来支撑数据驱动的深度学习变化检测模型构建，呈现多时相遥感建筑物变化检测处理精度差的问题。因此，为提升变化检测算法模型处理性能，该文从建筑物变化检测训练数据对生成开展研究，基于一致性对抗生成机理提出了多时相建筑物变化检测数据对生成网络(BAG-GAN)。其主要在多时相图像生成过程中采用对抗一致性损失函数约束，在保证生成图像和输入图像关联性的同时，保证了生成模型的多模态输出能力。此外，还通过重组原数据集中的变化标签和多时相遥感图像来进一步提升建筑物变化信息生成的多样性，解决了训练数据中有效建筑物变化信息占比少的问题，为变化监测算法模型的充分训练奠定了基础。最后，在LEVIR-CD和WHU-CD建筑物变化检测数据集上进行了数据生成实验，并使用生成扩充后的数据集训练了多种较为经典的遥感图像变化检测模型，实验结果表明该文提出的BAG-GAN多时相建筑物变化检测数据对生成网络及相应的生成策略可以有效提升变化检测模型的处理精度。
- 多时相遥感 /
- 建筑物变化检测 /
- 对抗生成网络 /
- 数据对生成
Abstract: Objective Building change detection is an essential task in urban planning, disaster management, environmental monitoring, and other critical applications. Advances in multi-temporal remote sensing technology have provided vast amounts of data, enabling the monitoring of changes over large geographic areas and extended time frames. Despite this, significant challenges persist, particularly in acquiring sufficient labeled data pairs for training deep learning models. Building changes are typically characterized by long temporal cycles, leading to a scarcity of annotated data that is critical for training data-driven deep learning models. This scarcity severely limits the models’ capacity to generalize and achieve high accuracy, particularly in complex and diverse scenarios. The performance of existing methods often suffers from poor generalization due to insufficient training data, reducing their applicability to practical tasks. To address these challenges, this study proposes a novel solution: the development of a multi-temporal building change detection data pair generation network, referred to as BAG-GAN. This network leverages a consistency adversarial generation mechanism to create diverse and semantically consistent data pairs. The aim is to enrich training datasets, thereby enhancing the learning capacity of deep learning models for detecting building changes. By addressing the bottleneck of insufficient labeled data, BAG-GAN provides a new pathway for improving the accuracy and robustness of multi-temporal building change detection. Methods BAG-GAN integrates Generative Adversarial Networks (GANs) with a specially designed consistency constraint mechanism, tailored for the generation of data pairs in multi-temporal building change detection tasks. The core innovation of this network lies in its adversarial consistency loss function. This loss function ensures that the generated images maintain semantic consistency with the corresponding input images while reflecting realistic and diverse changes. The consistency constraint is crucial for preserving the integrity of the generated data and ensuring its relevance to real-world scenarios. The network is composed of two main components: a generator and a discriminator, which work in tandem through an adversarial learning process. The generator aims to produce realistic and semantically consistent multi-temporal image pairs, while the discriminator evaluates the quality of the generated data, guiding the generator to improve iteratively. Additionally, BAG-GAN is equipped with multimodal output capabilities, enabling the generation of diverse building change data pairs. This diversity enhances the robustness of deep learning models by exposing them to a wider range of scenarios during training. To address the issue of limited training data, the study incorporates a data augmentation strategy. Original datasets, such as LEVIR-CD and WHU-CD, were reorganized by combining change labels with multi-temporal remote sensing images to create new synthetic datasets. These augmented datasets, along with the data generated by BAG-GAN, were used to train and evaluate several widely recognized deep learning models, including FC-EF, FC-Siam-Conc, and others. Comparative experiments were conducted to assess the effectiveness of BAG-GAN and its contribution to improving model performance in multi-temporal building change detection. Results and Discussions The experimental results demonstrate that BAG-GAN effectively addresses the challenges of insufficient labeled data in building change detection tasks. Models trained on the augmented datasets, which included BAG-GAN-generated data, achieved significant improvements in detection accuracy and robustness. For instance, classic models like FC-EF and FC-Siam-Conc showed substantial performance gains when trained on augmented datasets compared to their performance on the original datasets. These improvements validate the effectiveness of BAG-GAN in generating high-quality training data. BAG-GAN also excelled in producing diverse and multimodal building change data pairs Visual comparisons between the generated data and the original datasets highlighted the network’s ability to create realistic and varied data, effectively enhancing the diversity of training datasets. This diversity is critical for addressing the imbalance in existing datasets, where effective building change information is underrepresented. By increasing the proportion of relevant change information in the training data, BAG-GAN improves the learning conditions for deep learning models, enabling them to better generalize across different scenarios. Further analysis revealed that BAG-GAN significantly enhances the ability of detection models to localize changes and recover fine-grained details of building modifications. This is particularly evident in complex scenarios involving subtle or small-scale changes. The adversarial consistency loss function played a pivotal role in ensuring the semantic relevance of the generated data, making BAG-GAN a reliable tool for data augmentation in remote sensing applications. Moreover, the network's ability to generate data pairs with high-quality and multimodal characteristics ensures its applicability to a wide range of remote sensing tasks beyond building change detection. Conclusions This study introduces BAG-GAN, a novel multi-temporal building change detection data pair generation network designed to overcome the limitations of insufficient labeled data in remote sensing. The network incorporates an adversarial consistency loss function, which ensures that the generated data is both semantically consistent and diverse. By leveraging a consistency adversarial generation mechanism, BAG-GAN enhances the quality and diversity of training datasets, addressing key bottlenecks in multi-temporal building change detection tasks. Through experiments on the LEVIR-CD and WHU-CD datasets, BAG-GAN demonstrated its ability to significantly improve the performance of classic remote sensing change detection models, such as FC-EF and FC-Siam-Conc. The results highlight the network’s effectiveness in generating high-quality data pairs that enhance model training and detection accuracy. This research not only provides a robust methodological framework for improving multi-temporal building change detection but also offers a foundational tool for broader applications in remote sensing. The findings pave the way for future advancements in change detection techniques, offering valuable insights for researchers and practitioners in the field.
- Multi-temporal remote sensing /
- Change detection /
- Adversarial Generative Network (AGN) /
- Data pair generation

HTML全文

1. 引言

深度卷积神经网络在图像分类、目标检测、语义分割和变化检测等计算机视觉任务中表现出色，其主要得益于神经网络架构的技术革新和大数据时代的到来。随着深度学习算法与大数据相结合呈现出较强的数据处理能力，使其受到了广泛的关注^[1]。其中，遥感大数据处理可以有效支撑国土资源管控、智慧城市建设等实际应用。其中，多时相遥感建筑物变化检测就是重要的技术环节。其可以通过多时相遥感图像对的变化比较捕获有价值的变化信息^[2–4]，从而有效支撑城市规划、灾害评估和违章建筑检测等领域^[5–8]。

然而，在海量的多时相遥感数据当中，由于建筑物变化频率过慢，通常以年计数，导致有效建筑物变化数据对占比极少，难以支撑现阶段数据驱动的深度学习算法模型训练，呈现非充分训练条件下对海量多时相遥感数据建筑物变化检测处理能力差的问题，并且，极容易产生对极少的建筑物变化信息的过拟合现象。因此，在提高深度学习算法模型的泛化能力的同时，如何避免过拟合问题是提升多时相遥感图像建筑物变化检测性能的关键。

虽然，目前一些研究工作(例如：深度卷积网络(Alex Network, AlexNet)^[9]到残差网络(Residual Network, ResNet)^[10]、密集连接网络(Dense convolutional Network, DenseNet)^[11]以及视觉几何组16层网络(Visual Geometry Group network, VGG-16)^[12]等)可以通过改进网络的结构，结合正则化约束、迁移学习和预训练等手段来构建泛化的基础特征表征，从而提升多时相遥感建筑物变化检测性能。但是，从提出新的模型架构角度来提升多时相遥感建筑物变化检测性能将非常有限，因为多时相遥感建筑物变化数据对匮乏的根本问题没有解决。实际上在很多领域都存在数据集获取困难以及标注耗时耗力的问题，比如医学图像数据集、多时相遥感影像等^[13–15]。此时，如何根据有限数量的数据样本提高数据集的数量和质量就成为了问题的关键。

数据增强和生成技术是解决数据获取受到限制和提高模型泛化能力的有效手段，同时，额外的训练数据也能一定程度上避免模型训练的过拟合问题。因此，一系列围绕数据增强或生成的技术被广泛地应用于增强训练数据集的大小和质量，常见的数据生成和增强技术包括图形几何变换、图形空间增强、混合图像、特征空间增强、生成式对抗网络、生成扩撒模型等^[16,17]，其中基于生成对抗网络的数据增广技术得到了广泛的应用。增强后的数据集将具备更全面的数据空间，从而减小训练集和验证集以及任何未来测试集的差异，这种方式可以从数据的角度帮助深度学习网络克服过拟合问题，保证模型在每一轮训练的验证误差随着训练深入而逐渐减小，从而构建更有效的深度学习算法模型。

在深度学习数据生成与增强技术究领域，对抗生成式网络^[18]可以有效生成和数据集特征分布相似的实例样本。因此，一些研究工作将对抗式生成网络看作是学习数据集额外信息的有效手段^[19]。对抗生成式网络主要由“生成器+判别器”组成，其中，生成器是一个变分自编码器^[20]，判别器是一个特征编码结构。整个对抗生成模型训练过程中，通过判别器输出概率来判定生成器的生成质量，直至判别器输出概率在0.5左右，即是判别器无法分清生成数据与真实数据时，表明生成器具备较好生成能力。这种“生成器+判别器”的结构在计算速度和生成质量上具有较好的性能。因此，对抗生成网络已经在人脸识别、自动驾驶等自然场景智能解译领域被广泛应用。不同于场景结构较为简单的自然场景，多时相高分辨率遥感图像由于包含地物种类繁多，其图像纹理形状特征多样、场景结构复杂，这给对抗生成网络的数据生成任务带来了巨大的挑战。此外，针对多时相遥感建筑物变化检测数据，如何生成不变信息的同时，自适应生成变化的建筑物信息也是有效数据对生成的关键。因此，将对抗生成网络应用于多时相遥感建筑物变化检测数据对生成的研究仍处于探索阶段^[21–22]。Wang等人^[21]提出了组合策略的数据增强方式，生成了额外的多源遥感数据，支持土地水分含量分析模型的训练，解决了多源遥感图像土壤水含量数据获取受限的问题，提升了多源遥感图像土壤水分分析性能。Huang等人^[22]提出基于背景信息混合的数据增强策略，旨在生成更加多样的变化信息数据对，从而更加有效地支撑模型训练，提升多时相遥感变化检测精度。尽管，在多时相遥感图像变化检测数据生成方面已经开展了一些研究工作，但是，它们仍没有将具有较强生成能力的对抗生成网络^[23–26]引入多时相遥感图像数据对生成任务，从而更加有效地进行变化信息扩充，支撑模型训练来提升变化检测算法模型的处理性能。

因此，为了实现多时相遥感建筑物变化检测数据对生成任务，本文通过引入循环对抗生成一致性来提升多时相遥感图像潜在空间的可辨别性，构建了对抗一致性生成模型(Bitemporal Adversarial Generation-Generative Adversarial Network, BAG-GAN)，其可以可控生成多时相遥感数据对中的变化信息与非变化信息，形成了对高分辨率复杂场景结构的生成。该网络由2个生成器、3个判别器组成。通过给生成器提供与输入遥感图像配对的二值变化信息标签构成了整个网络的输入模块。其中生成器组和判别器组遵循对抗一致性原则，用来在无监督学习条件下在一对多时间相图像域之间进行转换，并约束生成器的输出图像在二值变化信息的掩码约束下，遵循与目标域图像具有相同分布的规律。此外，在完成生成器的训练后，在多时相遥感图像数据对二值变化标签输入模块时，进行重组数据集中的标签和图像，根据不同的组合方式输入生成器中，从而生成不同时相的遥感建筑物变化检测图像对。最后，相关研究工作在两个变化检测数据集LEVIR-CD^[27]和WHU-CD^[28]上进行了多时相遥感建筑物变化检测数据对生成实验，实验表明，仅通过BAG-GAN数据生成扩充就可以有效提高现有经典的变化检测模型性能。

综上，本文主要贡献如下：(1)针对遥感图像生成任务，基于生成对抗一致性原则的，提出BAG-GAN生成对抗网络，实现了对于高分辨率多时相遥感建筑物图像数据对的生成，其不仅可以生成背景特征分布较为一致的多时相遥感图像，并且还可以生成较为有效的双时相间的建筑物变化信息；(2)设计了针对变化检测数据集的图像对生成策略，通过配对标签输入重组原数据集中的标签和图像对，根据不同的组合输入生成器产生新的多时相遥感建筑物变化检测图像数据对，缓解了多时相遥感建筑物变化检测数据中，建筑物变化信息占比较少，难以有效支撑模型训练制约现有建筑物变化检测算法模型性能提升的问题；(3)在LEVIR-CD^[27]和WHU-CD^[28]两个多时遥感建筑物变化检测数据集上进行了数据扩充实验，并将生成的额外多时相遥感建筑物数据用于多个不同的经典变化检测模型训练，实验结果表明构建的BAG-GAN模型可以生成有效的多时相遥感建筑物变化检测数据对，并且在不做任何复杂的网络结构设计的前提下，有效提升多个现有经典变化检测算法模型的性能。

2. 相关工作

2.1 遥感图像变化检测

变化检测技术是一种通过分析不同时间图像对并进行有效信息提取的技术，主要为了检测同一地理区域重点关注目标所发生变化信息的技术^[29]。遥感影像变化检测不仅要找出同一地理区域感兴趣的变化信息，还要滤除所有不感兴趣的变化信息以及图像自身拍摄差异带来的干扰信息^[30–32]。在实际情况下，同一地理区域的一组共配准图像对，由于不同的成像条件，以及复杂的场景信息，会产生很多的复杂伪变化信息干扰(例：不同季节、不同光照、不同成像角度等)，这将严重干扰对于实际变化信息的提取性能^[33]。

随着遥感数据的不断增长，监督学习方法在遥感图像变化检测中应用越来越广泛，主要分为两类方法，一种方法是后分类方法^[34–36]，利用卷积神经网络(Convolutional Neural Network, CNN)或者全卷积网络(Fully Convolutional Network, FCN)分别训练双时相图像，然后比较分类结果以确定变化类别。另一种方法是端到端训练CNN从双时相图像中产生变化图，从而无需单独的分类步骤，可以实现像素级的变化信息预测，取得更准确的结果。例如：像素级方法^[37–40]使用FCN直接从两个输入图像生成高分辨率的变化图。这些方法在设计更有效的特征表示方法时，使用了金字塔结构与深度监督技术，结合空间和通道注意力等技术来提高特征提取的效率和准确性。然而，这些复杂的特征提取结构或方法增加了变化检测模型的复杂性，导致其在有限的变化信息下，使得模型训练更加容易出现过拟合现象^[41,42]，从而严重影响变化检测算法模型的处理性能。因此，除了开展有效的变化检测算法模型设计的研究，如何生成更多的有效变化信息，支撑复杂模型的训练也是变化检测算法模型性能提升的关键。

2.2 遥感图像数据生成技术

目前基于对抗生成网络的数据生成技术研究都集中在人脸识别、自动驾驶等自然场景领域，应用于遥感图像数据集生成的还很少。数据生成方法大多通过数据集扩充和提升数据样本的多样性来帮助算法模型提升泛化能力。目前遥感图像数据生成技术大致可以分为两类：基于传统图像处理的方法和基于GAN的方法。基于传统图像处理的方法包括常见的数据生成手段，例如旋转、镜像、水平翻转、随机裁剪和向训练数据添加噪声^[43]。然而，这些方法本质上都是对于原始数据集的重组，并没有有效提高数据集的多样性。在这类方法中，一种更有效的策略是通过在单一时相上进行遮盖或粘贴变化类目标，从而构造额外的图像以组成一对新的变化检测影像对，这种方法被广泛应用于遥感变化检测任务的数据生成^[44]。生成对抗网络作为一种数据生成的有效手段，最近受到广泛的关注，很多研究工作都基于GAN数据生成技术构建与原始数据分布非常相似的额外数据实例。一些基于GAN的方法使用生成的图像块在原始图像对上添加额外的变化样本，例如建筑物或者汽车^[45,46]。这些工作通过其它数据样本学习生成不同样式的变化实例，再通过适当的融合措施将生成的变化实例融入原来的遥感图像中完成变化图像生成。然而这些方法没有考虑到房屋或汽车是否符合人类习惯的规律分布，也没有考虑到生成的变化样本的类别多样性。还有一些方法使用无监督的循环生成对抗网络(Cyclic Generative Adversarial Networks, CycleGAN)^[47]对原始图像进行风格转换^[48]。但是这类方法在新生成的双时相遥感图像对上往往难以产生新的变化实例，因此，数据集的类不平衡问题并没有得到有效解决。亟需开展面向多时相遥感数据对生成技术的研究。

3. BAG-GAN模型

本节将介绍一个基于生成对抗一致性^[49]的条件对抗生成网络BAG-GAN和在建筑物变化检测数据集上相应的生成策略。

3.1 模型框架

如所示，BAG-GAN模型在对抗训练部分一共涉及2个生成器和3个判别器，2个生成器分别完成将任意输入图像转换为目标图像域的图像，其中一个为 ${G_{\rm S}}$ 用于生成源域图像，另一个为 ${G_{\rm T}}$ 用于生成目标域图像；3个判别器中的2个是传统对抗生成网络中的判别器，用于判别生成器的生成图像是否属于目标图像域，分别设为 ${D_{\rm S}}$ 和 ${D_{\rm T}}$ ；第3个判别器则是通过对抗一致性来建立输入图像和生成图像关联性的判别器，设为 $D$ 。在实际的图像转换任务中，例如指定将图像域 $S$ 的图像转换为图像域 $T$ 中的图像，在给定一个 $S$ 域中的输入图像 ${{\boldsymbol x}_{\rm S}}$ 后，用于生成 $S$ 域图像的生成器 ${G_{\rm S}}$ 会首先对于 ${{\boldsymbol x}_{\rm S}}$ 进行多模态输出，生成多个具有 $S$ 域特征的图像构成它的领域分布 ${\tilde {\boldsymbol x}_{\rm S}}$ ，然后通过 $T$ 域图像的生成器 ${G_{\rm T}}$ 生成多个具有 $T$ 域特征的相似图像构成它的 $T$ 域图像领域分布 ${\tilde {\boldsymbol x}_{\rm T}}$ ，然后再通过 $S$ 域图像的生成器 ${G_{\rm S}}$ 来将 ${\tilde {\boldsymbol x}_{\rm T}}$ 转换回 $S$ 域，此时生成的多个 $S$ 域图像构成的分布为 ${\bar {\boldsymbol x}_{\rm S}}$ ，最后通过对抗一致性判别器 $D$ 来判别两个分布 ${\tilde {\boldsymbol x}_{\rm S}}$ 和 ${\bar {\boldsymbol x}_{\rm S}}$ 之间的一致性，并通过对抗训练逐步减少两者之间的差异，以实现遥感图像的条件生成。注意此中的所有一致性都是基于概率分布进行判定的，而不是两张图像逐像素的一致性，因此，给生成器提供了更宽泛的约束限制，使其能做出一些几何纹理特征较大改变的随机生成能力。这在建筑变化检测遥感图像对的生成中关重要的，因为可以促使生成更多新的变化建筑物，从而改善数据集中的类不平衡问题，进一步提高数据的多样性。相较于如图2所示CycleGAN^[47]中所采用的循环一致性，其只能进行图像风格级的迁移，对抗一致性可以更好地进行遥感图像实例级的生成。

图 1 本文所提一致性生成对抗BAG-GAN的数据生成方法

下载: 全尺寸图片幻灯片

图 2 循环一致性和对抗一致性对比原理

下载: 全尺寸图片幻灯片

3.2 目标函数设计

BAG-GAN生成对抗模型训练的损失函数一共包含4部分，第1部分是传统对抗生成网络有的对抗损失函数，用来监督生成图像的特征是否符合目标域图像特征，该部分在BAG-GAN中通过判别器 ${D_{\rm S}}$ 和 $D_{\rm T}$ 来实现，然而在实际工作中，两者的对抗损失计算存在一定的差异。 $D_{\rm T}$ 的对抗损失只针对目标图像域( $T$ 域)，而 $D_{\rm S}$ 的对抗损失则需要同时兼顾一开始输入图像的多模态输出 $\tilde {\boldsymbol x}_{\rm S}$ 和后面转换回来的 $\overline {\boldsymbol x}_{\rm S}$ ，为了保证生成器 $G_{\rm S}$ 和 $G_{\rm T}$ 的多模态输出，还需要在输入图像中加入随机噪声 ${\boldsymbol{z}}$ ， $T$ 域图像生成的对抗损失数学表达式如式(1)所示

$\begin{split} {L_{\rm T}}({{\boldsymbol x}_{\rm S}},{{\boldsymbol x}_{\rm T}},{G_{\rm T}},{D_{\rm T}}) =\;& E[{\ln}(1 - {D_{\rm T}}({G_{\rm T}}({{\boldsymbol x}_{\rm S}},{\boldsymbol{z}})))] \\ & + E[{\ln}({D_{\rm T}}({{\boldsymbol x}_{\rm T}}))] \\[-1pt] \end{split}$

(1)

${\mathrm{S}}$ 域图像生成的对抗损失数学表达式如式(2)所示

$\begin{split} {L_{\rm S}}({{\boldsymbol x}_{\rm S}},{\tilde {\boldsymbol x}_{\rm T}},{G_{\rm S}},{D_{\rm S}}) = \;& E[{\ln}(1 - {D_{\rm S}}({G_{\rm S}}({\tilde {\boldsymbol x}_{\rm T}},{\boldsymbol{z}})))] \\ & + E[{\ln}(1 - {D_{\rm S}}({G_{\rm S}}({{\boldsymbol x}_{\rm S}},{\boldsymbol{z}})))] \\ & + 2E[{\ln}({D_{\rm S}}({{\boldsymbol x}_{\rm S}}))]\\[-1pt] \end{split}$

(2)

其中， $\tilde {\boldsymbol x}_{\rm T}=G_{\rm T}({\boldsymbol x}_{\rm S},{\boldsymbol{z}})$ ，所有的 ${\boldsymbol{z}}$ 都是标准高斯分布随机噪声，该部分总的对抗损失函数如式(3)所示

${L_{\rm{adv}}} = {L_{\rm T}}({{\boldsymbol x}_{\rm S}},{{\boldsymbol x}_{\rm T}},{G_{\rm T}},{D_{\rm T}}) + {L_{\rm S}}({{\boldsymbol x}_{\rm S}},{\tilde {\boldsymbol x}_{\rm T}},{G_{\rm S}},{D_{\rm S}})$

(3)

第2部分则是代替循环一致性损失的对抗一致性损失，它是为了确保转换后的图像 ${{\boldsymbol x}_{\rm T}}$ 仍然保有和输入图像 ${{\boldsymbol x}_{\rm S}}$ 的关联性，实现图像的条件生成。在建筑变化检测中，通过在时相1图像中添加额外标签来引导BAG-GAN模型在对应标签位置生成包含建筑变化信息的时相2图像，因此，需要对抗一致性来约束时相2图像和时相1图像的关联性。实际上它关注的是两个图像集合 $\tilde {\boldsymbol x}_{\rm S}$ 和 $\overline {\boldsymbol x}_{\rm S}$ 在分布上的一致性，其中 $\overline {\boldsymbol{x}}_{\mathrm{S}}$ 是由生成的图像分布 $\tilde {\boldsymbol x}_{\rm T}$ 反变换得到的，因此，也就代表了生成图像所保有的所有输入图像信息。判别器 $D$ 是整个生成模型建立对抗一致性的关键部分，它将会去判别图像 $\tilde {\boldsymbol x}_{\rm S}$ 和 $\overline {\boldsymbol x}_{\rm S}$ 的实际来源，如果最后生成器 $D_{\rm S}$ 和 $G_{\rm T}$ 能够欺骗判别器 $D$ ，使其将 $\tilde {\boldsymbol x}_{\rm S}$ 和 $\overline {\boldsymbol x}_{\rm S}$ 混淆，那就意味着 $\tilde {\boldsymbol x}_{\rm S}$ 和 $\overline {\boldsymbol x}_{\rm S}$ 两个图像分布逐渐重合，同时也代表着输入图像和生成图像对抗一致性的达成。在实际算法运行过程中还要将输入图像 ${\boldsymbol{s}}_{\rm S}$ 一并输入判别器，这一特点与有监督的对抗生成网络pix2pix^[50]的设计相同，保证两个图像分布 $\tilde {\boldsymbol x}_{\rm S}$ 和 $\overline {\boldsymbol x}_{\rm S}$ 仍然是与输入图像 ${\boldsymbol x}_{\rm S}$ 的分布特性类似，关于对抗一致性训练的损失函数如式(4)所示

$\begin{split} &{L_{\rm{acl}}}({{\boldsymbol x}_{\rm S}},{\tilde {\boldsymbol x}_{\rm T}},{G_{\rm S}},D) \\ \;& \quad = E[{\ln }(D({{\boldsymbol x}_{\rm S}},{G_{\rm S}}({\tilde {\boldsymbol x}_{\rm T}},z)))]\\ & \qquad + E[{\ln }(1 - D({{\boldsymbol x}_{\rm S}},{G_{\rm S}}({{\boldsymbol x}_{\rm S}},z)))] \end{split}$

(4)

第3部分则是为了稳固模型训练和提高生成图像质量而引入的噪声损失，鼓励生成模型在对抗训练中保留更多的特征细节，并且在一定程度上防止了模型训练时的模式坍塌，此外，它还保证了 $G_{\rm S}$ 产生的图像分布 $\tilde {\boldsymbol x}_{\rm S}$ 是分布在输入图像 ${\boldsymbol x}_{\rm S}$ 的周围，也就是确保 $\tilde {\boldsymbol x}_{\rm S}$ 是输入图像 ${\boldsymbol x}_{\rm S}$ 的邻域。源域和目标域的编码器网络 $E_{\rm S}$ 和 $E_{\rm T}$ 用来将输入图像转换为对应的噪声向量 $z$ ，该部分损失的数学表达式如(5)所示

$\begin{split} {L_i}({{\boldsymbol x}_{\rm S}},{{\boldsymbol x}_{\rm T}},{E_{\rm S}},{E_{\rm T}}) =\;& E[||{G_{\rm S}}({{\boldsymbol x}_{\rm S}},{E_{\rm S}}({{\boldsymbol x}_{\rm S}})) - {{\boldsymbol x}_{\rm S}}||] \\ & + E[||{G_{\rm T}}({{\boldsymbol x}_{\rm T}},{E_{\rm T}}({{\boldsymbol x}_{\rm T}})) - {{\boldsymbol x}_{\rm T}}||] \end{split}$

(5)

第4部分则是BAG-GAN生成模型的注意力机制，目的是控制对输入图像的重点生成区域进行信息生成，生成器的输出包含原始图像的R, G, B 3个颜色通道外，还包括一个由0～1内的数字组成的注意力通道 ${{\boldsymbol{x}}_{\rm{mask}}}$ ，而最终的生成图像将根据 ${{\boldsymbol{x}}_{\rm{mask}}}$ ，R, G, B通道进行矩阵计算得到，公式如式(6)所示

${{\boldsymbol x}_{\rm T}} = {{\boldsymbol x}_{\rm S}} \odot ({{\textit{1}}} - {{\boldsymbol{x}}_{\rm{mask}}}) + {{\boldsymbol{x}}_{\rm{RGB}}} \odot {{\boldsymbol{x}}_{\rm{mask}}}$

(6)

而 ${{\boldsymbol{x}}_{\rm{mask}}}$ 是BAG-GAN生成模型的重要组成部分，通过在生成训练过程中引入第4个通道注意力通道 ${{\boldsymbol{x}}_{\rm{mask}}}$ ，生成模型将学会区分建筑变化检测图像对中的建筑变化区域和非建筑变化区域。建筑变化检测任务关心的部分是建筑变化区域，因此，需要生成模型能够对于该部分进行重点生成，对于非建筑变化区域提升一致性生成的能力，只适当添加伪变化以增强数据。注意力通道的对抗训练损失函数由3个超参数来控制，分别是 $\lambda$ , ${\lambda _{\rm{min}}}$ 和 ${\lambda _{\rm{max}}}$ ，用于控制建筑变化区域和非建筑变化区域图像的占比以及该部分损失的权重大小，其数学表达式如式(7)所示

$\begin{split} {L}_{\text{mask}}=\;& \lambda \left[\begin{array}{l}\mathrm{max}{\left\{{\displaystyle \sum _{k}{x}_{m}[k]-{\lambda }_{\text{max}}W,0}\right\}}^{2}\\ +\mathrm{max}{\left\{{\lambda }_{\text{min}}W-{\displaystyle \sum _{k}{x}_{m}[k],0}\right\}}^{2}\end{array}\right]\\ & +{\displaystyle \sum _{k}\frac{1}{\left|{x}_{m}[k]-0.5\right|+\varepsilon}} \end{split}$

(7)

值得注意的是在实际图像生成中，简单的人脸图像和自然场景图像等背景不复杂的图像转换任务中，仅仅通过3个超参数的控制该注意力通道的生成模型训练总能取得较好的效果，但对于遥感图像等背景复杂、生成建筑分布区域不确定，尤其是建筑变化检测这种需要对于建筑变化区域进行重点生成的数据集扩充任务，因此，本文通过变化检测数据集中自带的变化标签图来进一步约束生成模型的建筑生成位置，该部分的详细过程会在后面的变化检测样本对训练生成策略中进一步阐述。综合上述4种对抗训练损失函数，基于对抗一致性的建筑变化检测数据生成模型BAG-GAN总的训练损失函数如式(8)所示

$L = {L_{\rm{adv}}} + {k_{\rm{acl}}}{L_{\rm{acl}}} + {k_i}{L_i} + {k_{\rm{mask}}}{L_{\rm{mask}}}$

(8)

3.3 变化检测样本对训练生成策略

在前面的2个部分，介绍了BAG-GAN的模型框架和它的对抗一致性训练过程及目标函数，通过输入标签图和时相1遥感图像的组合，从而可以生成另一个时相的全新变化后图像，这可以用来构建新的建筑变化检测图像对以扩充原始数据集。然而，之前的研究工作往往都是将生成的建筑图像块随机贴到原来的遥感图像中，这样的标签图往往不能反映真实世界中建筑物的实际分布情况。在现实世界中，建筑物的分布往往是遵循人类的建造习惯的，例如建筑物的排列往往遵循相互平行的原则，相互之间往往保持近似一致的距离。建筑物的这种分布模式往往也影响着其它伪变化实例的生成，例如两行平行排列的建筑物中间往往会伴随生成一条公路。因此，基于真实世界中房屋建筑的分布规律来生成建筑物实例对于进一步增强数据生成样本的真实性和多样性是有必要的。

如图1所示在原始数据集中分离变化和未变化的变化检测图像对，其中未变化的图像对是变化检测数据集类别不平衡的主要来源，需要在其中生成额外的建筑物变化实例。而发生建筑物变化的图像对中往往包含了遵循建筑物实际分布模式的标签地图，可以用来引导BAG-GAN在非变化图像对中生成建筑物实例。此外，为了提高生成的建筑物实例分布的多样性，本文还从建筑分割数据集中引入其他标签图，并调整添加的标签图的尺度大小以匹配现有的变化检测数据集。在图1的BAG-GAN生成阶段，只需要将这些变化标签图添加到任何未变化图像对中的图像，以引导BAG-GAN在相应位置上生成建筑物实例，并在建筑物实例周围生成语义相关的伪变化，实现整个图像的风格转移。

如所示对于一个具有 $P$ 张发生变化的遥感图像对和 $Q$ 张未发生变化的遥感图像对的建筑变化检测数据集，其中未变化图像对中的时相1图像可以表示为 $\{ {S^k},k = 1,2,\cdots,Q\}$ ，本文向其中随机添加 $N$ 张建筑变化标签图 $\{ {L_1},{L_2},\cdots,{L_N}\}$ 在 ${S^k}$ 中，然后将这 $N$ 张添加标签的时相1图像 $\{ S_i^k,i = 1,2,\cdots,N\}$ 输入BAG-GAN中以生成新的时相2图像 $\{ T_i^k,i = 1,2,\cdots,N\}$ ，它们对应的变化标签就是 $\{ {L_i},i = 1, 2,\cdots,N\}$ ，最后，这N对新生成的变化检测图像对将会被用于扩充数据集。需要注意的是，不同的标签图组合可以为每个未变化的图像对生成不同的变化图像对组合，大大丰富了建筑物变化样本对的类型，并提高了数据集中变化类样本的比例。

4. 实验结果与分析

本节通过实验评估BAG-GAN模型对于变化检测模型的性能提升的有效性，实验数据集选择了LEVIR-CD和WHU-CD两个高分辨率建筑物变化检测数据集。

4.1 数据集

LEVIR-CD是公开的大尺度建筑物变化检测数据集，一共包含637对Google Earth提供的双时建筑物变化遥感图像，每张遥感图像的大小为1 024×1 024，分辨率为0.5 m/pix，每对双时图像的拍摄时间间隔在5到14年不等，建筑物包括大型仓库、小型仓库、高层公寓、普通平房、高级别墅等，数据集的标签图只关注两幅共配准遥感图像中的建筑物变化区域，标注文件为二进制png格式的mask，数据集一共包含了31 333个独立变化的建筑，由于对抗生成网络的网络参数较多，在处理较大的图像会存在训练时间长，显卡容易内存溢出的问题，因此为了数据生成模型和后面变化检测模型的训练方便，所有LEVIR-CD数据集中的1 024×1 024遥感图像均被随机裁剪为256×256分辨率。

WHU-CD数据集包含一对尺寸为32 507×15 354、空间分辨率为0.075 m的大尺寸光学遥感图像。与LEVIR-CD 类似，将大型图像裁剪成大小为256×256的小块，无重叠，共得到7 434个块对。由于数据集没有建议的拆分方式，本论文将其分为6 034个块对用于训练，700个块对用于验证，700个块对用于测试。

4.2 实验参数设置

本文都使用Pytorch框架来实现对抗生成网络的训练，应用Adam作为优化器，每个卷积层的权值采用Kaiming归一化进行初始化操作，所有训练均在一台NVIDIA Tesla V100S PCIe 32 GB上进行。对抗生成网络的训练相较于其他神经网络的训练来说较不稳定，容易发生模式坍塌的问题，并且训练过程通常比较缓慢，通过损失函数中一些损失项(如式(5))的引入可以缓解这种问题，但仍需合理的模型训练参数的配置。对于建筑物变化区域来说，相较于非建筑变化区域的树林、河流、公路等多种地物目标的存在，该区域的地物目标只有建筑物。因此在训练参数配置上参考了普通的人脸图像转换的训练参数，最大训练迭代次数设置为350 000，每批训练量大小设置为3，学习率设置为0.000 1，并且在每100 000次迭代后按伽马值0.5来梯度降低学习率大小。在损失函数的参数配置上，对抗损失部分的权重为默认值1，由于建筑物区域的生成多数为“从无到有”的过程，因此，生成图像和输入图像并不需要很强的关联性，所以对抗一致性的权重可以适当降低设置为0.2，而出于对于建筑物几何细节特征的关注，将注意力部分的损失权重则需要适当提高设置为0.03。通过对于数据集的统计分析，遥感图像数据集中建筑区域占所有图像区域的比重平均值估计约为40%左右，因此设定注意力通道中 ${\lambda _{\min }}$ 和 ${\lambda _{\max }}$ 分别为0.3和0.5来控制生成区域比例的大致范围符合数据集的真实比例。

4.3 评价指标

在评价扩充后的多时相遥感影像数据集对于变化检测模型的增益上采用了3个指标：精确率Prec、查全率Rec和交并比 $\rm{IoU}$ 。精确率Prec定义为正确预测的正样本在所有预测样本中的比例，它代表的是模型预测出来准确结果占所有预测结果的准确性，在遥感图像的变化检测中就是模型预测出来的变化标签图中正确预测的变化区域在预测变化区域中的比例，如式(9)所示

${\mathrm{Prec}} = \frac{{\rm{TP}}}{{\rm{TP + FP}}}$

(9)

查全率 $R$ 定义为正确预测的正样本在所有正样本中的比例，它代表的是模型预测出来的准确结果占总体正样本的比例，在遥感图像的变化检测中就是模型预测出来的变化标签图中正确预测的变化区域在所有真实变化区域中的比例，如式(10)所示

${\mathrm{Rec}} = \frac{{\rm{TP}}}{{\rm{TP + FN}}}$

(10)

交并比IoU定义为正确预测的正样本在真实正样本和预测正样本并集中的比例，它代表了模型预测在真实结果和预测结果之间的相关度，相关度越高说明交并比越高，它相较于上述两种评价标准更加考虑到预测区域的位置形状带来的误差，如式(11)所示

${{\mathrm{IOU}} = }\frac{{\rm{TP}}}{{\rm{TP + FP + FN}}}$

(11)

4.4 变化检测图像对生成

为了验证BAG-GAN的有效性，本文展示了BAG-GAN在变化检测数据集上的图像生成效果。如图3(a)和图3(b)分别为LEVIR-CD和WHU-CD两个数据集上的图像对生成结果，每组包含4列图像，分别是时相1图像、添加标签、时相2图像和生成的新时相2图像。从图3可以看到，生成的图像包含遵循人类建筑分布的建筑变化实例，并且建筑物周围存在相应的实例级伪变化，例如道路和混凝土地板，使生成的变化检测图像更加真实和多样化。值得注意的是图像中生成的伪变化与建筑物是上下文语义相关的。在图3(b)中的第2行和第5行，时相1图像中有一排树木，而生成的时相2图像仍然保留了这排树木的同时并添加了标签引导而生成的建筑物。这说明了BAG-GAN中引入注意力通道和相应的对抗损失函数进行建筑变化图像生成的有效性。

图 3 本文所提BAG-GAN变化检测数据生成可视化结果

下载: 全尺寸图片幻灯片

4.5 变化检测模型性能提升

图4、图5分别展示了LEVIR-CD和WHU-CD上变化检测模型在数据扩充前和数据扩充后的性能提升可视化对比，其中用红色表示漏检的区域，绿色表示误检的区域，白色表示正确预测的建筑物变化区域，可以看到在LEVIR-CD数据集中，原始数据集训练的模型有较多的漏检情况出现，在采用了BAG-GAN的扩充数据集后，这种现象得到改善，在WHU-CD数据集中则出现了较多的误检情况，在数据扩充后降低了模型的误检率。图6展示了两个数据集上全卷积孪生网络-拼接(Fully Convolutional Siamese-Concatenation, FC-Siam-Conc)^[51]变化检测性能指标随数据集类不平衡率的变化情况。表1和表2展示了变化检测模型在加入BAG-GAN生成的扩充数据后的性能提升。其中使用3个性能指标来呈现改进情况：精确率、召回率、交并比(Intersection Over Union, IOU)，最高数值已由加粗表示。前3个变化检测模型，全卷积早期融合(Fully Convolutional Early Fusion, FC-EF)、FC-Siam-Conc^[51]和全卷积孪生网络-差分(Fully Convolutional Siamese - Difference, FC-Siam-Diff)，是相对基本的变化检测框架，本文使用最简单的resnet18作为编码器，因此，其性能表现在原始数据集上指标较低。从表1和表2可以看出，采用传统长用的数据增强变化在某些特定数据集上是可以取得一定性能的改进，但是，经过基于本文提出的BAG-GAN和相应生成策略的数据扩充后，即使是这些最基本的变化检测模型也表现出良好的性能。孪生嵌套 U型网络(Siamese Nested U-Net, SNUNet)^[52]是最近提出具有先进性能的变化检测网络，本文同样验证了BAG-GAN对于具有先进性能变化检测模型性能提升的有效性，由于SNUNet采用了精心设计的模型架构和注意力机制，它可以在没有数据扩充的情况下表现出良好的性能。此外，如表1和表2所示，在仅采用20%的训练数据，经过数据生成扩充后，其性能可以与采用100%数据进行模型训练的性能媲美。综上，经过数据扩充后可以看到，即使是具有先进性能的变化检测方法在使用BAG-GAN数据增强后也提高了原有的性能，证明了BAG-GAN作为一种即插即用的变化检测数据生成方法的有效性。

图 4 LEVIR-CD

下载: 全尺寸图片幻灯片

图 5 WHU-CD

下载: 全尺寸图片幻灯片

图 6 CD模型性能随数据集类不平衡率变化折线图

下载: 全尺寸图片幻灯片

表 1 WHU-CD模型性能提升(20%与100%)

变化检测模型	LEVIR-CD(20%) Prec/Rec/IoU	LEVIR-CD(100%) Prec/Rec/IoU
FC-EF +数据增强变换	0.689/0.696/0.595 0.683/0.654/0.511	0.769/0.682/0.620 0.771/0.665/0.593
+BAG-GAN	0.863/0.641/0.611	0.875/0.757/0.701
FC-Siam-Conc +数据增强变换	0.615/0.709/0.541 0.609/0.698/0.531	0.696/0.802/0.628 0.667/0.735/0.609
+BAG-GAN	0.894/0.711/0.668	0.922/0.741/0.691
FC-Siam-Diff +数据增强变换	0.581/0.690/0.495 0.573/0.634/0.487	0.654/0.787/0.586 0.647/0.772/0.557
+BAG-GAN	0.866/0.618/0.564	0.889/0.781/0.737
SNUNet +数据增强变换	0.940/0.916/0.872 0.913/0.920/0.865	0.956/0.951/0.914 0.903/0.944/0.887
+BAG-GAN	0.933/0.938/0.876	0.961/0.958/0.924

下载: 导出CSV

| 显示表格

表 2 LEVIR-CD模型性能提升(20%与100%)

变化检测模型	LEVIR-CD(20%) Prec/Rec/IoU	LEVIR-CD(100%) Prec/Rec/IoU
FC-EF +数据增强变换	0.478/0.482/0.423 0.534/0.552/0.443	0.429/0.331/0.216 0.632/0.441/0.433
+BAG-GAN	0.868/0.696/0.642	0.739/0.649/0.576
FC-Siam-Conc +数据增强变换	0.872/0.574/0.523 0.843/0.611/0.575	0.769/0.625/0.563 0.766/0.613/0.589
+BAG-GAN	0.809/0.711/0.640	0.831/0.732/0.663
FC-Siam-Diff +数据增强变换	0.905/0.617/0.572 0.833/0.623/0.534	0.715/0.693/0.598 0.745/0.693/0.619
+BAG-GAN	0.683/0.749/0.589	0.855/0.753/0.688
SNUNet +数据增强变换	0.857/0.879/0.786 0.887/0.786/0.799	0.935/0.919/0.871 0.913/0.921/0.867
+BAG-GAN	0.927/0.902/0.848	0.959/0.947/0.913

下载: 导出CSV

| 显示表格

5. 结束语

遥感影像变化检测技术已经成为对地遥感观测领域的一项基础且关键的技术。因此，本文提出了一种基于对抗生成网络的变化检测数据生成技术，旨在从数据集扩充的角度，提升当今多时相遥感影像变化检测模型的精度，为了解决遥感图像地物目标多样、图形纹理复杂，难以针对性对于变化区域进行有效生成的问题，本文设计了基于对抗一致性和注意力机制的BAG-GAN来保证生成模型多模态输出能力的同时兼顾建筑变化区域的重点生成，提高生成遥感图像的真实性和多样性，最后的变化检测数据生成实验结果表明本论文提出的BAG-GAN及其生成策略可以有效提升遥感图像变化检测模型的性能。

对抗生成网络在很多领域取得了成功，然而目前对抗生成网络常见的应用场景多为人脸图像转换和自然场景图像转换，而在遥感图像转换中还没有过多的研究工作涉及，因此，本文的创新之处在于将这种有潜力的数据生成手段扩展到遥感图像领域，并通过遥感影像变化检测模型的性能提升作为载体，验证该种方法的可行性和有效性。目前的问题在于对抗生成网络的训练周期较长，难以生成更丰富的地物目标，在未来的研究中可以进一步改进生成模型结构，结合一些最新对抗生成网络相关研究工作，提升生成模型的性能，从而进一步提高生成数据的多样性和真实性。

图 1 本文所提一致性生成对抗BAG-GAN的数据生成方法

下载: 全尺寸图片幻灯片

图 2 循环一致性和对抗一致性对比原理

下载: 全尺寸图片幻灯片

图 3 本文所提BAG-GAN变化检测数据生成可视化结果

下载: 全尺寸图片幻灯片

图 4 LEVIR-CD

下载: 全尺寸图片幻灯片

图 5 WHU-CD

下载: 全尺寸图片幻灯片

图 6 CD模型性能随数据集类不平衡率变化折线图

下载: 全尺寸图片幻灯片

表 1 WHU-CD模型性能提升(20%与100%)

变化检测模型	LEVIR-CD(20%) Prec/Rec/IoU	LEVIR-CD(100%) Prec/Rec/IoU
FC-EF +数据增强变换	0.689/0.696/0.595 0.683/0.654/0.511	0.769/0.682/0.620 0.771/0.665/0.593
+BAG-GAN	0.863/0.641/0.611	0.875/0.757/0.701
FC-Siam-Conc +数据增强变换	0.615/0.709/0.541 0.609/0.698/0.531	0.696/0.802/0.628 0.667/0.735/0.609
+BAG-GAN	0.894/0.711/0.668	0.922/0.741/0.691
FC-Siam-Diff +数据增强变换	0.581/0.690/0.495 0.573/0.634/0.487	0.654/0.787/0.586 0.647/0.772/0.557
+BAG-GAN	0.866/0.618/0.564	0.889/0.781/0.737
SNUNet +数据增强变换	0.940/0.916/0.872 0.913/0.920/0.865	0.956/0.951/0.914 0.903/0.944/0.887
+BAG-GAN	0.933/0.938/0.876	0.961/0.958/0.924

下载: 导出CSV

表 2 LEVIR-CD模型性能提升(20%与100%)

变化检测模型	LEVIR-CD(20%) Prec/Rec/IoU	LEVIR-CD(100%) Prec/Rec/IoU
FC-EF +数据增强变换	0.478/0.482/0.423 0.534/0.552/0.443	0.429/0.331/0.216 0.632/0.441/0.433
+BAG-GAN	0.868/0.696/0.642	0.739/0.649/0.576
FC-Siam-Conc +数据增强变换	0.872/0.574/0.523 0.843/0.611/0.575	0.769/0.625/0.563 0.766/0.613/0.589
+BAG-GAN	0.809/0.711/0.640	0.831/0.732/0.663
FC-Siam-Diff +数据增强变换	0.905/0.617/0.572 0.833/0.623/0.534	0.715/0.693/0.598 0.745/0.693/0.619
+BAG-GAN	0.683/0.749/0.589	0.855/0.753/0.688
SNUNet +数据增强变换	0.857/0.879/0.786 0.887/0.786/0.799	0.935/0.919/0.871 0.913/0.921/0.867
+BAG-GAN	0.927/0.902/0.848	0.959/0.947/0.913

下载: 导出CSV

参考文献(52)

[1]	NASTASE I N A, MOLDOVANU S, and MORARU L. Deep learning-based segmentation of breast masses using convolutional neural networks[J]. Journal of Physics: Conference Series, 2024, 2701(1): 012005. doi: 10.1088/1742-6596/2701/1/012005.
[2]	刘美琴, 王子麟. 基于域适应的图像语义分割综述[J]. 北京交通大学学报, 2024, 48(2): 1–9. doi: 10.11860/j.issn.1673-0291.20230120. LIU Meiqin and WANG Zilin. A review on image semantic segmentation based on domain adaptation[J]. Journal of Beijing Jiaotong University, 2024, 48(2): 1–9. doi: 10.11860/j.issn.1673-0291.20230120.
[3]	EL-MAGD S A A, MASOUD A M, HASSAN H S, et al. Towards understanding climate change: Impact of land use indices and drainage on land surface temperature for valley drainage and non-drainage areas[J]. Journal of Environmental Management, 2024, 350: 119636. doi: 10.1016/j.jenvman.2023.119636.
[4]	HOSSAIN M S, KHAN M A H, OLUWAJUWON T V, et al. Spatiotemporal change detection of land use land cover (LULC) in Fashiakhali wildlife sanctuary (FKWS) impact area, Bangladesh, employing multispectral images and GIS[J]. Modeling Earth Systems and Environment, 2023, 9(3): 3151–3173. doi: 10.1007/s40808-022-01653-7.
[5]	何自芬, 史本杰, 张印辉, 等. 多注意力融合的环高原湖泊遥感影像分割[J]. 电子学报, 2023, 51(4): 885–895. doi: 10.12263/DZXB.20220085. HE Zifen, SHI Benjie, ZHANG Yinhui, et al. Remote sensing image segmentation of around plateau lakes based on multi-attention fusion[J]. Acta Electronica Sinica, 2023, 51(4): 885–895. doi: 10.12263/DZXB.20220085.
[6]	张冬梅, 李石磊. 一种显著性检测提取高分遥感影像建筑物的方法[J]. 测绘与空间地理信息, 2024, 47(6): 97–101. doi: 10.3969/j.issn.1672-5867.2024.06.029. ZHANG Dongmei and LI Shilei. A saliency detection method for extracting buildings from high-resolution remote sensing images[J]. Geomatics & Spatial Information Technology, 2024, 47(6): 97–101. doi: 10.3969/j.issn.1672-5867.2024.06.029.
[7]	MEI Jie, ZHENG Yibo, and CHENG Mingming. D2ANet: Difference-aware attention network for multi-level change detection from satellite imagery[J]. Computational Visual Media, 2023, 9(3): 563–579. doi: 10.1007/s41095-022-0325-1.
[8]	LIAO Cheng, HU Han, YUAN Xuekun, et al. BCE-Net: Reliable building footprints change extraction based on historical map and up-to-date images using contrastive learning[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2023, 201: 138–152. doi: 10.1016/j.isprsjprs.2023.05.011.
[9]	KRIZHEVSKY A, SUTSKEVER I, and HINTON G E. ImageNet classification with deep convolutional neural networks[C]. The 26th International Conference on Neural Information Processing Systems, Lake Tahoe, USA, 2012: 1097–1105.
[10]	HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. The 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770–778. doi: 10.1109/CVPR.2016.90.
[11]	HUANG Gao, LIU Zhuang, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]. The 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 2261–2269. doi: 10.1109/CVPR.2017.243.
[12]	SIMONYAN K and ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]. 3rd International Conference on Learning Representations, San Diego, USA, 2015. doi: 10.48550/arXiv.1409.1556.
[13]	DEMIRCI M Y, BEŞLI N, and GÜMÜŞÇÜ A. An improved hybrid solar cell defect detection approach using generative adversarial networks and weighted classification[J]. Expert Systems with Applications, 2024, 252: 124230. doi: 10.1016/j.eswa.2024.124230.
[14]	刘少鹏, 赵慧民, 洪佳明, 等. 面向医学图像生成的鲁棒条件生成对抗网络[J]. 电子学报, 2023, 51(2): 427–437. doi: 10.12263/DZXB.20210051. LIU Shaopeng, ZHAO Huimin, HONG Jiaming, et al. Medical image synthesis using robust conditional GAN[J]. Acta Electronica Sinica, 2023, 51(2): 427–437. doi: 10.12263/DZXB.20210051.
[15]	STANCIU D C and IONESCU B. Autoencoder-based data augmentation for deepfake detection[C]. The 2nd ACM International Workshop on Multimedia AI against Disinformation, Thessaloniki, Greece, 2023: 19–27. doi: 10.1145/3592572.3592840.
[16]	YANG Suorong, XIAO Weikang, ZHANG Mengchen, et al. Image data augmentation for deep learning: A survey[EB/OL]. https://arxiv.org/abs/2204.08610, 2022.
[17]	OUBARA A, WU Falin, AMAMRA A, et al. Survey on remote sensing data augmentation: Advances, challenges, and future perspectives[C]. 5th Conference on Computing Systems and Applications, Cham, Switzerland, 2022: 95–104. doi: 10.1007/978-3-031-12097-8_9.
[18]	CRESWELL A, WHITE T, DUMOULIN V, et al. Generative adversarial networks: An overview[J]. IEEE Signal Processing Magazine, 2018, 35(1): 53–65. doi: 10.1109/MSP.2017.2765202.
[19]	BOWLES C, CHEN Liang, GUERRERO R, et al. GAN augmentation: Augmenting training data using generative adversarial networks[EB/OL]. https://arxiv.org/abs/1810.10863, 2018.
[20]	DOERSCH C. Tutorial on variational autoencoders[EB/OL]. https://arxiv.org/abs/1606.05908, 2016.
[21]	WANG Yinglin, ZHAO Jianhui, GUO Zhengwei, et al. Soil moisture inversion based on data augmentation method using multi-source remote sensing data[J]. Remote Sensing, 2023, 15(7): 1899. doi: 10.3390/rs15071899.
[22]	HUANG Rui, WANG Ruofei, GUO Qing, et al. Background-mixed augmentation for weakly supervised change detection[C]. The 37th AAAI Conference on Artificial Intelligence, Washington, USA, 2023: 7919–7927. doi: 10.1609/aaai.v37i7.25958.
[23]	但志平, 方帅领, 孙航, 等. 基于双判别器异构CycleGAN框架下多阶通道注意力校准的室外图像去雾[J]. 电子学报, 2023, 51(9): 2558–2571. doi: 10.12263/DZXB.20211337. DAN Zhiping, FANG Shuailing, SUN Hang, et al. Outdoor image dehazing based on multi-order channel attention calibration using a dual-discriminator heterogeneous CycleGAN framework[J]. Acta Electronica Sinica, 2023, 51(9): 2558–2571. doi: 10.12263/DZXB.20211337.
[24]	马宾, 王一利, 徐健, 等. 基于双向生成对抗网络的图像感知哈希算法[J]. 电子学报, 2023, 51(5): 1405–1412. doi: 10.12263/DZXB.20221224. MA Bin, WANG Yili, XU Jian, et al. An image perceptual hash algorithm based on bidirectional generative adversarial network[J]. Acta Electronica Sinica, 2023, 51(5): 1405–1412. doi: 10.12263/DZXB.20221224.
[25]	贾童瑶, 卓力, 李嘉锋, 等. 基于深度学习的单幅图像去雾研究进展[J]. 电子学报, 2023, 51(1): 231–245. doi: 10.12263/DZXB.20220838. JIA Tongyao, ZHUO Li, LI Jiafeng, et al. Research advances on deep learning based single image dehazing[J]. Acta Electronica Sinica, 2023, 51(1): 231–245. doi: 10.12263/DZXB.20220838.
[26]	李滔, 董秀成, 林宏伟. 基于深监督跨尺度注意力网络的深度图像超分辨率重建[J]. 电子学报, 2023, 51(1): 128–138. doi: 10.12263/DZXB.20210659. LI Tao, DONG Xiucheng, and LIN Hongwei. Depth map super-resolution reconstruction based on deeply supervised cross-scale attention network[J]. Acta Electronica Sinica, 2023, 51(1): 128–138. doi: 10.12263/DZXB.20210659.
[27]	JI Shunping, WEI Shiqing, and LU Meng. Fully convolutional networks for multisource building extraction from an open aerial and satellite imagery data set[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(1): 574–586. doi: 10.1109/tgrs.2018.2858817.
[28]	LI Xuan, DUAN Haibin, ZHANG Hui, et al. Data augmentation using image generation for change detection[C]. 2021 IEEE 1st International Conference on Digital Twins and Parallel Intelligence (DTPI), Beijing, China, 2021: 188–191. doi: 10.1109/DTPI52967.2021.9540199.
[29]	VARGHESE A, GUBBI J, RAMASWAMY A, et al. ChangeNet: A deep learning architecture for visual change detection[C]. The 15th European Conference on Computer Vision, Munich, Germany, 2018: 129–145. doi: 10.1007/978-3-030-11012-3_10.
[30]	SHAFIQUE A, CAO Guo, KHAN Z, et al. Deep learning-based change detection in remote sensing images: A review[J]. Remote Sensing, 2022, 14(4): 871. doi: 10.3390/rs14040871.
[31]	张良培, 武辰. 多时相遥感影像变化检测的现状与展望[J]. 测绘学报, 2017, 46(10): 1447–1458. doi: 10.11947/j.AGCS.2017.20170340. ZHANG Liangpei and WU Chen. Advance and future development of change detection for multi-temporal remote sensing imagery[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10): 1447–1459. doi: 10.11947/j.AGCS.2017.20170340.
[32]	眭海刚, 冯文卿, 李文卓, 等. 多时相遥感影像变化检测方法综述[J]. 武汉大学学报: 信息科学版, 2018, 43(12): 1885–1898. doi: 10.13203/j.whugis20180251. SUI Haigang, FENG Wenqing, LI Wenzhuo, et al. Review of change detection methods for multi-temporal remote sensing imagery[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1885–1898. doi: 10.13203/j.whugis20180251.
[33]	佟国峰, 李勇, 丁伟利, 等. 遥感影像变化检测算法综述[J]. 中国图象图形学报, 2015, 20(12): 1561–1571. doi: 10.11834/jig.20151201. TONG Guofeng, LI Yong, DING Weili, et al. Review of remote sensing image change detection[J]. Journal of Image and Graphics, 2015, 20(12): 1561–1571. doi: 10.11834/jig.20151201.
[34]	JI Shunping, SHEN Yanyun, LU Meng, et al. Building instance change detection from large-scale aerial images using convolutional neural networks and simulated samples[J]. Remote Sensing, 2019, 11(11): 1343. doi: 10.3390/rs11111343.
[35]	NEMOTO K, HAMAGUCHI R, SATO M, et al. Building change detection via a combination of CNNs using only RGB aerial imageries[C]. SPIE 10431, Remote Sensing Technologies and Applications in Urban Environments II, Warsaw, Poland, 2017: 104310J. doi: 10.1117/12.2277912.
[36]	LIU Ruoyun, KUFFER M, and PERSELLO C. The temporal dynamics of slums employing a CNN-based change detection approach[J]. Remote Sensing, 2019, 11(23): 2844. doi: 10.3390/rs11232844.
[37]	LIU Yi, PANG Chao, ZHAN Zongqian, et al. Building change detection for remote sensing images using a dual-task constrained deep Siamese convolutional network model[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(5): 811–815. doi: 10.1109/LGRS.2020.2988032.
[38]	CHEN Hao and SHI Zhenwei. A spatial-temporal attention-based method and a new dataset for remote sensing image change detection[J]. Remote Sensing, 2020, 12(10): 1662. doi: 10.3390/rs12101662.
[39]	JIANG Huiwei, HU Xiangyun, LI Kun, et al. PGA-SiamNet: Pyramid feature-based attention-guided Siamese network for remote sensing orthoimagery building change detection[J]. Remote Sensing, 2020, 12(3): 484. doi: 10.3390/rs12030484.
[40]	ZHAN Yang, FU Kun, YAN Menglong, et al. Change detection based on deep Siamese convolutional network for optical aerial images[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1845–1849. doi: 10.1109/LGRS.2017.2738149.
[41]	SUN Chen, SHRIVASTAVA A, SINGH S, et al. Revisiting unreasonable effectiveness of data in deep learning era[C]. The 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 843–852. doi: 10.1109/ICCV.2017.97.
[42]	ALBAHLI S and ALBATTAH W. Deep transfer learning for COVID-19 prediction: Case study for limited data problems[J]. Current Medical Imaging, 2021, 17(8): 973–980. doi: 10.2174/1573405616666201123120417.
[43]	HAO Hanxiang, BAIREDDY S, BARTUSIAK E R, et al. An attention-based system for damage assessment using satellite imagery[C]. 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS, Brussels, Belgium, 2021: 4396–4399. doi: 10.1109/IGARSS47720.2021.9554054.
[44]	SEO M, LEE H, JEON Y, et al. Self-pair: Synthesizing changes from single source for object change detection in remote sensing imagery[C]. The 2023 IEEE/CVF Winter Conference on Applications of Computer Vision, Waikoloa, USA, 2023: 6363–6372. doi: 10.1109/WACV56688.2023.00631.
[45]	CHEN Hao, LI Wenyuan, and SHI Zhenwei. Adversarial instance augmentation for building change detection in remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5603216. doi: 10.1109/TGRS.2021.3066802.
[46]	KUMDAKCI H, ÖNGÜN C, and TEMIZEL A. Generative data augmentation for vehicle detection in aerial images[C]. Pattern Recognition. ICPR International Workshops and Challenges, 2021: 19–31. doi: 10.1007/978-3-030-68793-9_2.
[47]	ZHU Junyan, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]. The 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 2242–2251. doi: 10.1109/ICCV.2017.244.
[48]	JIANG Yuchen, ZHU Bin, and XIE Bo. Remote sensing images data augmentation based on style transfer under the condition of few samples[J]. Journal of Physics: Conference Series, 2020, 1653(1): 012039. doi: 10.1088/1742-6596/1653/1/012039.
[49]	ZHAO Yihao, WU Ruihai, and DONG Hao. Unpaired image-to-image translation using adversarial consistency loss[C]. 16th European Conference on Computer Vision, Glasgow, UK, 2020: 800–815. doi: 10.1007/978-3-030-58545-7_46.
[50]	ISOLA P, ZHU Junyan, ZHOU Tinghui, et al. Image-to-image translation with conditional adversarial networks[C]. The 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 5967–5976. doi: 10.1109/CVPR.2017.632.
[51]	DAUDT R C, LE SAUX B, and BOULCH A. Fully convolutional Siamese networks for change detection[C]. 2018 25th IEEE International Conference on Image Processing (ICIP), Athens, Greece, 2018: 4063–4067. doi: 10.1109/ICIP.2018.8451652.
[52]	FANG Sheng, LI Kaiyu, SHAO Jinyuan, et al. SNUNet-CD: A densely connected Siamese network for change detection of VHR images[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 8007805. doi: 10.1109/LGRS.2021.3056416.

施引文献

资源附件(0)

访问统计

图(6) / 表(2)

计量

文章访问数: 120
HTML全文浏览量: 58
PDF下载量: 17
被引次数: 0

1. 引言
2. 相关工作
2.1 遥感图像变化检测
2.2 遥感图像数据生成技术
3. BAG-GAN模型
3.1 模型框架
3.2 目标函数设计
3.3 变化检测样本对训练生成策略
4. 实验结果与分析
4.1 数据集
4.2 实验参数设置
4.3 评价指标
4.4 变化检测图像对生成
4.5 变化检测模型性能提升
5. 结束语

1. 引言
2. 相关工作
2.1 遥感图像变化检测
2.2 遥感图像数据生成技术
3. BAG-GAN模型
3.1 模型框架
3.2 目标函数设计
3.3 变化检测样本对训练生成策略
4. 实验结果与分析
4.1 数据集
4.2 实验参数设置
4.3 评价指标
4.4 变化检测图像对生成
4.5 变化检测模型性能提升
5. 结束语

参考文献(52)

施引文献

资源附件(0)

访问统计

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于一致性生成对抗的遥感多时相建筑物变化检测数据对生成技术

doi: 10.11999/JEIT240720

通讯作者:
周光尧　zhougy@aircas.an.cn

计量

Building Change Detection Data Generation Technology for Multi-temporal Remote Sensing Imagery Based on Consistent Generative Adversarial

1. 引言

2. 相关工作

2.1 遥感图像变化检测

2.2 遥感图像数据生成技术

3. BAG-GAN模型

3.1 模型框架

3.2 目标函数设计

3.3 变化检测样本对训练生成策略

4. 实验结果与分析

4.1 数据集

4.2 实验参数设置

4.3 评价指标

4.4 变化检测图像对生成

4.5 变化检测模型性能提升

5. 结束语

计量

目录

1. 引言

2. 相关工作

2.1 遥感图像变化检测

2.2 遥感图像数据生成技术

3. BAG-GAN模型

3.1 模型框架

3.2 目标函数设计

3.3 变化检测样本对训练生成策略

4. 实验结果与分析

4.1 数据集

4.2 实验参数设置

4.3 评价指标

4.4 变化检测图像对生成

4.5 变化检测模型性能提升

5. 结束语

留言板

基于一致性生成对抗的遥感多时相建筑物变化检测数据对生成技术

doi: 10.11999/JEIT240720

通讯作者: 周光尧 zhougy@aircas.an.cn

计量

出版历程

Building Change Detection Data Generation Technology for Multi-temporal Remote Sensing Imagery Based on Consistent Generative Adversarial

1. 引言

2. 相关工作

2.1 遥感图像变化检测

2.2 遥感图像数据生成技术

3. BAG-GAN模型

3.1 模型框架

3.2 目标函数设计

3.3 变化检测样本对训练生成策略

4. 实验结果与分析

4.1 数据集

4.2 实验参数设置

4.3 评价指标

4.4 变化检测图像对生成

4.5 变化检测模型性能提升

5. 结束语

计量

出版历程

目录

1. 引言

2. 相关工作

2.1 遥感图像变化检测

2.2 遥感图像数据生成技术

3. BAG-GAN模型

3.1 模型框架

3.2 目标函数设计

3.3 变化检测样本对训练生成策略

4. 实验结果与分析

4.1 数据集

4.2 实验参数设置

4.3 评价指标

4.4 变化检测图像对生成

4.5 变化检测模型性能提升

5. 结束语

通讯作者:
周光尧　zhougy@aircas.an.cn