基于改进循环生成式对抗网络的图像风格迁移

张惊雷; 厚雅伟

doi:10.11999/JEIT190407

基于改进循环生成式对抗网络的图像风格迁移

doi: 10.11999/JEIT190407

张惊雷^,,
厚雅伟

1.
天津理工大学电气电子工程学院天津 300384
2.
天津市复杂系统控制理论及应用重点实验室天津 300384

详细信息

作者简介:
张惊雷：男，1969，教授，博士，研究方向为模式识别、图像处理等

厚雅伟：男，1995，硕士生，研究方向为图像处理、目标检测等

通讯作者:
张惊雷　zhangjinglei@tjut.edu.cn

中图分类号: TN911.73; TP317
计量
- 文章访问数: 5054
- HTML全文浏览量: 2447
- PDF下载量: 315
- 被引次数: 0
出版历程
- 收稿日期: 2019-06-05
- 修回日期: 2019-12-23
- 网络出版日期: 2019-12-31
- 刊出日期: 2020-06-04

Image-to-image Translation Based on Improved Cycle-consistent Generative Adversarial Network

Jinglei ZHANG^,,
Yawei HOU

1.
School of Electrical and Electronic Engineering, Tianjin University of Technology, Tianjin 300384, China
2.
Tianjin Key Laboratory of Complex System Control Theory and Application, Tianjin 300384, China

摘要

摘要:
图像间的风格迁移是一类将图片在不同领域进行转换的方法。随着生成式对抗网络在深度学习中的快速发展，其在图像风格迁移领域中的应用被日益关注。但经典算法存在配对训练数据较难获取，生成图片效果差的缺点。该文提出一种改进循环生成式对抗网络(CycleGAN++)，取消了环形网络，并在图像生成阶段将目标域与源域的先验信息与相应图片进行纵深级联；优化了损失函数，采用分类损失代替循环一致损失，实现了不依赖训练数据映射的图像风格迁移。采用CelebA和Cityscapes数据集进行实验评测，结果表明在亚马逊劳务平台感知研究(AMT perceptual studies)与全卷积网络得分(FCN score)两个经典测试指标中，该文算法比CycleGAN, IcGAN, CoGAN, DIAT等经典算法取得了更高的精度。
- 图像风格迁移 /
- 深度学习 /
- 生成式对抗网络 /
- 损失函数
Abstract:
Image-to-image translation is a method to convert images in different domains. With the rapid development of the Generative Adversarial Network(GAN) in deep learning, GAN applications are increasingly concerned in the field of image-to-image translation. However, classical algorithms have disadvantages that the paired training data is difficult to obtain and the convert effect of generation image is poor. An improved Cycle-consistent Generative Adversarial Network(CycleGAN++) is proposed. New algorithm removes the loop network, and cascades the prior information of the target domain and the source domain in the image generation stage, The loss function is optimized as well, using classification loss instead of cycle consistency loss, realizing image-to-image translation without training data mapping. The evaluation of experiments on the CelebA and Cityscapes dataset show that new method can reach higher precision under the two classical criteria—Amazon Mechanical Turk perceptual studies(AMT perceptual studies) and Full-Convolutional Network score(FCN score), than the classical algorithms such as CycleGAN, IcGAN, CoGAN, and DIAT.
- Image-to-image translation /
- Deep learning /
- Generative Adversarial Network (GAN) /
- Loss function

HTML全文

1. 引言

无线目标定位技术在军民领域都发挥着重要作用，近年来成为国内外研究热点。在定位理论研究中，以点源模型为基础的定位算法具有简单的计算方法和较高精度的定位结果^[1,2]。但在实际移动通信、雷达和声呐等应用领域中，受复杂环境下的散射、反射等因素影响，大量多径信号存在，导致信号源在空间发生一定的角度扩展，具有了比点源更复杂的空间分布特性，在这种情况下，需要将目标信源建立为一个分布源模型^[3]。如果此时仍使用点源模型进行定位，将导致算法性能恶化，甚至无法提供可靠的定位结果。

分布源定位作为复杂电磁环境下目标位置估计的重点和难点问题，近年来已得到较为广泛的研究，其中传统算法首先估计目标信号的AOA, TOA等定位参数，然后根据得到的定位参数计算目标位置。为便于分析分布源定位问题，角度密度函数概念被提出用于描述信号的空间分布特性，体现接收信号角度扩展状态^[4]。基于此理论，子空间类算法^[5]、波束形成类算法^[6]、最大似然类算法^[7]和稀疏重构类算法^[8]等分布源参数求解算法被相继提出。随着非圆信号的普遍应用，利用其特征提高分布源参数估计精度的方法也得到研究。其中，文献[9]给出了一种基于互相关矩阵的分布式非圆信号的1维角度估计算法。文献[10]给出了一种基于稀疏表示的非圆分布源角度估计算法。文献[11]给出了一种基于自动匹配的低维非圆分布源2维角度估计算法，上述算法在利用非圆特征后，均获得了更好的参数估计效果。

通过上述方法获得分布源定位参数估计结果后，需要通过Chan算法、泰勒级数展开等方法完成目标位置估计。虽然这种先进行参数估计然后再进行位置解算的两步定位方法简单便于实现，但仍存在几点不足：一是在参数估计阶段忽略了信号来自于同一目标这一先验信息，观测站之间缺乏限制和联系，损失了部分位置信息；二是分布源参数估计精度易受复杂环境影响，第1步引进的参数估计误差将影响第2步位置解算精度，误差的传递和累积不可避免。因此，这种两步定位方法是一种次优估计，不能获得最佳的定位精度^[12]。与两步定位算法相比，近些年被提出的数据域直接定位算法(Direct Position Determination, DPD)避免了参数估计和位置解算分布计算带来的缺陷，利用采样信号直接估计目标位置能够获得更好定位效果^[13,14]。由于DPD算法的优良性能，其在阵列信号处理中得到了广泛应用^[15]。由于DPD算法可以有效利用信号的波形特征，因此Wang等人^[16]提出了基于恒模信号特征的直接定位算法，Lu等人^[17]提出了基于OFDM信号特征的DPD算法，都取得了较好的定位效果。在针对非圆信号研究中，Yin等人^[18]给出了基于非圆信号特征的扩展子空间数据融合直接定位算法，定位性能较圆信号模型下具有较大提升。将直接定位思想引入到分布源定位中，Shalom等人^[19]提出了一种圆信号条件下分布源直接定位算法，给出了满足高斯扩展条件下的分布源定位模型，并通过最大似然方法求解，与两步定位方法相比，提升了分布源目标定位精度。然而算法计算复杂，且仅针对高斯分布模型的相干分布源适用，并缺少了对信号特征的利用，定位性能仍有提升空间。

综上所述，两步定位方法虽然利用非圆信号特征提高了参数估计精度，但受制于其固有缺陷，并不能获得最优的定位精度。而现有直接定位算法在解决分布源定位时，缺乏对信号特征的利用，依赖于分布模型，定位性能仍有待提高。为此，本文在现有算法基础上，针对相干分布源提出一种基于对称旋转不变性的非圆信号数据域融合直接定位算法，不需要依赖分布模型，且利用非圆信号特征进一步提高了定位精度，提升算法实用价值。

2. 直接定位模型

根据散射特性不同，分布源主要分为相干分布源和非相干分布源。由于在低仰角雷达、移动通信等环境下，信号一般是相干的，因此本文仅考虑相干分布源的定位问题。假设 $L$ 个观测站和 $P$ 个分布源目标均为静止状态，观测站由 $(2M + 1)$ 元直线阵组成，阵元间距为 ${d_m}$ ，且观测站已完成时间同步。观测站第1个阵元的坐标为 ${{{o}}_l} \!=\! ({o_{l,x}},{o_{l,y}}),l \!=\! 1,2,·\!·\!·,L$ ，目标坐标为 ${{u}}_p^{} = ({u_{p,x}},{u_{p,y}}),p = 1,2,·\!·\!·,P$ ，不同目标信号之间相互独立。第 $l$ 个观测站的接收信号 ${{{r}}_l}$ 可以表示为

$\begin{aligned} {{{r}}_l}\left( t \right) =& \sum\limits_{p = 1}^P {} \int_{ - {{π}}}^{{π}} {{{{b}}_l}\left( {\phi _{l,p}^{}({{u}}_p^{})} \right)} s_p^{}(\phi _{l,p}^{}({{u}}_p^{}) \\ & - \theta _{l,p}^{}({{u}}_p^{}),t){\rm d}\phi _{l,p}^{}({{u}}_p^{}) + {{{w}}_l}\left( t \right),0 \le t \le T \end{aligned}$

(1)

其中， ${{{b}}_l}\left( {\phi _{l,p}^{}({{u}}_p^{})} \right)$ 为阵列导向矢量， $\phi _{l,p}^{}({{u}}_p^{})$ 表示具有分布特性的入射角， $s_p^{}(\phi _{l,p}^{}({{u}}_p^{}) - \theta _{l,p}^{}({{u}}_p^{}),t)$ 为角信号密度函数， ${{{w}}_l}\left( t \right)$ 为零均值高斯白噪声。 $\theta _{l,p}^{}({{u}}_p^{})$ 为目标的中心波达方向，由 ${\theta _{l,p}}({{u}}_p^{}) =$ $\arctan ({u_{p,y}} - {o_{l,y}})/({u_{p,x}} - {o_{l,x}})$ 给出。

在相干分布源模型下，角信号密度函数可以写为

$\begin{align} & s_p^{}(\phi _{l,p}^{}({{u}}_p^{}) - \theta _{l,p}^{}({{u}}_p^{}),t) \\ & \quad = s_p^{}(t)g_p^{}(\phi _{l,p}^{}({{u}}_p^{}) - \theta _{l,p}^{}({{u}}_p^{})) \end{align}$

(2)

其中， $g_p^{}(\phi _{l,p}^{}({{u}}_p^{}) - \theta _{l,p}^{}({{u}}_p^{}))$ 是一个以 $\theta _{l,p}^{}({{u}}_p^{})$ 为对称中心的单峰确定性分布函数，且满足

$\int_{ - {{π}}}^{{π}} {g_p^{}(\phi _{l,p}^{}({{u}}_p^{}) - \theta _{l,p}^{}({{u}}_p^{})){\rm d}\phi _{l,p}^{}({{u}}_p^{})} = 1$

(3)

设扩展阵列矢量 ${{{c}}_l}$ 为

$\begin{align} {{{c}}_{l,p}}({{u}}_p^{}) =& \int_{ - {{π}}}^{{π}} {{{b}}_{l,p}}\left( {\phi _{l,p}^{}({{u}}_p^{})} \right)g_p^{}(\phi _{l,p}^{}({{u}}_p^{}) \\ &- \theta _{l,p}^{}({{u}}_p^{})){\rm d}\phi _{l,p}^{}({{u}}_p^{}) \end{align}$

(4)

则经过离散采样后，观测信号可以表示为

${{{r}}_l}[n] \!= \sum\limits_{p = 1}^P {} {{{c}}_{l,p}}({{u}}_p^{})s_p^{}[n] + {{{w}}_l}[n],\;\;\;n = 1,2, ·\!·\!· ,N$

(5)

其中， $N$ 表示采样点数。令 ${{s}} \!=\! [s_1^{},s_2^{},·\!·\!·,s_P^{}]_{}^{\rm{T}}$ , ${{{C}}_l}({\tilde{ u}}) \!=$ $[{{{c}}_{l,1}}({{u}}_1^{}),{{{c}}_{l,2}}({{u}}_2^{}),·\!·\!·,{{{c}}_{l,P}}({{u}}_P^{})]$ ，其中 ${\tilde{ u}} = [{{u}}_1^{\rm{T}},{{u}}_2^{\rm{T}},·\!·\!·,$ ${{u}}_P^{\rm{T}}]_{}^{\rm{T}}$ 代表 $P$ 个目标的位置参数矢量。则 ${{{r}}_l}$ 可以表示为

${{{r}}_l} = {{{C}}_l}({\tilde{ u}}){{s}} + {{{w}}_l}$

(6)

根据统计特性是否具有旋转不变性，信号可分圆信号与非圆信号。其中非圆信号有式(7)的性质

${\rm{E}}\left[ {s_p^2} \right] = \rho e_{}^{{\rm j}\varphi _p^{}}{\rm{E}}\left[ {\left| {s_p^{}} \right|_{}^2} \right]$

(7)

其中， $0 \le \rho \le 1$ 为非圆率， $\varphi _p^{}$ 为非圆相位。由于BPSK, MASK, AM等常用信号的非圆率均为1，因此本文主要研究 $\rho = 1$ 的非圆信号定位问题。结合式(7)，由于信号之间互相独立，可以得到

${\overset{\frown}{ R}}_s^{} = {\rm{E}}\left[{{ss}}_{}^{\rm{T}}\right] = \varPhi _\varphi ^{}{{R}}_s^{}$

(8)

其中， $\Phi _\varphi ^{} = {\rm{diag\{ }}[e_{}^{{\rm j}\varphi _1^{}},e_{}^{{\rm j}\varphi _2^{}}, ·\!·\!· ,e_{}^{{\rm j}\varphi _P^{}}]\}$ ，对角线元素由各个目标非圆相位组成。相应地可以得到

${\overset{\frown}{ R}}_l^{} = {\rm{E}}[{{r}}_l^{}{{r}}_l^{\rm{T}}] = {{{C}}_l}({\tilde{ u}}){\overset{\frown}{ R}}_s^{}{{C}}_l^{\rm{H}}({\tilde{ u}})$

(9)

为了利用上述非圆信息，令 ${\tilde{ r}}_l^{} = \left[{{r}}_l^{\rm{T}},{{r}}_l^{\rm{H}}\right]^{\rm{T}}$ ，则有

${\tilde{ R}}_l^{} = {\rm{E}}\left[{\tilde{ r}}_l^{}{\tilde{ r}}_l^{\rm{H}}\right] = \left[ {\begin{array}{*{20}{c}} \begin{gathered} {{R}}_l^{} \\ {\overset{\frown}{ R}}_l' \\ \end{gathered} &\begin{gathered} {\overset{\frown}{ R}}_l^{} \\ {{R}}_l' \\ \end{gathered} \end{array}} \right]$

(10)

其中， ${{R}}_l^{} = {\rm{E}}[{{r}}_l^{}{{r}}_l^{\rm{H}}] = {{{C}}_l}({\tilde{ u}}){{R}}_s^{}{{C}}_l^{\rm{H}}({\tilde{ u}})$ , $[ \cdot ]_{}^{\rm{H}}$ 表示共轭转置矩阵， $[ \cdot ]_{}'$ 表示共轭矩阵。对 ${\tilde{ R}}_l^{}$ 进行子空间分解，得到

${\tilde{ R}}_l^{} = {{U}}_{l,s}^{}{Σ} _{l,s}^{}{{U}}_{l,s}^{\rm{H}} + \sigma _{l,w}^2{{U}}_{l,w}^{}{{U}}_{l,w}^{\rm{H}}$

(11)

其中， ${{U}}_{l,s}^{}$ 为信号子空间， ${{U}}_{l,w}^{}$ 为噪声子空间。下面将基于 ${\tilde{ R}}_l^{}$ 给出联合多个观测站接收信号的直接定位方法。

3. 基于旋转不变性的直接定位算法

根据第2节提出的定位模型，文献[19]基于高斯分布模型给出了一种最大似然直接定位算法，计算复杂度较高。文献[20]给出了一种基于子空间数据融合直接定位算法，但并未避免对模型的依赖。为了提升算法实用性，避免对分布模型的依赖，本节将提出一种基于旋转不变性的数据域融合直接定位算法，可以处理未知分布模型的目标定位问题，下面详细介绍算法原理。

首先根据阵列理论，对于任意的中心对称阵列，以中心阵元为参考，阵列导向矢量 ${{{b}}_{l,p}}$ 具有旋转不变性，即满足式(12)

${{Γ}}{{{b}}_{l,p}} = {{Π}}_p^{}{{{b}}_{l,p}}$

(12)

其中， ${{Γ}}$ 为反转矩阵，其反对角线元素全为1，其余元素为0，即

${{Γ}} = \left[ {\begin{array}{*{20}{c}} {{0}}&{{0}}&1 \\ {{0}}& \vdots &{{0}} \\ 1&{{0}}&{{0}} \end{array}} \right]$

(13)

其中， ${{0}}$ 表示全0矩阵。 ${{Π}}_p^{}$ 为对角矩阵

$\begin{align} & {{Π}}_p^{} = {\rm{diag}}\left\{ \exp\Big( - {\rm j}4{{π}}{d}{{m}}\cos \Big(\theta _{l,p}^{}({{u}}_p^{})\Big)\Big)\right\} ,\\ & {{m}} = [ - M, - M + 1, ·\!·\!· ,0,1, ·\!·\!· ,M - 1,M] \end{align}$

(14)

由于分布函数 $g_p^{}$ 是一个以 $\theta _{l,p}^{}({{u}}_p^{})$ 为对称中心的单峰确定性分布函数，在小角度扩展条件下，设 $\phi _{l,p}^{}({{u}}_p^{}) = \theta _{l,p}^{}({{u}}_p^{}) + \tilde \theta$ ，其中 $\tilde \theta$ 为到达角相对于中心角的偏移量。则式(4)可以表示为

${{{c}}_{l,p}}({{u}}_p^{},{\sigma _p}) = \int_{ - {{π}}}^{{π}} {{{{b}}_{l,p}}\left( {\theta _{l,p}^{}({{u}}_p^{}) + \tilde \theta } \right)g_p^{}(\tilde \theta ,{{u}}_p^{}){\rm d}\tilde \theta }$

(15)

从而可以得到 ${{{c}}_{l,p}}({{u}}_p^{},{\sigma _p})$ 的近似表达式为

$\begin{aligned} [{{{c}}_{l,p}}({{u}}_p^{},{\sigma _p})]_m^{} \approx & \exp \left( - {\rm j}2{{π}}{d}m\cos \Big(\theta _{l,p}^{}({{u}}_p^{})\Big)\right)\\ &\int_{ - {{π}}}^{{π}} \exp \left({\rm j}2{{π}}{d}m\tilde \theta \sin \Big(\theta _{l,p}^{}({{u}}_p^{})\Big)\right)\\ & \cdot g_p^{}(\tilde \theta ,{{u}}_p^{}){\rm d}\tilde \theta \\ = & [{{{b}}_{l,p}}\Big( {\theta _{l,p}^{}({{u}}_p^{})} \Big)]_m^{}[{{y}}_p^{}\left({{u}}_p^{}\right)]_m \end{aligned}$

(16)

其中，

$\begin{align} [{{y}}_p^{}({{u}}_p^{})]_m^{} =& \int_{ - {{π}}}^{{π}} \exp \left({\rm j}2{{π}}{d}m\tilde \theta \sin \Big(\theta _{l,p}^{}({{u}}_p^{})\Big)\right)\\ & \cdot g_p^{}\left(\tilde \theta ,{{u}}_p^{}\right){\rm d}\tilde \theta \end{align}$

(17)

由于 $g_p^{}(\tilde \theta ,{{u}}_p^{})$ 为单峰对称函数，关于 $\tilde \theta$ 偶对称，因此可以得到如式(18)的对称性

$[{{y}}_p^{}({{u}}_p^{})]_m^{} = [{{y}}_p^{}({{u}}_p^{})]_{( - m)}^{}$

(18)

结合 ${{{b}}_{l,p}}$ 的旋转不变性，可以得到 ${{{c}}_{l,p}}({{u}}_p^{},{\sigma _p})$ 具有相同的性质，即 ${{Γ}}{{{c}}_{l,p}} = {{Π}}_p^{}{{{c}}_{l,p}}$ 。根据式(10)，由于利用非圆特性后，协方差矩阵维度得到了扩展，令

${{c}}_{l,p}^{{\rm{NC}}}({{u}}_p^{},{\sigma _p},\varphi _p^{}) = \left[ \begin{gathered} {{c}}_{l,p}^{}({{u}}_p^{},{\sigma _p}) \\ {{c}}_{l,p}'({{u}}_p^{},{\sigma _p})e_{}^{ - j\varphi _p^{}} \\ \end{gathered} \right]$

(19)

则 ${{c}}_{l,p}^{{\rm{NC}}}({{u}}_p^{},{\sigma _p},\varphi _p^{})$ 具有如 ${{{b}}_{l,p}}$ 同样的旋转不变关系，即满足

${\tilde{{{Γ}}}{{c}}}_{l,p}^{{\rm{NC}}} = {\tilde{{{Π}}}}_p^{}{{c}}_{l,p}^{{\rm{NC}}}$

(20)

其中，

${\tilde{{{Γ}}}} = \left[ \begin{gathered} \begin{array}{*{20}{c}} {{Γ}}&{{0}} \end{array} \\ \begin{array}{*{20}{c}} {{0}}&{{Γ}} \end{array} \\ \end{gathered} \right],{\tilde{{{Π}}}}_p^{} = \left[ \begin{gathered} \begin{array}{*{20}{c}} {{{Π}}_p^{}}&{{0}} \end{array} \\ \begin{array}{*{20}{c}} {{0}}&{{{Π}}_p'} \end{array} \\ \end{gathered} \right]$

(21)

设 ${{{C}}_{{\rm{NC,l}}}} = [{{c}}_{l,1}^{{\rm{NC}}},{{c}}_{l,2}^{{\rm{NC}}}, ·\!·\!· ,{{c}}_{l,P}^{{\rm{NC}}}]$ ，从而式(10)可以表示为

${\tilde{ R}}_l^{} = {\rm{E}}[{\tilde{ r}}_l^{}{\tilde{ r}}_l^{\rm{H}}] = {{{C}}_{{\rm{NC,}}l}}{{R}}_s^{}{{C}}_{{\rm{NC,}}l}^{\rm{H}} + \sigma _{l,w}^2{{I}}_{2M}^{}$

(22)

根据子空间特性，信号子空间 ${{U}}_{l,x}^{}$ 的列向量张成的空间与 ${{{C}}_{{\rm{NC}},l}}$ 的列向量张成的空间相同，因此存在 $P$ 阶非奇异矩阵 ${{D}}$ 使式(23)成立

${{U}}_{l,x}^{} = {{{C}}_{{\rm{NC,}}l}}{{D}}$

(23)

为利用 ${{c}}_{l,p}^{{\rm{NC}}}$ 的旋转不变性，构造函数

${{F}}({{u}}) = {{\tilde{{{Γ}}} {{U}}}_{l,x}^{} - {{Q}}({{u}}){{U}}_{l,x}^{}$

(24)

其中， ${{Q}}({{u}})$ 为

$\begin{aligned} &{{Q}}({{u}}) \\ & = \left[\! \begin{gathered} {{\rm{diag}}\left\{ \exp \Big( - {\rm j}4{{π}}{d}{{m}}\cos \Big(\theta _{l,p}^{}\Big({{u}}\Big)\Big)\Big)\right\} } { \; \; \; \; \; {{0}}} \\ {\; \; \; \; \; {{0}}} {\; \; \; \; {\rm{diag}}\left\{ \exp \Big({\rm j}4{{π}}{d}{{m}}\cos \Big(\theta _{l,p}^{}\Big({{u}}\Big)\Big)\Big)\right\} } \end{gathered} \right],\\ &{{m}} = [ - M, - M + 1,·\!·\!·,0,1,·\!·\!·,M - 1,M] \end{aligned}$

(25)

根据式(20)，式(24)可以表示为

$\begin{align} {{F}}({{u}}) =& {\tilde{{{Γ}}}}{{{C}}_{{\rm{NC,l}}}}{{D}} - {{Q}}({{u}}){{{C}}_{{\rm{NC,l}}}}{{D}} \\ =& \left[ \left({\tilde{{{Π}}}}_1^{} - {{Q}}({{u}})\right)\!\!{{c}}_{l,1}^{{\rm{NC}}},\!\left({\tilde{{{Π}}}}_2^{} - {{Q}}({{u}})\right)\!{{c}}_{l,2}^{{\rm{NC}}}, ·\!·\!· ,\right.\\ & \left. \left({\tilde{{{Π}}}}_P^{} - {{Q}}({{u}})\right){{c}}_{l,P}^{{\rm{NC}}} \right]{{D}} \end{align}$

(26)

根据式(26)，如果 ${{Q}}({{u}}) = {\tilde{{{Π}}}}_p^{}$ ，则 ${{F}}({{u}})$ 的第 $p$ 列为0，从而 ${{F}}({{u}})$ 为缺秩矩阵，此时 $\det \{ {{F}}_{}^{\rm{H}}({{u}}){{F}}({{u}})\}$ = 0，因此可以利用此特点得到目标的位置估计为

${{{{\hat}}^\!\!\!\!\!\!\, { u}}} = \mathop {\arg \min }\limits_{({{u}})} \; \; \; 1 \biggr/\sum\limits_{l = 1}^L {\det \{ {{F}}_{}^{\rm{H}}({{u}}){{F}}({{u}})\}}$

(27)

综上所述，在利用式(27)估计目标位置时，由于利用了旋转不变关系，所以并不需要已知分布源的具体分布模型，避免了对分布模型的依赖，提高了算法的适用范围，同时通过利用非圆信号特征扩展了子空间维度，在同样阵列条件下，可以同时对更多目标展开定位。仿真实验中将会对算法性能进一步验证。由于利用了非圆特性和旋转不变性，为便于描述，简称本文算法为SSI-DPD算法。根据上述原理分析，SSI-DPD算法流程为

输入: 观测站接收数据： ${{r}}_l^{},l = 1,2,·\!·\!·,L$ ；其他参数： ${{{u}}_l},{f_c},N,M,P\,$

步骤1　构造接收数据 ${\tilde{ r}}_l^{} = [{{r}}_l^{\rm{T}},{{r}}_l^{\rm{H}}]_{}^{\rm{T}}$ ，计算自相关矩阵 ${\hat \tilde{ R}}_l^{} = 1\Bigr/N \displaystyle\sum\nolimits_{n = 1}^N {{\tilde{ r}}_l^{}(n){\tilde{ r}}_l^{\rm{H}}(n)}$ ；

步骤2　对 ${\hat \tilde{ R}}_l^{}$ 进行特征值分解，获得信号子空间 ${{U}}_{l,{{w}}}^{}$ ；

步骤3　确定位置的搜索区间和搜索间隔，根据式(25)计算每一个位置对应矩阵 ${{Q}}({{u}})$ ；

步骤4　根据式(24)计算 ${{F}}({{u}})$ ；

步骤5　融合所有观测站数据，利用式(27)估计目标位置 ${\hat{u}}$ 。

4. 仿真实验

为了显示与现有算法的性能差异，本节实验的对比算法主要包括：(1)本文提出的利用旋转不变关系的非圆相干分布源直接定位算法(简称SSI-DPD算法)；(2)文献[20]给出的在已知高斯分布模型下的相干分布源子空间类直接定位算法(为做对比，加入非圆信息，简称GSDF-DPD算法)；(3)文献[18]提出的点源模型下非圆信号子空间直接定位算法(简称ESDF-DPD算法)；(4)基于圆信号的相干分布源直接定位算法(简称CSDF-DPD算法)。

假设观测站和目标均位于2维平面内，观测站个数 $L = 4$ ，每个观测站由 $M = 7$ 元均匀线阵组成，阵元间距为半波长，观测站坐标分别为 ${{{o}}_1} =$ $( - 1500, - 2000)$ m, ${{{o}}_2} = ( - 1500,2000)$ m, ${{{o}}_3} =$ $(1500,2000)$ m, ${{{o}}_4} = (1500, - 2000)$ m。目标发送信号采用高斯随机信号，载波频率 ${f_p} = 1\ {\rm GHz}$ 。观测站采样频率为 ${f_s} = 1\ {\rm MHz}$ ，采样点数为 $N = 200$ 。假设存在两个分布源，分别位于 ${{u}}_1^{} =$ $( - 1000,0)$ m和 ${{u}}_2^{} = ( - 500,0)$ m，空间散射体扩展半径方差为 ${{{c}}_\sigma } = [200,200]$ m，非圆信号相位为 ${{g}}_\varphi ^{} = [{{π}}/3,{{π}}/5]$ 。

为了验证所提算法对分布源的定位性能，首先假设两个分布源均满足高斯分布。在信噪比SNR=10 dB条件下，得到各算法的空间谱图如图1所示，其中x轴和y轴为位置坐标，z轴为归一化的目标函数值。从图1可以看出，虽然ESDF-DPD算法利用了非圆信号特征，但是基于点源模型，因此峰值不够尖锐。CSDF-DPD基于分布源模型，算法能够对两个目标进行有效定位，但是没有利用非圆特性，谱峰平缓。与之相比，GSDF-DPD算法利用了非圆特性，且基于高斯分布源模型获得，因此定位精度得到提升。与GSDF-DPD算法相比，SSI-DPD算法不需已知分布源模型，达到了与其相同的定位效果，证明了算法的有效性。

图 1 各算法空间谱图

下载: 全尺寸图片幻灯片

为了进一步说明算法的定位性能，进行100次蒙特卡洛仿真实验，将不同算法的定位均方根误差(Root Mean Square Error, RMSE)随信噪比的变化趋势进行对比，结果如图2所示。从图中可以看出，在低信噪比下，由于噪声是影响定位精度的主要因素，基于非圆信号特征的3种算法性能基本相同。随着信噪比的提高，由于ESDF-DPD算法基于点源模型，存在固有的系统误差，因此定位性能不会随信噪比的提升有显著提高。CSDF-DPD算法虽然基于分布源模型，但是未利用非圆特征，性能较差。与之相比，GSDF-DPD和SSI-DPD算法定位精度更高，且性能基本一致，随信噪比的提高，定位精度不断提升。图1和图2的仿真结果说明本文给出的SSI-DPD算法不仅能够解决分布源定位问题，而且达到了与已知分布模型算法一致的定位性能，证明了本文算法的正确性。

图 2 算法定位均方根误差随信噪比的变化趋势

下载: 全尺寸图片幻灯片

为了验证算法在多类型分布源混合场景下的定位性能，假设目标1为高斯分布源，目标2为均匀分布源，在SNR=10 dB条件下，得到GSDF-DPD和SSI-DPD算法的空间谱图如图3所示，进行100次蒙特卡洛仿真实验，得到估计误差随信噪比的变化趋势如图4所示。从仿真结果可以看出，由于GSDF-DPD算法根据高斯分布模型得到，因此只能解决高斯分布源定位问题，而针对均匀分布源，GSDF-DPD算法由于存在模型误差，定位性能较差。而SSI-DPD算法定位性能明显优于GSDF-DPD算法，对两种分布模型目标均能得到高精度定位结果。上述两个仿真说明，本文所提SSI-DPD算法不再依赖分布模型，针对分布源混合存在场景，依然能够有效定位，且具有较高的定位精度，提升了算法实用价值。

图 3 算法空间谱图

下载: 全尺寸图片幻灯片

图 4 算法定位性能随信噪比的变化趋势

下载: 全尺寸图片幻灯片

信号采样点数对算法定位性能有较大影响，在 ${\rm SNR} = 5 \ {\rm dB}$ 条件下，图5给出了算法定位误差随采样点数的变化趋势，其中两个目标均为高斯分布源。从图中可以看到，受限于模型误差，ESDF-DPD算法定位误差随采样点数的增加性能提升有限。SSI-DPD算法定位误差随采样点数的增加下降明显，与GSDF-DPD算法性能一致，且一直好于CSDF-DPD和ESDF-DPD算法。仿真结果表明，低采样点条件下SSI-DPD算法可以达到高采样点条件下CSDF-DPD算法的定位性能，即实际应用中缩短了观测时间，可以增加目标定位的时效性。

图 5 算法定位性能随快拍数的变化趋势

下载: 全尺寸图片幻灯片

5. 结论

相干分布源定位是复杂环境下的难点问题，为了进一步提高分布源定位精度，本文提出了基于对称旋转不变关系的直接定位算法，并结合了非圆信号特征提高目标定位性能。仿真实验给出了所提算法与其他定位算法的性能对比分析，证明所提算法定位精度更高，具有一定实用价值。

图 1 CycleGAN中单向GAN网络结构图

下载: 全尺寸图片幻灯片

图 2 CycleGAN++的网络结构

下载: 全尺寸图片幻灯片

图 3 CycleGAN++的生成网络

下载: 全尺寸图片幻灯片

图 4 CycleGAN++的判别网络

下载: 全尺寸图片幻灯片

图 5 CycleGAN与CycleGAN++的训练过程对比

下载: 全尺寸图片幻灯片

图 6 CycleGAN++在人物性别转换领域下的可视化结果

下载: 全尺寸图片幻灯片

图 7 CycleGAN++与原算法在CelebA测试集下的对比

下载: 全尺寸图片幻灯片

图 8 CycleGAN++与原算法在Cityscapes测试集下的对比

下载: 全尺寸图片幻灯片

表 1 CycleGAN+与原算法的AMT测试结果对比(%)

方法	男性→女性	女性→男性	照片→标签	标签→照片
CycleGAN	24.6±2.3	21.1±1.8	26.8±2.8	23.2±3.4
CycleGAN+	29.5±3.2	29.2±4.1	27.8±2.2	28.2±2.4

下载: 导出CSV

表 2 CycleGAN+与原算法的FCN得分结果对比

方法	每像素精度	每类精度	IoU分类
CycleGAN	0.52	0.17	0.11
CycleGAN+	0.60	0.21	0.16

下载: 导出CSV

表 3 CycleGAN++与CycleGAN+的AMT感知研究结果对比(%)

方法	男性→女性	女性→男性	照片→标签	标签→照片
CycleGAN+	29.5±3.2	29.2±4.1	27.8±2.2	28.2±2.4
本文CycleGAN++	31.4±3.8	32.6±4.7	30.1±2.6	30.9±2.7

下载: 导出CSV

表 4 CycleGAN++与CycleGAN+的FCN得分结果对比

方法	每像素精度	每类精度	IoU分类
CycleGAN+	0.60	0.21	0.16
本文CycleGAN++	0.69	0.27	0.23

下载: 导出CSV

表 5 各算法的AMT感知研究结果对比(%)

方法	男性→女性	女性→男性	照片→标签	标签→照片
CycleGAN^[12]	24.6±2.3	21.1±1.8	26.8±2.8	23.2±3.4
IcGAN^[22]	23.2±2.5	22.4±2.9	22.8±2.6	19.8±1.9
CoGAN^[10]	6.8±1.1	5.1±0.9	0.6±0.5	0.9±0.5
DIAT^[21]	31.1±3.9	30.2±3.6	28.4±2.9	27.2±2.5
本文CycleGAN++	31.4±3.8	32.6±4.7	30.1±2.6	30.9±2.7

下载: 导出CSV

表 6 各算法的FCN得分结果对比

方法	每像素精度	每类精度	IoU分类
CycleGAN^[12]	0.52	0.17	0.11
IcGAN^[22]	0.43	0.11	0.07
CoGAN^[10]	0.40	0.10	0.06
DIAT^[21]	0.68	0.24	0.21
本文CycleGAN++	0.69	0.27	0.23

下载: 导出CSV

参考文献(22)

HERTZMANN A, JACOBS C E, OLIVER N, et al. Image analogies[C]. The 28th Annual Conference on Computer Graphics and Interactive Techniques, New York, USA, 2001: 327–340. doi: 10.1145/383259.383295.

GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]. The 27th International Conference on Neural Information Processing Systems, Montreal, Canada, 2014: 2672–2680.

RADFORD A, METZ L, and CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks[EB/OL]. https://arxiv.org/abs/1511.06434, 2015.

ARJOVSKY M, CHINTALA S, and BOTTOU L. Wasserstein GAN[EB/OL]. https://arxiv.org/abs/1701.07875, 2017.

GULRAJANI I, AHMED F, ARJOVSKY M, et al. Improved training of wasserstein GANs[C]. The 31st International Conference on Neural Information Processing Systems, Red Hook, USA, 2017: 5769–5779.

ISOLA P, ZHU Junyan, ZHOU Tinghui, et al. Image-to-image translation with conditional adversarial networks[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 5967–5976. doi: 10.1109/CVPR.2017.632.

MIRZA M and OSINDERO S. Conditional generative adversarial nets[EB/OL]. https://arxiv.org/abs/1411.1784, 2014.

ROSALES R, ACHAN K, and FREY B. Unsupervised image translation[C]. The 9th IEEE International Conference on Computer Vision, Nice, France, 2003: 472–478. doi: 10.1109/ICCV.2003.1238384.

LIU Mingyu, BREUEL T, KAUTZ J, et al. Unsupervised image-to-image translation networks[C]. The 31st Conference on Neural Information Processing Systems, Long Beach, USA, 2017: 700–708.

LIU Mingyu and TUZEL O. Coupled generative adversarial networks[C]. The 30th Conference on Neural Information Processing Systems, Barcelona, Spain, 2016: 469–477.

KINGMA D P and WELLING M. Auto-encoding variational bayes[EB/OL]. https://arxiv.org/abs/1312.6114, 2013.

ZHU Junyan, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 2242–2251. doi: 10.1109/ICCV.2017.244.

KIM T, CHA M, KIM H, et al. Learning to discover cross-domain relations with generative adversarial networks[C]. The 34th International Conference on Machine Learning, Sydney, Australia, 2017: 1857–1865.

YI Zili, ZHANG Hao, TAN Ping, et al. DualGAN: Unsupervised dual learning for image-to-image translation[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 2868–2876. doi: 10.1109/ICCV.2017.310.

BOUSMALIS K, SILBERMAN N, DOHAN D, et al. Unsupervised pixel-level domain adaptation with generative adversarial networks[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 95–104. doi: 10.1109/CVPR.2017.18.

SHRIVASTAVA A, PFISTER T, TUZEL O, et al. Learning from simulated and unsupervised images through adversarial training[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 2242–2251. doi: 10.1109/CVPR.2017.241.

TAIGMAN Y, POLYAK A, and Wolf L. Unsupervised cross-domain image generation[EB/OL]. https://arxiv.org/abs/1611.02200, 2016.

LI Chuan and WAND M. Precomputed real-time texture synthesis with markovian generative adversarial networks[C]. The 14th European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 702–716. doi: 10.1007/978-3-319-46487-9_43.

LIU Ziwei, LUO Ping, WANG Xiaogang, et al. Deep learning face attributes in the wild[C]. 2015 IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 3730–3738. doi: 10.1109/ICCV.2015.425.

KINGMA D P and BA J. Adam: A method for stochastic optimization[EB/OL]. https://arxiv.org/abs/1412.6980, 2014.

LI Mu, ZUO Wangmeng, and ZHANG D. Deep identity-aware transfer of facial attributes[EB/OL]. https://arxiv.org/abs/1610.05586, 2016.

PERARNAU G, VAN DE WEIJER J, RADUCANU B, et al. Invertible conditional GANs for image editing[EB/OL]. https://arxiv.org/abs/1611.06355, 2016.

施引文献

资源附件(0)

访问统计

图(8) / 表(6)

计量

文章访问数: 5054
HTML全文浏览量: 2447
PDF下载量: 315
被引次数: 0

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于改进循环生成式对抗网络的图像风格迁移

doi: 10.11999/JEIT190407

作者简介:
张惊雷：男，1969，教授，博士，研究方向为模式识别、图像处理等

厚雅伟：男，1995，硕士生，研究方向为图像处理、目标检测等

通讯作者:
张惊雷　zhangjinglei@tjut.edu.cn

计量

Image-to-image Translation Based on Improved Cycle-consistent Generative Adversarial Network

1. 引言

2. 直接定位模型

3. 基于旋转不变性的直接定位算法

4. 仿真实验

5. 结论

计量

目录

1. 引言

2. 直接定位模型

3. 基于旋转不变性的直接定位算法

4. 仿真实验

5. 结论

留言板

基于改进循环生成式对抗网络的图像风格迁移

doi: 10.11999/JEIT190407

作者简介: 张惊雷：男，1969，教授，博士，研究方向为模式识别、图像处理等 厚雅伟：男，1995，硕士生，研究方向为图像处理、目标检测等

通讯作者: 张惊雷 zhangjinglei@tjut.edu.cn

计量

出版历程

Image-to-image Translation Based on Improved Cycle-consistent Generative Adversarial Network

1. 引言

2. 直接定位模型

3. 基于旋转不变性的直接定位算法

4. 仿真实验

5. 结论

计量

出版历程

目录

1. 引言

2. 直接定位模型

3. 基于旋转不变性的直接定位算法

4. 仿真实验

5. 结论

作者简介:
张惊雷：男，1969，教授，博士，研究方向为模式识别、图像处理等

厚雅伟：男，1995，硕士生，研究方向为图像处理、目标检测等

通讯作者:
张惊雷　zhangjinglei@tjut.edu.cn