基于扩散生成对抗网络的文本生成图像模型研究

赵宏; 李文改

doi:10.11999/JEIT221400

基于扩散生成对抗网络的文本生成图像模型研究

doi: 10.11999/JEIT221400

赵宏,
李文改^,

兰州理工大学计算机与通信学院兰州 730050

基金项目: 国家自然科学基金(62166025)，甘肃省重点研发计划(21YF5GA073)

详细信息

作者简介:
赵宏：男，教授，博士生导师，研究方向为并行与分布式处理、嵌入式系统、系统建模与仿真、深度学习、自然语言处理等

李文改：女，硕士生，研究方向为图像生成等

通讯作者:
李文改　liwengai@foxmail.com

中图分类号: TN911.73; TP183
计量
- 文章访问数: 1180
- HTML全文浏览量: 654
- PDF下载量: 348
- 被引次数: 13
出版历程
- 收稿日期: 2022-11-08
- 修回日期: 2023-03-01
- 网络出版日期: 2023-03-06
- 刊出日期: 2023-12-26

Text-to-image Generation Model Based on Diffusion Wasserstein Generative Adversarial Networks

ZHAO Hong,
LI Wengai^,

School of Computing and Communication, Lanzhou University of Technology, Lanzhou 730050, China

Funds: The National Natural Science Foundation of China (62166025), The Science and Technology Project of Gansu Province (21YF5GA073)

摘要

摘要: 文本生成图像是一项结合计算机视觉(CV)和自然语言处理(NLP)领域的综合性任务。以生成对抗网络(GANs)为基础的方法在文本生成图像方面取得了显著进展，但GANs方法的模型存在训练不稳定的问题。为解决这一问题，该文提出一种基于扩散Wasserstein生成对抗网络(WGAN)的文本生成图像模型(D-WGAN)。在D-WGAN中，利用向判别器中输入扩散过程中随机采样的实例噪声，在实现模型稳定训练的同时，生成高质量和多样性的图像。考虑到扩散过程的采样成本较高，引入一种随机微分的方法，以简化采样过程。为了进一步对齐文本与图像的信息，提出使用基于对比学习的语言-图像预训练模型(CLIP)获得文本与图像信息之间的跨模态映射关系，从而提升文本和图像的一致性。在MSCOCO,CUB-200数据集上的实验结果表明，D-WGAN在实现稳定训练的同时，与当前最好的方法相比，FID分数分别降低了16.43%和1.97%，IS分数分别提升了3.38%和30.95%，说明D-WGAN生成的图像质量更高，更具有实用价值。
- 文本生成图像 /
- 生成对抗网络 /
- 扩散过程 /
- 对比学习的语言-图像预训练模型 /
- 语义匹配
Abstract: Text-to-image generation is a comprehensive task that combines the fields of Computer Vision (CV) and Natural Language Processing (NLP). Research on the methods of text to image based on Generative Adversarial Networks (GANs) continues to grow in popularity and have made some progress, but the methods of GANs model suffer from training instability. To address this problem, a text-to-image generation model based on Diffusion Wasserstein Generative Adversarial Networks (D-WGAN) is proposed, which generates high quality and diverse images and enables stable training process by feeding randomly sampled instance noise from the diffusion process into the discriminator. Considering the high cost of sampling the diffusion process, a stochastic differentiation method is introduced to simplify the sampling process. In order to align further the information of text and image, Contrastive Language-Image Pre-training (CLIP) model is introduced to obtain the cross-modal mapping relationship between text and image information, so as to improve the consistency of text and image. Experimental results on the MSCOCO and CUB-200 datasets show that D-WGAN achieves stable training while reducing Fréchet Inception Distance (FID) scores by 16.43% and 1.97%, respectively, and improving Inception Score (IS) scores by 3.38% and 30.95%, respectively. These results indicate that D-WGAN can generate higher quality images and has more practical value.
- Text-to-image generation /
- Generative Adversarial Network (GAN) /
- Diffusion process /
- Contrastive Language-Image Pre-training (CLIP) /
- Semantic matching

HTML全文

1. 引言

成对载波多址复用( Paired Carrier Multiple Access, PCMA)是一种用于提高卫星通信容量的技术^[1]，目前已得到广泛的应用。其非合作接收混合信号盲分离只能利用单通道两路数字同频混合信号盲分离方法来实现^[2–5]。

单通道盲分离由于存在较多未知因素，求解难度远高于正定盲分离，对不同的通信信号已经产生了一些针对性算法^[6–9]。这些成果都集中在算法研究上，最初对算法性能的度量主要通过计算机仿真实现，且只分析了低阶调制混合信号的分离，廖灿辉等人^[10–12]从双信号联合序列检测的最大似然准则出发，利用Forney 方法推出分离性能上界的解析表达式，但也是依托于维特比算法研究基础上，当前迫切需要摆脱分离算法束缚推导从信号本身角度出发的分离性能界。

本文针对MPSK, MQAM调制PCMA混合信号，从发送信号角度出发推导与分离算法无关的性能界表达式，首先将问题简化为单路信号接收情形分析其分离性能界，然后扩展为两路同频混合信号形式，推导混合信号单通道盲分离性能界，最后通过仿真对影响性能界的相关因素进行了分析。

2. 信号模型

PCMA系统中，地面站接收到两个MPSK或QAM混合而成的调制信号，其调制方式相同、载波频率以及符号速率极为接近^[1]。将接收信号按符号速率进行采样，有

$\begin{aligned} {y_k} = &{H_1}{{\rm{e}}^{{\rm{j}} (2{{π}} {f_1}k{T_s} + {\theta _1})}}{x_{1,k}} \\ &+ {H_2}{{\rm{e}}^{{\rm{j}} (2{{π}}{f_2}k{T_s} + {\theta _2})}}{x_{2,k}} + {v_k} \end{aligned}$

(1)

其中，H_i, f_i, ${\theta _i}$ 分别是第i路信号幅度、频偏、载波初始相位；v_k为高斯白噪声，方差 ${\sigma ^2}$ ; ${x_{1,k}}$ 和 ${x_{2,k}}$ 分别为有用信号和干扰信号的数字基带调制波形，T_s为符号周期。假设两路信号的调制方式相同，且两路信号相互统计独立，则 ${x_{i,k}}$ 可以表示为

${x_{i,k}} = \sum\limits_{k = - {L_1}}^{{L_1}} {{a_{i,k}}} {g_i}\left( {k{T_s} - m{T_s} + {\tau _i}} \right)$

(2)

其中， ${\tau _i}$ (i=1, 2)是第i路信号的定时偏差， ${a_{1,k}}$ 和 ${a_{2,k}}$ (k=0, 1, $·\!·\!·$ )分别为两路发送信号序列，其取值与调制方式有关；g_i(·)是等效的信道脉冲响应，包括成型滤波器、信道滤波器以及匹配滤波器等，滤波器持续的有效区间为[–L₁T_s, L₁T_s]。

3. 性能联合界

单通道盲分离的目的是根据接收序列 $\big\{ {y_k},k =0,$ $1, ·\!·\!· \big\}$ 估计出两路信号的符号序列 $\left\{\! {{a_{1,k}},{a_{2,k}},k \!=\! 0,1, ·\!·\!·} \right\}$ ，在Gauss白噪声信道下，分离错误由信号传输中噪声引起。本文首先分析单路信号接收时(即H₂=0)解调性能界，然后推广至两路同频混合信号接收形式(PCMA信号)，推导混合信号单通道盲分离性能界。

3.1 单路信号接收(H₂=0)

首先研究单路信号接收(即H₂=0)情况^[13]，发送符号与接收符号分别用X和Y表示。对于MPSK调制信号，每个发送符号有M种取值，表示为 ${a_\gamma } =$ ${d_\zeta }{{\rm{e}} ^{{\rm{j}}2\gamma {\varphi _\zeta }}}$ , $\gamma = \left\{ {0,1, ·\!·\!· ,M - 1} \right\}$ ，其中 $\zeta = \log _2^M$ 为每个发送符号携带比特信息位数， ${\varphi _\zeta } = {{π}} /{2^\zeta }$ 。经AWGN信道得到接收信号 $y = {y_c} + j{y_s}$ ，其中 ${y_c}$ 和 ${y_s}$ 分别表示接收信号 $y$ 的实部与虚部，则其概率密度函数为2维高斯函数^[13]。

$\begin{aligned} {p_Y}\left( y \right) =& f\left\{ {{y_c} - {d_\zeta }\cos \left( {2\gamma {\varphi _\zeta }} \right)} \right\} \\ & \cdot f\left\{ {{y_s} -{d_\zeta }\sin \left( {2\gamma {\varphi _\zeta }} \right)} \right\} \end{aligned}$

(3)

其中， ${d_\zeta } = \sqrt {{{2{E_s}} / {{N_0}}}} = \sqrt {{{2\zeta {E_b}} / {{N_0}}}}$ , ${E_s}$ 与 ${E_b}$ 分别为接收信号每符号与每比特能量， ${N_0}$ 为单边带噪声功率谱密度， $f(t) = \displaystyle\frac{1}{{\sqrt {2{{π}} } }}{{\rm{e}}^{ - {{{t^2}}}/{2}}}$ 。以8PSK调制信号为例，图1给出了调制信号比特与符号的空间映射，符号 $\left\{ {{a_\gamma }\left| {\gamma = 0,1, ·\!·\!· ,M - 1} \right.} \right\}$ 的接收信号判决区域为 ${R_m}$ 。

图 1 单路8PSK调制信号空间映射

下载: 全尺寸图片幻灯片

格雷映射方式下，令 ${P_m}$ 为发送 ${a_0}$ 情况下接收符号在判决区域 ${R_m}$ 的概率，则

${P_m} = {p_Y}\ (Y\;) = \Pr \left\{ {Y \in {R_m}\left| {X = {a_0},m < M} \right.} \right\}$

(4)

另注意到对于MPSK信号，式(5)关系成立：

$\begin{aligned} {P_0} > {P_1} &= {P_{M - 1}} > ·\!·\!· > {P_{{M / {2 - 1}}}} \\ &= {P_{{M / 2} + 1}} > {P_{{M / 2}}} \end{aligned}$

(5)

结合式(3)、式(4)、式(5)可知，在具有加性高斯白噪声信道中，单路MPSK调制信号误符号率(SER)，记为 ${P_s}$ ^[13]：

${P_s} = \sum\limits_{m = 1}^{M - 1} {{P_m}}$

(6)

3.2 PCMA信号接收(H₂≠0)

PCMA信号接收时，两路信号发送分量分别用X₁与X₂表示，接收用Y表示，由于两路信号存在时延差( $\Delta \tau = {\tau _1} - {\tau _2}$ )，第1路信号分量最佳采样位置与第2路信号分量存在符号串扰，因此L=n时空间映射是以L=n–1时空间映射为中心，向M个方向等幅度对称扩散所得，考虑到扩散后最小欧式距离减小，因此随着符号串扰长度的增加性能界逐渐变差，可见本文考虑的L=1时分离性能界为分离下界，同时定义等效幅度比为 ${h_2}/{h_1} = {{{G}}_{2,0}}/{{{G}}_{1,0}}$ 。此时相偏对混合信号空间映射判决区域的影响有限，若推导第1路信号发送分量判决正确区域，可由符号串扰长度L=1, ${\theta _1} - {\theta _2} = 0$ 时空间映射判决区域近似。

对于符号串扰长度L=1的PCMA混合信号，每个发送符号对(X₁, X₂)有 ${M^2}$ 种取值，其中每一路发送符号依旧表示为 ${a_\gamma } ={d_\zeta }{{\rm{e}} ^{{\rm{j}}2\gamma {\varphi _\zeta }}},\gamma =\left\{ {0,1, ·\!·\!· ,}\right.$ $\left. {M - 1} \right\}$ 。定义混合信号空间映射不同区域，以此为基础进行性能界分析。首先考虑MPSK调制方式混合信号，两路信号分量频偏为零，BPSK调制与QPSK调制方式下混合信号比特与符号的空间映射分别如图2、图3所示。其中两路信号分量能量分别为 ${E_1} = \sqrt {\displaystyle\frac{{{E_s}}}{{(1 + {\eta ^2}){N_0}}}}$ , ${E_2} = \sqrt {\displaystyle\frac{{{\eta ^2}{E_s}}}{{(1 + {\eta ^2}){N_0}}}}$ , $\eta =$ ${{{h_2}} / {{h_1}}}$ 。

图 2 BPSK调制PCMA信号比特与符号映射

下载: 全尺寸图片幻灯片

图 3 QPSK调制PCMA信号比特与符号映射

下载: 全尺寸图片幻灯片

定义：

$\begin{aligned} P_m^\gamma =& \Pr \left\{ {Y \in {R_m}\left| {{X_1} = {a_0},{X_2} = {a_\gamma }} \right.} \right\},\\ & \gamma \in \left\{ {0,1, ·\!·\!· ,M - 1} \right\} \end{aligned}$

(7)

且 ${a_\gamma } = a^c_\gamma + ja^s_\gamma$ ，则存在

${P_m} = \frac{1}{M}\sum\limits_{\gamma = 0}^{M - 1} {P^\gamma_{m} }$

(8)

由本节分析可知，所推导为PCMA混合信号分离性能下界，即

${P_s} \ge \sum\limits_{m = 1}^{M - 1} {{P_m}}$

(9)

对于BPSK调制混合信号，结合式(7)与式(8)可得

${P_m} = \left\{\!\!\!\!\!{\begin{aligned} & \begin{aligned} & \frac{1}{2}\sum\limits_{\gamma = 0}^1 {\frac{1}{{{π}} }\int_{ - \infty }^\infty {\exp \left( { - {v^2}} \right)}}\\ & \quad \cdot \int_0^\infty {\exp \left[ { - {{\left( {u - a^c_\gamma } \right)}^2}} \right]{\rm{d}}u} {\rm{d}}v, m = 0 \end{aligned}\\ & \begin{aligned} & \frac{1}{2}\sum\limits_{\gamma = 0}^1 {\frac{1}{{{π}} }\int_{ - \infty }^\infty {\exp \left( { - {v^2}} \right) }} \\ & \quad \cdot \int_0^\infty{\exp \left[ { - {{\left( {u + a^c_\gamma } \right)}^2}} \right]{\rm{d}}u} {\rm{d}}v, m = 1 \end{aligned} \end{aligned}} \right.$

(10)

此时分离误符号率 ${P_s}$ 与误比特率(BER) ${P_b}$ 相同，下界为

${P_s} = {P_b} \ge {P_1}$

(11)

同理可得QPSK调制混合信号 ${P_m}$ ( ${P_m} = {P_{M - m}}$ )，如式(12)。

${P_m} = \left\{ {\begin{array}{*{20}{c}} {\frac{1}{4}\sum\limits_{\gamma = 0}^3 {\frac{1}{{{π}} }\int_0^\infty {\exp \left[ { - {{\left( {u - a^c_\gamma } \right)}^2}} \right]\left\{ {\int_{ - u}^u {\exp \left[ { - {{\left( {v - a^s_\gamma } \right)}^2}} \right]{\rm{d}}v} } \right\}{\rm{d}}u} } ,\;\;\;m = 0}\\ {\frac{1}{4}\sum\limits_{\gamma = 0}^3 {\frac{1}{{{π}} }\int_0^\infty {\exp \left[ { - {{\left( {v - a^s_\gamma } \right)}^2}} \right]\left\{ {\int_{ - v}^v {\exp \left[ { - {{\left( {u - a^c_\gamma } \right)}^2}} \right]{\rm{d}}v} } \right\}{\rm{d}}u} } ,\;\;\;m = 1}\\ {\frac{1}{4}\sum\limits_{\gamma = 0}^3 {\frac{1}{{{π}} }\int_0^\infty {\exp \left[ { - {{\left( {u + a^c_\gamma } \right)}^2}} \right]\left\{ {\int_{ - u}^u {\exp \left[ { - {{\left( {v - a^s_\gamma } \right)}^2}} \right]{\rm{d}}v} } \right\}{\rm{d}}u} } ,\;\;\;m = 2} \end{array}} \right.$

(12)

将式(12)代入式(9)可得误符号率 ${P_s}$ 下界。

接下来推导8PSK调制PCMA信号分离性能界，由于判决区域 ${R_m}$ 存在非通情况，此时调制信号比特与符号的空间映射将比单路信号映射复杂得多，图4给出了混合信号接收的空间映射，阴影部分表示X₁= ${a_0}$ 情况下接收符号在判决区域 ${R_0}$ ，即正确判决区域，其余判决区域可类推。

图 4 X₁=

${a_0}$ 时正确判决区域

${R_0}$

下载: 全尺寸图片幻灯片

之所以会出现图4所示3种映射情况，是由于随着 ${{{h_2}} / {{h_1}}}$ 取值由0到1, ${X_1} = 0$ 与 ${X_1} \ne 0$ 对应接收混合信号的空间映射间最小欧式距离周期变化，将此最小欧氏距离定义为判决误差最小欧氏距离。当 ${{{h_2}} / {{h_1}}} < \tan ({{{π}} / 8})$ 时，由式(8)可推导出对应 ${P_m}$ ( ${P_m} = {P_{M - m}}$ )，如式(13)。继而由式(9)可得误符号率 ${P_s}$ 。当 $\tan ({{{π}} / 8}){{ < {h_2}} / {{h_1}}} < {{\sqrt 2 } / 2}$ 时，判决区域 ${R_m}$ 出现不连通情况，被分割在若干扇形与环形中，此时换元 $u = r\cos \phi$ , $v = r\sin \phi$ , ${\rm{d}}u{\rm{d}}v = r{\rm{d}}r{\rm{d}}\phi$ ，如式(14)定义。

${P_m} = \left\{ {\begin{array}{*{20}{c}} {\frac{1}{8}\sum\limits_{\gamma = 0}^7 {\frac{1}{{{π}} }\int_0^\infty {\exp \left[ { - {{\left( {u - a^c_\gamma } \right)}^2}} \right]\left\{ {\int_{ - u\tan ({{π}} /8)}^{u\tan ({{π}} /8)} {\exp \left[ { - {{\left( {v - a^s_\gamma } \right)}^2}} \right]{\rm{d}}v} } \right\}{\rm{d}}u} } , \;\;\; m = 0} \\ {\rm{}}\\ {\frac{1}{8}\sum\limits_{\gamma = 0}^7 {\frac{1}{{{π}} }\int_0^\infty {\exp \left[ { - {{\left( {u - a^c_\gamma } \right)}^2}} \right]\left\{ {\int_{u\tan ({{π}} /8)}^{u\tan (3{{π}} /8)} {\exp \left[ { - {{\left( {v - a^s_\gamma } \right)}^2}} \right]{\rm{d}}v} } \right\}{\rm{d}}u} } , \;\;\; m = 1} \\ {\rm{}}\\ {\frac{1}{8}\sum\limits_{\gamma = 0}^7 {\frac{1}{{{π}} }\int_0^\infty {\exp \left[ { - {{\left( {v - a^s_\gamma } \right)}^2}} \right]\left\{ {\int_{ - u\tan ({{π}} /8)}^{u\tan ({{π}} /8)} {\exp \left[ { - {{\left( {u - a^c_\gamma } \right)}^2}} \right]{\rm{d}}u} } \right\}{\rm{d}}v} } , \;\;\; m = 2} \\ {\rm{}}\\ {\frac{1}{8}\sum\limits_{\gamma = 0}^7 {\frac{1}{{{π}} }\int_0^\infty {\exp \left[ { - {{\left( {u + a^c_\gamma } \right)}^2}} \right]\left\{ {\int_{u\tan ({{π}} /8)}^{u\tan (3{{π}} /8)} {\exp \left[ { - {{\left( {v - a^s_\gamma } \right)}^2}} \right]{\rm{d}}v} } \right\}{\rm{d}}u} } , \;\;\; m = 3} \\ {\rm{}}\\ {\frac{1}{8}\sum\limits_{\gamma = 0}^7 {\frac{1}{{{π}} }\int_0^\infty {\exp \left[ { - {{\left( {u + a^c_\gamma } \right)}^2}} \right]\left\{ {\int_{ - u\tan ({{π}} /8)}^{u\tan ({{π}} /8)} {\exp \left[ { - {{\left( {v - a^s_\gamma } \right)}^2}} \right]{\rm{d}}v} } \right\}{\rm{d}}u} } , \;\;\; m = 4} \end{array}} \right.$

(13)

$\left. {\begin{array}{*{20}{c}} {{r_1} = \frac{1}{2}\left[ {\left( {{E_1} - {E_2}} \right) + \sqrt {{{\left( {\frac{{\sqrt 2 {E_2}}}{2}} \right)^2}} + {{\left( {{E_1} - \frac{{\sqrt 2 {E_2}}}{2}} \right)}^2}} }\; \right]} \\ {\rm{}}\\ {{r_2} = \frac{1}{2}\left[ {\sqrt {{{\left( {\frac{{\sqrt 2 {E_2}}}{2}} \right)}^\!2} + {{\left( {{E_1} - \frac{{\sqrt 2 {E_2}}}{2}} \right)^2}}} + \sqrt {E_1^2 + E_2^2} } \right]} \\ {\rm{}}\\ {{r_3} = \frac{1}{2}\left[ {\sqrt {E_1^2 + E_2^2} + \sqrt {{{\left( {\frac{{\sqrt 2 {E_2}}}{2}} \right)}^2} + {{\left( {{E_1} + \frac{{\sqrt 2 {E_2}}}{2}} \right)}^2}} } \right]} \end{array}} \right\} \hspace{135pt}$

(14)

采取映射空间分集方法结合式(7)求得 $P_m^\gamma$ 。

$\begin{align} P_0^\gamma =& \frac{1}{{{π}} }\int_{ - {{π}} /8}^{{{π}} /8} {\left\{ {\int_{{r_3}}^\infty {\exp \left[ { - {{\left( {r\cos \left( \phi \right) - a^c_\gamma } \right)}^2} - {{\left( {r\sin \left( \phi \right) - a^s_\gamma } \right)}^2}} \right]r{\rm{d}}r} } \right\}{\rm{d}}\phi } \\ &{\rm{}}\\ &+\frac{1}{{{π}} }\int_{{{π}} /8}^{{{π}} /4} {\left\{ {\int_{{r_1}}^{{r_3}} {\exp \left[ { - {{\left( {r\cos \left( \phi \right) - a^c_\gamma } \right)}^2} - {{\left( {r\sin \left( \phi \right) - a^s_\gamma } \right)}^2}} \right]r{\rm{d}}r} } \right\}{\rm{d}}\phi } \\ &{\rm{}}\\ &+\frac{1}{{{π}} }\int_{ - {{π}} /4}^{ - {{π}} /8} {\left\{ {\int_{{r_1}}^{{r_3}} {\exp \left[ { - {{\left( {r\cos \left( \phi \right) - a^c_\gamma } \right)}^2} - {{\left( {r\sin \left( \phi \right) - a^s_\gamma } \right)}^2}} \right]r{\rm{d}}r} } \right\}{\rm{d}}\phi } \\ {\rm{}}\\ &+\frac{1}{{{π}} }\int_{ - {{π}} /8}^{{{π}} /8} {\left\{ {\int_0^{{r_1}} {\exp \left[ { - {{\left( {r\cos \left( \phi \right) - a^c_\gamma } \right)}^2} - {{\left( {r\sin \left( \phi \right) - a^s_\gamma } \right)}^2}} \right]r{\rm{d}}r} } \right\}{\rm{d}}\phi } \end{align}$

(15)

$\begin{aligned} P_0^\gamma =& \frac{1}{{{π}} }\int_{ - {{π}} /8}^{{{π}} /8} {\left\{ {\int_{{r_3}}^\infty {\exp \left[ { - {{\left( {r\cos \left( \phi \right) - a^c_\gamma } \right)}^2} - {{\left( {r\sin \left( \phi \right) - a^s_\gamma } \right)}^2}} \right]r{\rm{d}}r} } \right\}{\rm{d}}\phi } \\ & +\frac{1}{{{π}} }\int_{{{π}} /4}^{3{{π}} /8} {\left\{ {\int_{{r_1}}^{{r_2}} {\exp \left[ { - {{\left( {r\cos \left( \phi \right) - a^c_\gamma } \right)}^2} - {{\left( {r\sin \left( \phi \right) - a^s_\gamma } \right)}^2}} \right]r{\rm{d}}r} } \right\}{\rm{d}}\phi } \\ & + \frac{1}{{{π}} }\int_{{{π}} /8}^{{{π}} /4} {\left\{ {\int_{{r_2}}^{{r_3}} {\exp \left[ { - {{\left( {r\cos \left( \phi \right) - a^c_\gamma } \right)}^2} - {{\left( {r\sin \left( \phi \right) - a^s_\gamma } \right)}^2}} \right]r{\rm{d}}r} } \right\}{\rm{d}}\phi } \\ & + \frac{1}{{{π}} }\int_{ - {{π}} /4}^{ - {{π}} /8} {\left\{ {\int_{{r_2}}^{{r_3}} {\exp \left[ { - {{\left( {r\cos \left( \phi \right) - a^c_\gamma } \right)}^2} - {{\left( {r\sin \left( \phi \right) - a^s_\gamma } \right)}^2}} \right]r{\rm{d}}r} } \right\}{\rm{d}}\phi } \\ & + \frac{1}{{{π}} }\int_{ - 3{{π}} /8}^{ - {{π}} /4} {\left\{ {\int_{{r_1}}^{{r_2}} {\exp \left[ { - {{\left( {r\cos \left( \phi \right) - a^c_\gamma } \right)}^2} - {{\left( {r\sin \left( \phi \right) - a^s_\gamma } \right)}^2}} \right]r{\rm{d}}r} } \right\}{\rm{d}}\phi } \\ & + \frac{1}{{{π}} }\int_{ - {{π}} /8}^{{{π}} /8} {\left\{ {\int_0^{{r_1}} {\exp \left[ { - {{\left( {r\cos \left( \phi \right) - a^c_\gamma } \right)}^2} - {{\left( {r\sin \left( \phi \right) - a^s_\gamma } \right)}^2}} \right]r{\rm{d}}r} } \right\}{\rm{d}}\phi } \end{aligned}$

(16)

同理可计算得到其余 $P_m^\gamma \left\{ {m = 1,2, ·\!·\!· ,7} \right\}$ 计算式，将 $P_m^\gamma$ 代入式(8)得 ${P_m}$ ，进而由式(9)得到误符号率 ${P_s}$ 。当 ${{{h_2}} / {{h_1}}} > {{\sqrt 2 } / 2}$ 时，由式(7)可推导出对应 $P_0^\gamma$ ，如式(16)。同理可计算得到其余 $P_m^\gamma \{ {m = }$ $1,2, ·\!·\!· ,7 \}$ 计算式，进而由式(8)，式(9)得到误符号率 ${P_s}$ 。

16PSK及更高阶PSK调制方式PCMA混合信号误符号率可由上述空间映射分集算法求得，最终误比特率P_b如式(17)。

${P_b} = \left\{\!\!\!\!\!\! {\begin{array}{*{20}{l}} \begin{array}{l} \frac{1}{2}\left( {{P_1} + 2{P_2} + {P_3}} \right),\;\;\;\;M = 4 \end{array}\\ \begin{array}{l} \frac{1}{3}\left( {{P_1} + 2{P_2} + {P_3} \!+\! 2{P_4} + 3{P_5} + 2{P_6} + {P_7}} \right),\\ \quad\quad\quad\quad\quad\quad\quad\quad\quad M = 8 \end{array}\\ \begin{array}{l} \frac{1}{2}\left( {\sum\limits_{k = 1}^8 {{P_k}} + \sum\limits_{k = 2}^5 {{P_k}} + {P_5} + 2{P_6} + {P_7}} \right),\\ \quad\quad\quad\quad\quad\quad\quad\quad\quad M = 16 \end{array} \end{array}} \right.$

(17)

综上所述，利用映射空间分集算法成功推导出MPSK调制PCMA混合信号分离性能界，现在考虑QAM调制情况，以8QAM调制方式为例计算解调误比特率联合界。随着 ${{{h_2}} / {{h_1}}}$ 取值由0到1会出现图5所示接收混合信号4种空间映射情况。

图 5 8QAM调制PCMA信号正确判决区域

下载: 全尺寸图片幻灯片

与MPSK调制方式不同，由于符号空间映射不对称，QAM调制方式下接收混合信号分离BER与发送符号有关，由图5可见发送符号空间映射分为两类，分别针对X₁=a₀和X₁=a₂推导性能界，其空间映射分别用“×”和“+”表示，判决正确区域分别用阴影“”和“”表示。推导这两种情况下接收SER与BER。

定义：

$\left. {\begin{array}{*{20}{c}} \begin{array}{l} {P^\gamma_0}_{,m} = \Pr \left\{ {Y \in {R_m}\left| {{X_1} = {a_0},{X_2} = {a_\gamma }} \right.} \right\},\\ \quad\quad\quad\quad\;\;\; \gamma \in \left\{ {0,1, ·\!·\!· ,M - 1} \right\} \end{array}\\ \begin{array}{l} {P^\gamma_{2,}}_m = \Pr \left\{ {Y \in {R_m}\left| {{X_1} = {a_2},{X_2} = {a_\gamma }} \right.} \right\},\\ \quad\quad\quad\quad\;\;\; \gamma \in \left\{ {0,1, ·\!·\!· ,M - 1} \right\} \end{array} \end{array}} \right\}$

(18)

则存在

${P_m} = \frac{1}{{2M}}\sum\limits_{\gamma = 0}^{M - 1} {{P^\gamma_0}_{,m}} + \frac{1}{{2M}}\sum\limits_{\gamma = 0}^{M - 1} {{P^\gamma_2}_{,m} }$

(19)

当 ${{{h_2}} / {{h_1}}} < {1 / 3}$ 时，结合式(7)，式(8)可得此时 ${P^\gamma_0}_{,m}$ 。同样由图5相应区域划分可计算得到 ${P^\gamma_2}_m$ ，由式(19)可得 ${P_m}$ ( ${P_m} = {P_{M - m}}$ )，进而由式(9)可得误符号率 ${P_s}$ 下界，由式(17)可得误比特率 ${P_b}$ 下界。

当前PCMA信号盲分离主要针对为BPSK, QPSK, 8PSK以及8QAM 4种调制类型，本文针对上述4种调制类型给出了混合信号盲分离SER和BER性能界。其余调制类型PCMA混合信号为不常见或者处于分离算法待研究阶段，因此并未给出推导结果，但是依据本文思路也可以进行推导。

4. 仿真与分析

以下仿真中，统一升余弦滚降系数为0.35，单倍采样接收，两路信号分量频偏值为0。

4.1 性能界计算结果

图6(a)给出了BPSK调制方式下本文算法性能界(式(10)计算结果)与理想情况下Viterbi估计结果^[14]，并将其与粒子滤波分离结果、PSP分离结果进行比较。仿真条件：两路信号分量等效幅度比1.0:0.8，其余参数相同。PSP算法滤波器持续的有效区间为[–2T_s, 2T_s]，盲分离时取LMS更新步长 $\rho$ =0.01，粒子滤波算法中取粒子数为300, D=3^[14]，两路信号相偏为零。

图 6 性能界计算结果与对比

下载: 全尺寸图片幻灯片

由图6(a)可见，本文性能界曲线与理想情况下Viterbi估计结果吻合。特别是高信噪比条件下，两者基本一致，从理论上证明本文给出的分离性能下界计算方法合理性。由图6(a)还可以看出，实验条件下粒子滤波算法与PSP算法均取得良好性能。随着等效滤波器符号串扰长度的增加，信道估计精度的提高，以及粒子数等参数选取更加充分，PSP算法与粒子滤波算法性能将更加趋近于性能界，但是同时伴随着复杂度的提升，可见本文性能界推导为分离算法评价提供指标，也为分离算法参数选取提供依据。

图6(b)给出了MPSK与QAM调制方式下本文性能界与理想情况下Viterbi算法(即参数已知情况下PSP算法)估计结果，可见算法仿真实验结果拟合本文性能界曲线，证明性能界推导的合理性。本文导出性能界与序列检测Viterbi 算法均依据最大后验概率准则，因此结果相近。但由于本文导出性能界从信号模型空间映射角度出发，为与信号调制本身相关的理论推导结果，而序列检测Viterbi 算法为仿真实验结果，其与仿真数据量等实验参数有关，在数据量无穷时渐渐接近于本文导出性能界，因此两者不同。

当前PCMA通信主要调制方式为BPSK, QPSK, 8PSK以及8QAM 4种调制类型，图7、图8给出了上述调制方式下，本文性能界推导结果，参数设置为等效幅度比1.0:0.8。可见随着调制阶数增加，同等信噪比条件下混合信号分离性能界变差。对比图7与图8可知，BPSK调制与QPSK调制PCMA信号分离BER性能完全相同，而两者SER性能却存约2倍差异，这是由于QPSK调制信号每符号代表2个比特信息，仅当这2个比特均判决正确时对应的符号才正确，因此相同BER性能的BPSK与QPSK调制PCMA信号分离SER性能不同。

图 7 PCMA信号SER性能界

下载: 全尺寸图片幻灯片

图 8 PCMA信号BER性能界

下载: 全尺寸图片幻灯片

4.2 信号分量参数对性能界影响

两路信号分量等效幅度比影响混合信号空间映射最小欧式距离，进而影响混合信号分离性能。图9(a)、图9(b)分别针对QPSK与8PSK调制方式PCMA混合信号，给出不同等效幅度比对分离性能界影响曲线。

图 9 h₁/h₂对PCMA信号分离性能界影响曲线

下载: 全尺寸图片幻灯片

可见，QPSK调制PCMA信号盲分离中，分离性能界随着等效幅度比增加而降低，这是由于QPSK调制PCMA混合信号判决误差最小欧式距离与两路信号分量等效幅度比成正比，等效幅度比的增加对应更大的最小欧氏距离，进而对应更低的分离性能界。8PSK调制PCMA信号分离性能界同样随着判决误差最小欧式距离增加而减小。

5. 结论

本文针对PCMA混合信号，从发送信号模型出发，利用最大似然准则，针对PCMA混合信号推导得到其与分离算法无关的分离性能界表达式，对未来PCMA混合信号盲分离算法有着可行性指导与性能评价作用。若两路信号分量存在频偏，固定采样点位置分析时可将频偏影响纳入到相偏影响，进一步纳入到等效幅度比影响中，因此本文性能界推导依然适用。

图 1 D-WGAN整体结构

下载: 全尺寸图片幻灯片

图 2 CLIP预训练编码器

下载: 全尺寸图片幻灯片

图 3 扩散模型

下载: 全尺寸图片幻灯片

图 4 生成器与判别器的结构

下载: 全尺寸图片幻灯片

图 5 生成器的训练过程

下载: 全尺寸图片幻灯片

图 6 D-WGAN与DM-GAN,DF-GAN生成的图像

下载: 全尺寸图片幻灯片

图 7 D-WGAN与WGAN在数据集25-Gaussians上的表现

下载: 全尺寸图片幻灯片

图 8 D-WGAN模型在MSCOCO数据集上的召回率-精确率、FID-IS评分

下载: 全尺寸图片幻灯片

图 9 D-WGAN与WGAN在CUB-200验证集上的表现

下载: 全尺寸图片幻灯片

表 1 数据集

数据集	训练集图像数量	测试集图像数量	文本描述/图像	类别
MSCOCO	82 k	40 k	5	80
CUB-200	8 855	2 933	10	200

下载: 导出CSV

表 2 不同模型的FID分数对比

模型	MSCOCO		CUB-200
模型	FID↓	IS↑	FID↓	IS↑
StackGAN^[12]	74.05	8.45±0.03	51.89	3.70±0.04
EFF-T2I^[13]	–	–	11.17	4.23±0.05
AttnGAN^[14]	35.49	25.83±0.47	23.98	4.36±0.03
DM-GAN ^[15]	32.64	30.49±0.57	16.09	4.75±0.07
DF-GAN^[16]	24.24	–	14.81	5.10±0.05
DALLE^[17]	27.50	17.90±0.03	56.10	–
VLMGAN ^[18]	23.62	26.54±0.43	16.04	4.95±0.04
SSA-GAN ^[19]	–	–	16.58	5.17±0.08
D-WGAN	19.74	31.52±0.45	10.95	6.77±0.03

下载: 导出CSV

表 3 人类评估员评分结果

	真实性	文本-图像一致性
w/o CLIP	–73.2	29.3
w/ CLIP	28.2	70.9

下载: 导出CSV

参考文献(21)

[1]	GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139–144. doi: 10.1145/3422622
[2]	李云红, 朱绵云, 任劼, 等. 改进深度卷积生成式对抗网络的文本生成图像[J/OL]. 北京航空航天大学学报. http://kns.cnki.net/kcms/detail/11.2625.V.20220207.1115.002.html, 2022. LI Yunhong, ZHU Mianyun, REN Jie, et al. Text-to-image synthesis based on modified deep convolutional generative adversarial network[J/OL]. Journal of Beijing University of Aeronautics and Astronautics. http://kns.cnki.net/kcms/detail/11.2625.V.20220207.1115.002.html, 2022.
[3]	谈馨悦, 何小海, 王正勇, 等. 基于Transformer交叉注意力的文本生成图像技术[J]. 计算机科学, 2021, 49(2): 107–115. doi: 10.11896/jsjkx.210600085 TAN Xinyue, HE Xiaohai, WANG Zhengyong, et al. Text-to-image generation technology based on transformer cross attention[J]. Computer Science, 2021, 49(2): 107–115. doi: 10.11896/jsjkx.210600085
[4]	赵雅琴, 孙蕊蕊, 吴龙文, 等. 基于改进深度生成对抗网络的心电信号重构算法[J]. 电子与信息学报, 2022, 44(1): 59–69. doi: 10.11999/JEIT210922 ZHAO Yaqin, SUN Ruirui, WU Longwen, et al. ECG reconstruction based on improved deep convolutional generative adversarial networks[J]. Journal of Electronics &Information Technology, 2022, 44(1): 59–69. doi: 10.11999/JEIT210922
[5]	ARJOVSKY M and BOTTOU L. Towards principled methods for training generative adversarial networks[C]. The 5th International Conference on Learning Representations. Toulon, France, 2017.
[6]	JALAYER M, JALAYER R, KABOLI A, et al. Automatic visual inspection of rare defects: A framework based on gp-wgan and enhanced faster R-CNN[C]. 2021 IEEE International Conference on Industry 4.0, Artificial Intelligence, and Communications Technology, Bandung, Indonesia, 2021: 221–227.
[7]	WANG Zhendong, ZHENG Huangjie, HE Pengcheng, et al. Diffusion-GAN: Training GANs with diffusion[J]. arXiv: 2206.02262, 2022.
[8]	RADFORD A, KIM J W, HALLACY C, et al. Learning transferable visual models from natural language supervision[C]. The 38th International Conference on Machine Learning, Westminster, UK, 2021: 8748–8763.
[9]	HO J, JAIN A, and ABBEEL P. Denoising diffusion probabilistic models[C]. The 34th Conference on Neural Information Processing Systems, Vancouver, Canada, 2020: 6840–6851.
[10]	CHONG Minjin and FORSYTH D. Effectively unbiased FID and inception score and where to find them[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA 2020: 6069–6078.
[11]	KYNKÄÄNNIEMI T, KARRAS T, LAINE S, et al. Improved precision and recall metric for assessing generative models[C]. The 33rd Conference on Neural Information Processing Systems, Vancouver, Canada, 2019: 32.
[12]	ZHANG Han, XU Tao, LI Hongsheng, et al. StackGAN: Text to photo-realistic image synthesis with stacked generative adversarial networks[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 5908–5916.
[13]	SOUZA D M, WEHRMANN J, and RUIZ D D. Efficient neural architecture for text-to-image synthesis[C]. 2020 International Joint Conference on Neural Networks, Glasgow, UK, 2020: 1–8.
[14]	XU Tao, ZHANG Pengchuan, HUANG Qiuyuan, et al. AttnGAN: Fine-grained text to image generation with attentional generative adversarial networks[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 1316–1324.
[15]	ZHU Minfeng, PAN Pingbo, CHEN Wei, et al. Dm-GAN: Dynamic memory generative adversarial networks for text-to-image synthesis[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 5795–5803.
[16]	TAO Ming, TANG Hao, WU Fei, et al. DF-GAN: A simple and effective baseline for text-to-image synthesis[J]. arXiv: 2008.05865, 2020.
[17]	RAMESH A, PAVLOV M, GOH G, et al. Zero-shot text-to-image generation[C]. The 38th International Conference on Machine Learning, Westminster, UK, 2021: 8821–8831.
[18]	CHENG Qingrong, WEN Keyu, and GU Xiaodong. Vision-language matching for text-to-image synthesis via generative adversarial networks[J]. IEEE Transactions on Multimedia, To be published.
[19]	LIAO Wentong, HU Kai, YANG M Y, et al. Text to image generation with semantic-spatial aware GAN[C]. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, USA, 2022: 18166–18175.
[20]	BAIOLETTI M, DI BARI G, POGGIONI V, et al. Smart multi-objective evolutionary GAN[C]. 2021 IEEE Congress on Evolutionary Computation, Kraków, Poland, 2021: 2218–2225.
[21]	YIN Xusen and MAY J. Comprehensible context-driven text game playing[C]. 2019 IEEE Conference on Games, London, UK, 2019: 1–8.

施引文献

期刊类型引用(4)

1.	边舒芳，张伟. 基于改进LSTM的低压配电网日线损率预测方法. 粘接. 2025(01): 188-192 . 百度学术
2.	杜佳俊，兰红，王超凡. 基于扩散模型微调的局部定制图像编辑算法. 计算机应用研究. 2025(02): 623-629 . 百度学术
3.	高欣宇，杜方，宋丽娟. 基于扩散模型的文本图像生成对比研究综述. 计算机工程与应用. 2024(24): 44-64 . 百度学术
4.	徐飞，邓亚萍，罗钦，陈兴. 基于优化卷积网络的医疗设备成像研究. 自动化与仪器仪表. 2024(12): 56-61 . 百度学术

其他类型引用(9)

资源附件(0)

访问统计

图(9) / 表(3)

计量

文章访问数: 1180
HTML全文浏览量: 654
PDF下载量: 348
被引次数: 13

1. 引言
2. 信号模型
3. 性能联合界
3.1 单路信号接收(H2=0)
3.2 PCMA信号接收(H2≠0)
4. 仿真与分析
4.1 性能界计算结果
4.2 信号分量参数对性能界影响
5. 结论

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于扩散生成对抗网络的文本生成图像模型研究

doi: 10.11999/JEIT221400

作者简介:
赵宏：男，教授，博士生导师，研究方向为并行与分布式处理、嵌入式系统、系统建模与仿真、深度学习、自然语言处理等

李文改：女，硕士生，研究方向为图像生成等

通讯作者:
李文改　liwengai@foxmail.com

计量

Text-to-image Generation Model Based on Diffusion Wasserstein Generative Adversarial Networks

1. 引言

2. 信号模型

3. 性能联合界

3.1 单路信号接收(H₂=0)

3.2 PCMA信号接收(H₂≠0)

4. 仿真与分析

4.1 性能界计算结果

4.2 信号分量参数对性能界影响

5. 结论

期刊类型引用(4)

其他类型引用(9)

计量

目录

1. 引言

2. 信号模型

3. 性能联合界

3.1 单路信号接收(H₂=0)

3.2 PCMA信号接收(H₂≠0)

4. 仿真与分析

4.1 性能界计算结果

4.2 信号分量参数对性能界影响

5. 结论

留言板

基于扩散生成对抗网络的文本生成图像模型研究

doi: 10.11999/JEIT221400

作者简介: 赵宏：男，教授，博士生导师，研究方向为并行与分布式处理、嵌入式系统、系统建模与仿真、深度学习、自然语言处理等 李文改：女，硕士生，研究方向为图像生成等

通讯作者: 李文改 liwengai@foxmail.com

计量

出版历程

Text-to-image Generation Model Based on Diffusion Wasserstein Generative Adversarial Networks

1. 引言

2. 信号模型

3. 性能联合界

3.1 单路信号接收(H2=0)

3.2 PCMA信号接收(H2≠0)

4. 仿真与分析

4.1 性能界计算结果

4.2 信号分量参数对性能界影响

5. 结论

期刊类型引用(4)

其他类型引用(9)

计量

出版历程

目录

1. 引言

2. 信号模型

3. 性能联合界

3.1 单路信号接收(H2=0)

3.2 PCMA信号接收(H2≠0)

4. 仿真与分析

4.1 性能界计算结果

4.2 信号分量参数对性能界影响

5. 结论

作者简介:
赵宏：男，教授，博士生导师，研究方向为并行与分布式处理、嵌入式系统、系统建模与仿真、深度学习、自然语言处理等

李文改：女，硕士生，研究方向为图像生成等

通讯作者:
李文改　liwengai@foxmail.com

3.1 单路信号接收(H₂=0)

3.2 PCMA信号接收(H₂≠0)

3.1 单路信号接收(H₂=0)

3.2 PCMA信号接收(H₂≠0)