A new method for ARMA model of non-stationary signal

1.   引言

自动调制分类(Automatic Modulation Classification, AMC)是一种在不知道接收信号调制类型的情况下，自动对信号调制类型进行分类的过程。AMC在民用和军事实际应用中发挥着重要作用^[1]。随着调制技术的发展和信道的不断变换，AMC面临着信号调制类型种类繁多、信号受噪声影响大、数据量大、识别准确率低等问题，这对信号调制识别方法提出了更高的要求。

传统调制方式识别方法包括基于最大似然(Likelihood-Based, LB)的识别方法和基于特征提取(Feature-Based, FB)的识别方法。LB方法使用概率模型，借助假设检测理论和决策准则方法来实现调制信号的分类。LB方法对调制信号有较好的识别率，但是其复杂程度很高，局限性较大^[2]。FB方法通过提取接收信号的瞬时特征^[3]、高阶累积量^[4]、循环谱特征^[5]、时频信息^[6]等特征，用分类器进行识别分类。FB方法能够有效地降低算法的复杂度。但不论是LB方法还是FB方法都需要大量的先验条件的支持，对于先验条件不足的调制信号，识别率则会大大降低。如何降低算法复杂度和找到更多更有效的先验条件来提高识别率成了许多学者的研究内容。

近年来，深度学习的方法已经广泛应用于图像处理^[7]和语音识别^[8]等领域。基于深度学习的调制类型识别方法也取得了很好的效果，如基于卷积神经网络(Convolutional Neural Network, CNN)的调制识别^[9]、基于循环神经网络(Recurrent Neural Network, RNN)的调制识别^[10]等。相比于传统调制方式识别方法，深度学习可以自主地进行特征提取，省去了对信号预处理的复杂步骤。文献[11]通过深度卷积神经网络对样本信号自动提取特征，证实了卷积神经网络相比于专家特征进行样本信号识别更加简单、高效。但卷积神经网络不能提取时间特征信号，识别精度还有很大的提升空间。文献[12]将样本信号的I/Q分量转换为星座图，并输入到深层卷积神经网络中识别，信号的识别准确率得到较大提升，但星座图转换算法和深度卷积神经网络的复杂度过高。文献[13]使用循环神经网络和卷积神经网络串联的网络，弥补了卷积神经网络只能提取样本信号空间特征的短板，但未使用降噪算法对信号进行处理。文献[14]使用深度神经网络(Deep Neural Network, DNN)对样本信号进行处理，该算法对信号分类也有较好的准确率，但由于隐藏层和神经元的数量过多，也存在复杂度高的问题。

针对以上问题，本文提出一种分类降噪的调制信号分类识别算法。通过信噪比分类网络对样本信号进行高低信噪比分类，低信噪比信号采用改进中值滤波算法降噪。将降噪完毕的低信噪比信号与高信噪比信号输入到并联卷积长短时(Convolutional neural network and Long-short term memory Parallel, P-CL)网络中进行信号识别。本文的主要工作为：提出一种基于卷积神经网络的信噪比分类网络，对其中的K-means算法初始点的确定进行改进，提高高低信噪比信号分类的精确度；对中值滤波算法进行改进，通过增加采样窗口的关联机制，改善中值滤波算法处理连续噪声效果不佳的问题；提出了一种CNN网络和长短时记忆网络(Long-Short Term Memory, LSTM)并联的P-CL网络，充分提取样本信号的空间特征和时间特征信息，改善传统网络对信号样本的特征提取不全的问题，而且P-CL网络相较于传统的CNN-LSTM网络训练时间也有很大的提升。通过实验，本文提出P-CL网络(不包括信噪比分类模块和去噪模块)识别准确率为86%，相对于性能最好的CNN-LSTM网络提高了4%。

2.   调制信号模型

信号调制技术在无线通信系统中发挥着十分重要的作用。无线通信系统由发射器、信道和接收器组成，如图1所示。接收器接收到的信号可用式(1)表示

图  1  无线通信系统

下载: 全尺寸图片 幻灯片

其中，${\boldsymbol r}({t})$为接收端接收信号，${\boldsymbol s}({t})$为发送端发送的信号，${\boldsymbol h}({t})$表示信号效应，$*$表示卷积操作，${{\boldsymbol n}_{{\rm{add}}}}({t})$为加性噪声。加性噪声通常用信噪比(Signal-to-Noise Ratio, SNR)来表示。在实际的通信系统中，接收信号${\boldsymbol{r}}({t})$可用式(2)表示

其中，$G$表示信道增益，${f_0}$和${\vartheta _0}$表示载波的频移和相移，${\boldsymbol s}({t})$表示在时间$\tau$处发送的信号样本，$p( \cdot )$为脉冲整形，${\boldsymbol h}( \cdot )$为信道响应，${\varepsilon _{T}}$表示符号的定时误差。本文研究的是在复杂信道下的调制算法，信道响应${h}( \cdot )$可用式(3)表示

其中，$\alpha ({t})$表示瑞利衰落信道，${f_0}$和${\vartheta _0}({t})$表示频率和相位偏移，它们分别由不同的本地振荡器和多普勒效应引起。

3.   基于信噪比分类网络的调制类型识别算法

基于信噪比分类网络的调制类型识别算法包括预处理模块、信噪比分类模块和调制类型识别模块，整体网络架构如图2所示。

图  2  调制类型识别网络架构

下载: 全尺寸图片 幻灯片

3.1   信噪比分类网络

3.1.1   信噪比分类网络架构

信噪比分类网络由输入层、卷积神经网络层、全连接层和输出层组成，网络架构如图3所示。信噪比分类网络以信噪比为标签，对信号样本进行训练。其中信噪比分类网络的训练优化函数可用式(4)表示

图  3  信噪比分类网络架构

下载: 全尺寸图片 幻灯片

3.1.2   FK-means算法

K-means算法^[15]是根据“物以类聚”的原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象称为簇，并且对每一个这样的簇进行标记。传统的K-means算法在信号样本中随机确定K个初始聚类中心点，通过计算其余样本信号与初始聚类中心点的位置，把每个样本信号分配到最相似的簇中，再计算每个簇的聚类中心点。样本信号的分配按照最小距离原则，最小距离公式可用式(5)表示

其中，${{x}_{j}}$为第$j$个样本信号，${\mu _i}$为第${i}$个聚类中心点，${\mathbb{R}^n}$表示信号样本。

重复上述过程，直到样本信号收敛，即收敛函数的值达到最小。收敛函数可用式(6)表示

其中，$N$表示信号的样本数，${{x}_{j}}$表示每个信号样本的坐标，$\mu$表示聚类中心点。

K-means算法中，初始聚类中心点的位置选择对最后的聚类效果和训练时间有很大影响。传统的K-means算法完全随机选择聚类中心点会导致算法收敛变慢，甚至陷入局部收敛。本文改进了K-means算法，对初始聚类中心点的确定做了调整，FK-means算法的K个初始聚类中心点确定方法如下：

(1)从信号样本中随机选择一个样本信号作为初始聚类中心点${\mu _1}$；

(2)计算其余样本信号与${\mu _1}$的距离；

(3)选择一个新的样本信号作为初始聚类中心点，选择原则可用式(7)表示

(4)重复步骤(2)和步骤(3)，直到选出K个初始聚类中心点。

3.2   改进中值滤波算法

中值滤波算法^[16]是一种非线性平滑技术，该算法的基本原理是把数字序列中一点的值用该点的一个邻域中各点值的中值代替，从而达到消除噪声的目的。中值滤波的滑动窗口通常选为奇数，本文选用1×3的滑动窗口。当滑动窗口$n = {\text{2}}k + {\text{1}}$时，中值滤波器的输入与输出关系可表示为

其中，${{x}_{{i - k}}}{,} \cdots {,}\,{{x}_{i}}{,} \,\cdots {,}\,{{x}_{{i + k}}}$为滑动窗口中的$2{k} + 1$个数，${\rm{med}}( \cdot )$为 $2{k} + 1$个数的中值。

传统的中值滤波算法在滑动窗口较小，又遇到连续噪声时，很容易将噪声信号作为中值，导致降噪能力下降。本文提出一种改进算法，在进行中值滤波时，将本窗口的中值与上一个窗口的中值进行对比，如果两者差距超过设定的阈值，则把上一个窗口的中值作为本窗口的中值，从而改善传统中值滤波去除连续噪声效果不佳的问题。

3.3   P-CL网络架构

3.3.1   长短时记忆网络

长短时记忆网络(LSTM)是RNN的一种特殊形式，通过在RNN中加入记忆模块，解决RNN无法学习某一时刻时间的前后关联性而导致的梯度消失等问题。

LSTM网络^[17]由记忆单元、输入门、输出门和遗忘门组成，如图4所示。输入门控制输入值的更新单元状态，输出门控制储存单元中用于计算LSTM单元输出激活程度的数值，遗忘门控制信息的传递或丢弃，最终输出由输出门和单元状态决定。

图  4  LSTM网络单元

下载: 全尺寸图片 幻灯片

如图4所示，LSTM网络的工作过程为：输入信号样本输入至LSTM网络中，LSTM网络用两个门来控制单元状态${{\boldsymbol{C}}}$，一个为遗忘门，另一个为输入门。在遗忘门中，当输入新的信息时，如需遗忘旧的信息，则需要遗忘门来完成。遗忘门是LSTM单元的关键部分，遗忘门决定LSTM网络从上一时刻的细胞状态${{{\boldsymbol{C}}}_{t - 1}}$中丢弃的信息。该门读取上一刻LSTM的输出值${{{\boldsymbol{h}}}_{{t - }{\text{1}}}}$和当前时刻LSTM的输入值${{{\boldsymbol{x}}}_{t}}$，然后通过sigmoid函数将其映射为0～1的数值，与上一时刻的细胞状态${{{\boldsymbol{C}}}_{t - 1}}$相乘，决定${{{\boldsymbol{C}}}_{t - 1}}$该丢弃什么样的信息。输入门则用于控制网络当前时刻LSTM的输入${{{\boldsymbol{x}}}_{t}}$有多少可以保存在${{{\boldsymbol{C}}}_t}$中。其中，遗忘门的输出${{{\boldsymbol{f}}}_{t}}$可由式(9)表示

其中，$\sigma ( \cdot )$表示sigmoid函数，${{{\boldsymbol{W}}}_{f}}$表示遗忘门的权重矩阵，$[{{{\boldsymbol{h}}}_{{t - }{\text{1}}}}{,}{{x}_{t}}]$表示上一时刻LSTM的输出值${{{\boldsymbol{h}}}_{{t - }{\text{1}}}}$与当前时刻LSTM的输入值${{{{x}}}_{t}}$组成的向量，${{{\boldsymbol{b}}}_{f}}$为遗忘门的偏置。

输入门可由式(10)表示

其中，${{i}_t}$表示输入门的输出，${{{\boldsymbol{W}}}_i}$表示输入门的权重矩阵，${{{\boldsymbol{b}}}_{i}}$表示输入门的偏置。当前时刻的单元状态${{\tilde {\boldsymbol{C}}}_t}$，是根据上一时刻的输出和当前时刻的输入来计算的，可由式(11)表示

其中，${{{\boldsymbol{W}}}_c}$表示输入单元的权重，${{{\boldsymbol{b}}}_c}$表示输入单元的偏置。

然后LSTM单元会将旧的细胞状态${{{\boldsymbol{C}}}_{t - 1}}$更新为新的细胞状态${{{\boldsymbol{C}}}_t}$。其中，新的细胞状态${{{\boldsymbol{C}}}_t}$可由式(12)表示

其中，$\odot$表示哈达玛积。

最终LSTM单元通过输出门进行输出。输出门包括两个过程，第1个过程由sigmoid函数组成的输出门产生0～1的控制信号${{{\boldsymbol{o}}}_t}$；第2个过程将最终产生的输出信息${\rm{tanh}}{\text{(}}{{C}_t}{\text{)}}$与控制信号${{{\boldsymbol{o}}}_t}$做哈达玛积，得到最终输出值${{{\boldsymbol{h}}}_t}$。两个过程由式(13)、式(14)表示

其中，${{{\boldsymbol{o}}}_t}$表示当前输出门的输出，${{{\boldsymbol{W}}}_o}$表示输出门的权重矩阵，${{{\boldsymbol{b}}}_o}$表示输出门的偏置。

3.3.2   P-CL网络

P-CL网络是卷积神经网络和长短时记忆网络并联的深层网络结构，P-CL的网络架构如图5所示。它由3层卷积神经网络和两层长短时记忆网络组成，卷积神经网络和长短时记忆网络分别提取样本信号的空间特征和时间特征，通过全连接层进行特征融合，以缓解梯度消失问题，提高分类准确率。

图  5  P-CL网络架构

下载: 全尺寸图片 幻灯片

4.   实验与结果分析

4.1   数据集选择

本文的实验使用文献[18]提供的数据集RML2016.10a作为输入，该数据集在研究调制信号分类算法中常被使用。图6展示了部分调制信号中每个信号样本与振幅之间关系的I/Q波形。

图  6  RML2016.10a数据集部分信号波形图

下载: 全尺寸图片 幻灯片

该数据集共有11种调制类型，分别为AM-DSB, AM-SSB, WBFM, 8PSK, QPSK, BPSK, CPFSK, GFSK, PAM4, QAM16, QAM64。数据集通过复杂信道后由GUN Radio生成，符合实际场景中的无线通信环境。数据集的具体参数如表1所示。

表  1  RML2016.10a数据集的相关参数

信号参数	具体数值
采样速率(kHz) 最大采样率偏移(Hz) 采样点数 每条信号符号数 信噪比(dB) 信号数量	200 50 128 8 –20:2:18 220,000

下载: 导出CSV 

| 显示表格

将数据集RML2016.10a中80%的样本信号设置为训练集，20%的样本信号设置为测试集。训练集用于训练信噪比分类网络和P-CL网络，测试集用于评价本文模型的性能。所有的训练和测试都基于Nvidia GTX 1080Ti GPU完成，使用Python软件进行网络搭建。

4.2   网络参数设置

4.2.1   信噪比分类网络参数设置

信噪比分类网络由2层卷积层、1层全连接层和1层输出层构成，两层卷积层中均含有128个卷积核，其大小分别为1×3, 2×3。卷积层使用线性整流函数(Rectified Linear Unit, ReLU)作为激活函数，第1层全连接层含有256个神经元，使用ReLU作为激活函数，输出层有20个神经元，使用Softmax函数进行分类输出。

4.2.2   P-CL网络参数设置

P-CL网络共由3层卷积层、2层LSTM层、1层全连接层和1层输出层组成。第1、第2层卷积层分别含有256个卷积核，其大小分别为$1 \times 3$, $2 \times 3$。第3层卷积层含有128个卷积核，其大小为$1 \times 3$。卷积层都使用ReLU作为激活函数，采用Adam优化器。两层LSTM层均采用100个计算单元。第1层全连接层含有128个神经元，使用ReLU作为激活函数，输出层有11个神经元，输出层使用Softmax函数进行分类输出。在训练过程中，为避免过度拟合设置丢弃因子(Dropout)为0.5。

4.3   实验与结果分析

4.3.1   信噪比分类网络边界确定

信噪比分类网络的步骤如下：

(1)数据集RML2016.10a作为输入，通过卷积神经网络提取样本信号的特征。

(2)设置FK-means算法的聚类数$k = {\text{2}}$，对提取的样本特征进行分类。

(3)对数据集RML2016.10a以–20 dB为界进行分类，并标记小于等于–20 dB的样本信号为1，大于–20 dB的样本信号为2。

(4)以信噪比为标签，对聚类生成的样本信号和人工分类的样本信号进行对比。获取以–20 dB为分类边界的分类准确率，其中分类准确率的计算公式可用式(15)表示

其中，Sum为两个信号样本中都有的信噪比标签，$N$为样本信号的样本总数。

(5)选取其余信噪比作为分类边界，重复步骤(3)和步骤(4)的过程，获得最优的信噪比分类边界。

通过实验，得出数据集RML2016.10a的信噪比分类准确率如图7所示。由图7可知最优信噪比分类边界为–4 dB。

图  7  RML2016.10a的信噪比分类边界确定

下载: 全尺寸图片 幻灯片

4.3.2   分类降噪实验

为测试分类降噪对调制信号识别准确率的影响，对数据集RML2016.10a中的信号分别做未降噪(P-CL)、全部降噪和分类降噪(SNR+MF+P-CL)处理，其中全部降噪分别用改进中值滤波算法(MF+P-CL)和传统中值滤波算法(TMF+P-CL)处理，实验结果如图8所示。

图  8  RML2016.10a信号识别准确率图

下载: 全尺寸图片 幻灯片

通过图8可以看出，改进中值滤波算法的识别准确率高于传统的中值滤波算法。对比分类降噪和改进中值滤波算法降噪可以看出，降噪算法对高信噪比信号进行降噪处理时，部分有用信号也被滤除的原因，分类降噪的识别准确率高于改进中值滤波算法降噪的识别准确率。实验表明，分类降噪的识别准确率最高，为91%。同时改进中值滤波算法降噪的识别准确率为88%，高于传统中值滤波算法降噪的86%的识别准确率，说明改进中值滤波算法对低信噪比信号降噪有更好的效果。

为明确影响降噪信号与未降噪信号影响信号分类准确率的因素，使用全部降噪(MF+P-CL)信号和未降噪(P-CL)信号的混淆矩阵来观察在SNR=–6 dB和SNR=10 dB下的各个调制信号的分类精度。如图9所示。

图  9  全部降噪信号与未降噪信号的混淆矩阵比较

下载: 全尺寸图片 幻灯片

通过图9(a)和图9(b)可知，改进的中值滤波算法对样本信号的降噪效果明显，降噪之后的各类信号相较于未去噪的信号的识别率明显提高。对比图9(c)和图9(d)可知，在高信噪比的条件下，对样本信号进行降噪反而会影响部分类型调制信号的识别率，正交振幅调制(Quadrature Amplitude Modulation, QAM)信号和宽带调频(Wide Band Frequency Modulation, WBFM)信号识别准确率有所下降。通过对比混淆矩阵进一步验证了分类降噪方法的有效性。

4.3.3   P-CL网络对比实验

在本节实验中，将P-CL网络与CNN^[19], CNN-LSTM^[20], ResNet^[13], DenseNet^[14]和与K-means算法原理相仿的K最邻近(K-Nearest Neighbor, KNN)分类算法^[21]进行对比实验。信号识别准确率如图10所示。

图  10  不同网络模型分类性能比较

下载: 全尺寸图片 幻灯片

通过图10可知，由于KNN不适合处理大规模的数据，信号识别准确率最差，识别准确率只有69%；CNN网络在处理时间信号数据时表现不佳，识别准确率仅有74%，明显低于除KNN之外的网络模型；ResNet, DenseNet网络模型可以缓解梯度消失问题，同时促进特征的重复利用，但不能充分提取样本信号的时间和空间特征，识别准确率分别为80%, 82%，均低于P-CL网络模型；CNN-LSTM网络模型与P-CL网络模型有相似的网络结构，识别准确率在对比网络中最高，为83%；P-CL网络模型的识别准确率为86%，均优于对比实验模型。

同时，本次实验通过比较网络的训练时间来对网络算法复杂度进行分析，上述网络的训练时间如表2所示。

表  2  不同网络模型的训练时间对比

网络模型	训练时间(s)
P-CL	1461
CNN	956
CNN-LSTM	2021
ResNet	2078
DenseNet	2031

下载: 导出CSV 

| 显示表格

对比表2中不同网络模型的训练时间不难看出，本文提出的P-CL网络的算法复杂度均小于CNN-LSTM, ResNet, DenseNet。CNN网络算法复杂度最低，但识别准确率较差。实验表明，P-CL在算法复杂度方面优于其他网络模型。

最后，实验得出本文所提调制信号分类模型在SNR=18 dB的混淆矩阵，如图11所示。

图  11  MF+P-CL混淆矩阵 (SNR=18 dB)

下载: 全尺寸图片 幻灯片

从图11可以看出，大部分的调制信号识别准确率都在95%以上，有的信号识别准确率达到100%。同时还存在部分问题：WBFM信号与AM-DSB信号之间的混淆，QAM16信号和QAM64信号之间的混淆。通过分析可知WBFM信号和双边带幅度调制(Amplitude Modulation -Double Side Band, AM-DSB)信号在原始模拟信号采集过程中受静默期的影响，在信号调制之后只有载波信号的存在，导致网络在识别WBFM信号和AM-DSB信号时出现较大误差。QAM16信号和QAM64信号非常相似，两者本身的特征差异极易受到噪声的影响，导致神经网络对该类信号的识别准确率变差。

5.   结束语

针对高信噪比信号受降噪算法影响造成的信号识别准确率下降的问题，本文首先提出了基于CNN的信噪比分类网络，该网络将样本信号分类成低信噪比信号和高信噪比信号。其次本文对中值滤波算法进行改进，解决传统中值滤波算法处理连续噪声效果不佳的问题。最后提出了一种CNN和LSTM并联的新型神经网络，解决传统网络难以充分提取样本信号的时间特征和空间特征的问题，并且减小了训练网络的算法复杂度。实验结果显示，本文所提出的算法能够提高信号的识别准确率，并且训练时间也明显缩短。但本文算法还不能很好地区别QAM16信号和QAM64信号，WBFM信号和AM-DSB信号，提高此类信号的识别准确率，仍是未来的工作方向。