Dynamic Spectrum Access Algorithm for Evaluating Spectrum Stability in Cognitive Vehicular Networks.

1.   引言

随着大量车联网应用的普及，车辆终端对频谱资源的需求迅速增加。结合认知无线电技术的认知车联网(Cognitive Vehicular Networks, CVN)作为一种新兴的网络环境，展示出了极大的潜力。然而，在这种网络中，频谱资源的稳定性受车辆终端所处环境和运动状态的影响，并且信道参数变化快实时性强，所以频谱稳定性难以评估。而接入稳定性较差的频谱，会严重影响车辆终端传输业务的效率，进而影响网络的整体性能。此外，高并发的车辆终端接入请求，使得频谱资源的竞争愈加激烈，在此情况下会增大接入过程的碰撞概率。因此，在认知车联网中，如何评估频谱资源的稳定性，实现对不同稳定性频谱的有效利用，提升频谱利用率并降低接入碰撞概率，成为了该领域研究的热点问题。

目前，针对认知车联网环境的研究工作主要集中在4个方面：无线接入、频谱感知、路由协议、安全问题。其中无线频谱接入领域，少有文献对频谱稳定性进行了定量评估，以期提升频谱接入的性能。Chuang^[1]将频谱的可用资源数抽象为一个数值，求出其在三轮频谱扫描之后的方差，将计算结果作为频谱稳定性指数。该文采用单一参数的方差来衡量稳定性，给出了稳定性指数的概念，但在认知车联网中影响频谱稳定性的参数不止1个，仅通过1个参数来评估，综合性不足。Cheng等人^[2]分析了主用户的信道使用行为以及车辆的移动性对信道可用性的影响。在此基础上，使用拥塞游戏模型来建模车辆终端的频谱接入过程。该文忽略了带宽、信噪比、接收信号强度等频谱自身的参数对接入结果的影响。Niyato等人^[3]从多角度分析了频谱状态对接入结果的影响，包括异常频谱感知结果、数据包传输状态、加权调度优先级。该文仅是通过频谱的单一时刻状态，来衡量频谱的可用性。而在实际应用场景中，车辆接入频谱后需要一定的时间才能完成对应业务的数据传输，单一时刻的频谱状态无法评估频谱的长期表现。Xiang等人^[4]考虑了车辆到基础设施型用户(Vehicle-to-Infrastructure, V2I)与车辆到车辆型用户(Vehicle-to-Vehicle, V2V)对频谱的不同延迟和吞吐量需求，通过设置不同的奖励函数来满足用户的服务质量(Quality of Service, QoS)，最大化网络性能。该文忽略了两类用户在完成对应业务的过程中，对频谱稳定性的需求，并且没有建立起一个评估频谱稳定性的综合模型。

上述文献从不同角度分析了频谱状态或可用性，对频谱接入的影响。使用了不同的模型建模动态频谱接入过程，以期最大化频谱利用率与最小化频谱碰撞概率。上述文献在评估频谱状态时，大多没有考虑频谱多参数的预期表现，对接入的影响。以及忽略了不同车辆终端所传输的业务，对频谱稳定性的不同需求。为了解决上述问题，如何全面评估频谱稳定性，实现对不同稳定性频谱的合理利用，成为亟待解决的关键问题。因此，本文提出一个频谱稳定性评估模型，设计了一种基于强化学习的动态频谱接入算法。本文的贡献如下：

(1) 将信噪比、接收信号强度和带宽参数作为模型的输入，改进了传统的逐步预测算法，利用长短期记忆神经网络(Long Short-Term Memory, LSTM)预测1个周期内多时刻的信道参数，并将预测周期内的变化率作为频谱稳定性评估指标。使用K均值(K-Means)算法，实现对变化率向量的稳定性分簇，构建起频谱稳定性评估模型。

(2) 根据稳定性评估结果与车辆终端所传输业务的稳定性需求，重新设计了强化学习的状态空间、动作空间和奖励函数，提出一种基于强化学习的接入算法，实现对不同稳定性频谱的合理利用。

2.   算法思路

评估频谱稳定性的动态频谱接入算法的执行过程，如图1所示，可以分为3个阶段：

图  1  算法流程图

下载: 全尺寸图片 幻灯片

(1)稳定性参数预测：将带宽、信噪比和接收信号强度的历史数据与实时数据，作为LSTM的输入。通过逐步预测算法，得到以上参数在未来1个预测周期内多时刻的预测值。通过不断更新每一步预测的输入矩阵，引入随机失活(Drop-out)算法，提高了模型的预测精度、避免了过拟合现象、增强了模型的泛化能力。

(2)频谱稳定性评估：将上述参数，从预测开始时刻到1个预测周期结束时刻的预测值变化率，作为K均值算法的输入。经过预测值变化率归一化、分配样本和更新质心等步骤后实现稳定性分簇。构建起稳定性评估模型，实现稳定性评估。

(3)基于强化学习的接入算法：根据频谱稳定性评估结果，结合信道占用向量与吞吐量向量，设计一个考虑频谱稳定性的强化学习算法。使传输不同稳定性业务的车辆终端，接入符合其需求的信道，实现了对不同稳定性信道的合理利用。

相关参数的定义如下。公式中涉及到的参数，定义及描述见表1。

表  1  频谱参数定义表

变量	描述
$P_t^{i,j}$	$t$时刻车辆终端$i$检测到信道$j$的发射功率
$h_t^{i,j}$	$t$时刻车辆终端$i$所接入信道$j$的信道增益
$d_t^{i,j}$	$t$时刻车辆终端$i$到信道$j$所属基站间的距离
${\mu _t}$	均值为0，标准差为$\sigma$的背景噪声
${\text{high}}(f_t^{i,j})$	$t$时刻车辆终端$i$所接入信道$j$的最高频率
${\text{low}}(f_t^{i,j})$	$t$时刻车辆终端$j$所接入信道$j$的最低频率
$T$	预测时间步长
$B_T^{'i,j}$	信道$j$在时间步长$T$内的带宽变化率
$\xi _T^{'i,j}$	信道$j$在时间步长$T$内的接收信号强度变化率
$N$	车辆终端集合$N = \{ 1,2,\cdots,n\}$
$M$	信道集合$M = \{ 1,2,\cdots,m\}$

下载: 导出CSV 

| 显示表格

(1)信噪比：车辆终端$i$在$t$时刻检测到信道$j$的信噪比$\gamma _t^{i,j}$可表示为

(2)接收信号强度：车辆终端$i$在时刻$t$检测到信道$j$的接受信号强度$\xi _t^{i,j}$ 可表示为

(3)带宽：车辆终端$i$在$t$时刻所检测到信道$j$的带宽$B_t^{i,j}$可以表示为

(4)信噪比变化率：$\gamma _t^{i,j}$表示信道$j$在$t$时刻由车辆终端$i$测得的实时信噪比，$\gamma _{t + T}^{i,j}$表示LSTM所输出的在$t + T$时刻信道$j$的信噪比预测值。信道$j$在时间步长$T$内的信噪比变化率可表示为

本文带宽变化率与接收信号强度变化率采用与式(4)相同的计算方式。

3.   频谱稳定性评估模型

假设各个基站能够获得频谱资源中所有信道的历史数据，通过部署本文的算法实现对频谱稳定性的评估。频谱稳定性评估指的是通过分析监测到的频谱历史数据与实时采集的数据，预测未来多个时刻的频谱状态，计算1个周期内的变化率，将其作为稳定性评估指标。本文提出一种频谱稳定性评估模型，首先使用LSTM神经网络预测出空闲频谱在未来多个时刻的带宽、信噪比、接收信号强度，然后分别计算变化率，将结果作为K-Means算法的输入，完成频谱稳定性评估。预测模式的神经网络结构如图2。

图  2  预测模型神经网络结构

下载: 全尺寸图片 幻灯片

3.1   预测稳定性参数

传统的逐步预测算法，在进行多时刻预测时，下一个时刻的预测值完全由上一个时刻的预测值决定。这种预测方式，会导致模型的误差逐步累积，使预测结果的准确性降低^[5]。考虑到这一问题，本文的预测模型通过迭代优化每一步的输入矩阵，改进了传统的逐步预测方式，并引入Drop-out算法防止产生过拟合现象，实现了低误差的多时刻预测。本文将输入层的时间步长$T$设置为2 s。以下是预测模型的实现步骤：

(1)输入：本文将$\gamma _{}^{i,j}$, $\xi _{}^{i,j}$, $B_{}^{i,j}$一起作为LSTM输入向量与输出向量的3个特征。输入矩阵${{\boldsymbol{X}}_t} = [{{\boldsymbol{x}}_t},{{\boldsymbol{x}}_{t - 1}},\cdots,{{\boldsymbol{x}}_{t - T - 1}}]$，其中${{\boldsymbol{x}}_t} = [\gamma _t^{i,j},\xi _t^{i,j},B_t^{i,j}]$。该矩阵由$t$时刻的实时数据，与$t - 1$时刻到$t - T - 1$时刻的历史数据组成。由于认知车联网中，信道稳定性参数变化快， $t$时刻的数据与$t + 1$时刻的数据有强相关性，但只能反映信道在单一时刻的状态。$t - 1$时刻到$t - T - 1$时刻的历史数据包含了多个时刻的信道信息，能够更好地揭示信道稳定性参数的变化趋势，本文通过结合历史数据与实时数据各自的优势，更全面地预测信道的变化趋势，既保证了预测的准确性，又提高了实时响应能力。

(2)预测过程：将矩阵${{\boldsymbol{X}}_t}$输入进预测模型后，得到$t + 1$时刻的预测数据${{\boldsymbol y}_{t + 1}} = [\gamma _{t + 1}^{i,j},\xi _{t + 1}^{i,j},B_{t + 1}^{i,j}]$。之后，将$t - T$时刻到$t - 1$时刻的信道数据、$t$时刻的信道数据与$t + 1$时刻的预测数据组成新的输入矩阵${{\boldsymbol X}_{ t{\text{ + 1}}}}$。最新的预测数据${{\boldsymbol y}_{t + 1}}$，替换了上一个输入矩阵${{\boldsymbol X}_t}$中距离$t + 1$时刻最久的数据${{\boldsymbol{x}}_{t - T{{ - 1}}}}$，组成新的输入矩阵${{\boldsymbol X}_{t + 1}}$。通过这样不断更新输入矩阵的方式，使预测模型的误差不会逐步累积。将作为${{\boldsymbol X}_{ t + 1}}$新的输入，得到$t + 2$时刻的预测数据${{\boldsymbol y}_{t + 2}}$。

(3)输出：不断重复(2)中的过程，得到最终的预测值矩阵${{\boldsymbol Y}_T} = [{{\boldsymbol y}_{t + 1}},{{\boldsymbol y}_{t + 2}},\cdots,{{\boldsymbol y}_{t + T}}]$。该矩阵由$t + 1$时刻到$t + T$时刻的预测数据构成。为了提高预测模型的泛化能力，本文将Drop-out算法引入到模型中。在每一次迭代中会随机选择神经网络中的一部分神经元，将其输出设为0，这意味着这些神经元在当前训练迭代中不参与计算。 通常丢弃神经元的比例$p$是一个介于0.2～0.5的超参数,本文参照文献[6]中的设置，将$p$设为0.5。

3.2   K-Means实现稳定性评估

本文预设K-Means算法的K值为3，即最终有3个按稳定性分类的簇，并从信道集合$M$中随机选择3个信道的变化率向量作为初始质心^[7]。根据上文的稳定性参数预测模型，得到各个信道在$t + T$时刻各个参数的预测值向量${{\boldsymbol y}_{t + T}}$，通过计算得到各信道从$t$时刻到$t + T$时刻的变化率向量。在将待评估信道$i$的变化率向量${\boldsymbol{\rho}} _T^{i,j} = (\mathop {\gamma _T^{'i,j}}\limits^{} ,\mathop {\xi _T^{'i,j}}\limits^{} ,\mathop {B_T^{'i,j})}\limits^{}$作为稳定性评估模型的输入，得到3个按稳定性区分的簇，完成稳定性评估。

(1)预测值变化率归一化：由于信道的信噪比变化率、接收信号强度变化率、带宽变化率在不同的区间内变化，本文使用Min-Max归一化的方法对上述参数进行归一化处理^[8]。其中信噪比变化率的归一化计算如式(5)所示

其中，$\gamma _T^{'i,j}$表示在时间步长$T$内信道$j$的信噪比变化率，$\min (\gamma _T^{'i,M})$表示在时间步长$T$内信道集合$M$中信噪比变化率的最小值。$\max (\gamma _T^{'i,M})$表示在时间步长$T$内信道集合$M$中信噪比变化率的最大值，${\hat\gamma _T^{'i,j}}$表示信噪比变化率的归一化结果。带宽变化率与接收信号强度变化率，采用同样的归一化方式。

(2)稳定性分簇：计算每个信道的变化率向量与各个质心间的欧式距离，将信道的变化率向量分配到距其欧式距离最小的质心所在簇中。在信道集合$M$中随机挑选3个信道，将其变化率向量作为初始质心，假定信道$m$为初始质心之一，信道$j$与质心$m$间欧式距离${\text{di}}{{\text{s}}_{m,j}}$计算公式

(3)更新质心：对于每一个簇，计算其所有信道的变化率向量的平均值，并将该平均值作为新的质心。 若信道$j + 1$，信道$j + 2$，信道$j + 3$被分配到同一个簇，则新的质心表示为

(4)完成稳定性评估：经过反复迭代，直到质心不再发生变化后，得到最终的3个簇与质心。假设最终的质心为${\bf{centroi}}{{\bf{d}}^i} i \in \{ 1,2,3\}$其范数为：$\omega^i = {1}/{{\sqrt {{{( {\hat\gamma _T^{\prime i,{c^i}}} )}^2} + {{( {\hat\xi _T^{i,{c^i}}} )}^2} + {{( {\hat B_T^{\prime i,{c^i}}} )}^2}} }}$、将${\omega ^1}$, ${\omega ^2}$, ${\omega ^3}$从小到大排序，值越大代表所属簇的稳定性越高。若${\omega ^1} < {\omega ^2} < {\omega ^3}$，则质心${\bf{centroi}}{{\bf{d}}^1}$, ${\bf{centroi}}{{\bf{d}}^{\text{2}}}$, ${\bf{centroi}}{{\bf{d}}^3}$所在簇的稳定性分别为低、中、高。若信道$i$属于质心${\bf{centroi}}{{\bf{d}}^1}$所在的簇，则其稳定性指数$\omega _t^{i,j}$=${\omega ^1}$。

4.   基于强化学习的接入算法

在本文的网络场景中将车辆终端的业务请求分为：高稳定性型业务与低稳定性型业务两种类型。对于车辆终端而言，其目标是在与其他车辆终端竞争接入信道的同时，接入一个符合其稳定性需求与吞吐量需求的信道。因此本文提出一种基于强化学习的接入算法，本算法根据终端请求的业务类型和频谱稳定性评估结果，重新设计了状态空间和奖励函数。

4.1   设置状态空间与动作空间

本文在构建状态空间时，为了车辆终端与不同稳定性的信道能进行有效地交互，进而获得有效的样本进行强化学习训练。于是本节选择了信道状态、稳定性指数和吞吐量来构建强化学习的状态空间。促使车辆终端根据自身所传输业务对信道稳定性和吞吐量的需求，经过不断地迭代训练，选择一个最合适的信道进行数据传输，以此实现对不同稳定性频谱资源的合理利用。综上本文的状态空间为：${\boldsymbol{s}}_t^{N,M} = \{ {\boldsymbol{\delta}} _t^{N,M},{\boldsymbol C}_t^{N,M},{\boldsymbol{\omega}} _t^{N,M}\}$，该状态空间分别由车辆终端1到车辆终端$n$的信道状态向量、稳定性指数向量与吞吐量向量构成。

信道占用向量${\boldsymbol{\delta}} _t ^{{N},{M}} = \{ \delta _t^{i,1},\delta _t^{i,2}, \cdots,\delta _t^{i,j},\cdots,\delta _t^{i,m} \}$ 表示在$t$时刻车辆终端$i$所检测到的信道1～$m$的状态。$\delta _t^{i,j} = \{ 0,1\}$, $\delta _t^{i,j} = 1$ 表示在$t$时刻车辆终端$i$检测到信道$j$被占用，$\delta _t^{i,j} = 0$表示在$t$时刻车辆终端$i$检测到信道$j$空闲。

稳定性指数向量${\boldsymbol{\omega }}_t^{N,M} = \{ \omega _t^{i,1},\omega _t^{i,2}, \cdots , \omega _t^{i,j}, \cdots , \omega _t^{i,m}\}$ 表示在$t$时刻系统侧评估的信道1～$m$的稳定性指数。

吞吐量向量${\boldsymbol{C}}_t^{N,M} = \{ C_t^{i,1},C_t^{i,2},\cdots ,C_t^{i,j}, \cdots , C_t^{i,m}\}$ 表示在$t$时刻车辆终端$i$分别接入信道1～$m$可获得的吞吐量，吞吐量计算公式

若$C_t^{i,j} = 5\;{\text{Mbit/s}}$表示在$t$时刻接入信道$j$可获得$5\;{\text{Mbit/s}}$的吞吐量。

${\boldsymbol{a}}_t^N$是本文的动作空间，包括车辆终端1～$n$的信道选择行为。${\boldsymbol{a}}_t^N = \{ a_t^1,a_t^2,a_t^3,\cdots ,a_t^i\cdots,a_t^n\}$ 其中$a_t^i \in \{ 0,1,2,\cdots ,j,\cdots ,m\}$ ，$a_t^i = 0$表示在$t$时刻车辆终端$i$没有选择接入任何信道，$a_t^i = j$表示在$t$时刻车辆终端$i$选择接入信道$j$。

4.2   设置奖励函数

考虑到高稳定性业务与低稳定性业务，对频谱稳定性与吞吐量的不同需求。本文使用权衡系数$\lambda$来区分，传输这两种业务的车辆终端的奖励函数$r_t^{i,j}$ 。其表达式为

${\hat\omega _t^{i,j}}$表示$t$时刻车辆终端$i$所接入的信道$j$， 归一化后的稳定性指数，归一化方式与前文一样使用Min-Max方法。${\hat C_t^{i,j}}$表示$t$时刻车辆终端$i$所接入的信道$j$，归一化后的吞吐量。

4.3   Q值更新过程

本文使用经验回放协议，将车辆终端在每一个时刻使用过的经验元组$({\boldsymbol{s}}_t^{N,M},{\boldsymbol{a}}_t^N,r_t^{N,M},{\boldsymbol{s}}_{t + 1}^{N,M})$存放到经验回放池中^[9]。同时车辆终端使用mini-batch算法，每次从经验回放池中随机提取$L$条经验元组，输入到由门控循环单元(Gated Recurrent Unit, GRU)与Dueling Network组成的神经网络中进行随机梯度下降，以此更新神经网络参数${\theta _t}$，使本文的接入算法能够更快地收敛。具体神经网络结构及Q值更新过程如图3所示

图  3  Q值更新过程及神经网络结构

下载: 全尺寸图片 幻灯片

本文使用GRU作为第1层隐藏层，因为信道参数通常是时间序列数据，信道状态在时间上是连续变化的。GRU通过其内部的循环结构，可以对历史信息进行记忆和利用，从而有效地跟踪信道参数的变化趋势。因此，通过引入GRU来解决认知车联网中信道参数快速变化的问题^[10]。

本文使用决斗神经网络(Dueling Network)作为第2层隐藏层，Dueling Network通过将Q值函数分为状态价值函数${V^\pi }({\boldsymbol{s}}_t^{N,M},{\boldsymbol{a}}_t^N|{\theta _t})$与优势函数${A^\pi }({\boldsymbol{s}}_t^{N,M},{\boldsymbol{a}}_t^N|{\theta _t})$。通过这种方式，一方面解决Q值的高估问题，加快收敛速度。另一方面，正确估计每一个信道选择行为在不同环境下的价值。比如低稳定性信道，在高稳定性信道大多空闲的环境中，其Q值是偏低的。而在高稳定性信道均被占用时，空闲信道较少的环境中，其Q值应偏高，以此鼓励车辆终端接入。Dueling Network能使车辆终端根据不同的环境，动态地调整其接入策略，使不同稳定性的信道都得到合理利用^[11]

本文所提基于强化学习的接入算法，通过不断地对损失函数${L_t}({\theta _t})$进行梯度下降，来更新神经网络参数，从而使Q值函数的估计值与实际值不断逼近，最终得到一个最佳的${\theta _t}$，使各个车辆终端的接入策略收敛到最优。其中损失函数${L_t}({\theta _t})$表示为

其中${D_t} = r{ _t} + \beta {\max _{{a_{t + 1}}}}Q({\boldsymbol{s}}_{t + 1}^{N,M},{\boldsymbol{a}}_{t + 1}^{N,M}|{\theta _{t - 1}})$。本文将${D_t} - Q({\boldsymbol{s}}_t^{N,M},{\boldsymbol{a}}_t^{N,M}|{\theta _t})$的值作为时序误差(Temporal Difference Error,TDR) $\vartheta$，通过不断地从误差中学习，来更新Q值^[12]。其中Q值的更新方式为

信道选择方面本文使用$\varepsilon$策略，即每次以${{1 - }}\varepsilon$的概率选择Q值最大的行为^[13]。该策略定义为

综上本文的算法步骤见算法1所示

1  基于强化学习的动态频谱接入算法

输入：学习率$\alpha$，折扣因子$\beta$，探索概率$\varepsilon$，Mini-batch的长度$L$
输出：最优Q-Network参数${\theta _t}$
(1)为每一个车辆终端以随机权重${\theta _t}$的方式初始化Q-Network
(2) for Iteration $I$=1, 2, ···, $i$ do
(3) 　　for Time slot $T$=1, 2, ···, $t$ do
(4)　　　 for User $N$ =1, 2, ···, $n$ do
(5) 　　　　使用Mini-batch从经验回放池中随机提取$L$条经验
(6) 　　　　使用经验元组根据式(11)对损失函数进行梯度下降
(7) 　　　　更新神经网络参数
(8) 　　　　车辆终端根据式(12)更新Q值
(9) 　　　　车辆终端根据式(13)选择信道接入
(10) 　　　 车辆终端根据式(9)获得奖励
(11) 　 end for
(12) 　for User$N$ =1, 2, ···, $n$ do
(13) 　获取下一个状态空间向量${\boldsymbol{s}}_{t + 1}^{N,M}$，进行下一次信道选择
(14) 　 end for
(15) 　　 end for
(16) 　　　 end for

下载: 导出CSV 

| 显示表格

5.   实验结果分析

5.1   仿真模型和参数设置

为了评估本文所提算法的性能，利用Matlab仿真工具模拟了城市核心区域某一段长3000 m、宽30 m单向三车道的网络仿真场景。在该仿真场景中，部署有2个5G认知基站和若干车辆，假设每个基站的覆盖范围是40m，车辆的速度为10～15 m/s，为了简化仿真设置，本文将车辆数目和信道数目分别设置为10和5。其中传输高稳定性业务与低稳定性业务的车辆终端各为5辆。本文的仿真模型如图4设置。

图  4  城市认知车联网仿真图

下载: 全尺寸图片 幻灯片

本文使用Tensorflow搭建了图3中的神经网络。其中GRU层的神经元数量为50，各个神经网络层的激活函数都选用：ReLu函数。其中Dueling层的A层和V层各有20个神经元，在执行经验重放协议时，会从经验重放池中随机抽取200个小型经验样本。本文对神经网络进行 I = 5 000 次迭代训练，训练期间探索概率 $\varepsilon$ 从 1 缓慢退火至0.1。

为了验证本文算法能否适应认知车联网中的动态频谱接入问题，仿真设计了频谱利用率、碰撞概率、收敛速度、累积稳定性指数、累积吞吐量等5组实验。由于文献[14]中基于Q学习(Q-learning)的接入算法，文献[15]中基于深度Q学习(Deep Q-learning)的接入算法，提出了不同的方案，来解决与本文类似的动态频谱接入问题。故选取这两篇文献中的算法作为对比算法。并将文献[16]中的时隙Aloha算法作为基准指标来进行对比，表2是本文具体的仿真参数设置。其中学习率$\alpha$、折扣因子$\beta$、探索概率$\varepsilon$等参数的设置。激活函数以及优化器的选择参考文献[17]。表3中相关参数的设置，参照文献[18]设置。

表  2  仿真参数设置

强化学习训练参数	参数设置
授权信道数目	2
车辆终端$n$	10
传输高稳定性业务车辆终端	5
传输低稳定性业务车辆终端	5
学习率$\alpha$	0.001
折扣因子$\beta$	0.95
探索概率$\varepsilon$	$1.0 \to 0.1$
激活函数	ReLu
优化器	Adam
Mini-batch大小	4个经验元组
单次训练次数	5000次循环
总训练次数	20次
车辆速度	[10, 15] m/s

下载: 导出CSV 

| 显示表格

表  3  预测模型参数设置

预测模型参数	参数设置
学习率	$1.0 \to 0.001$
损失函数	RMSE
优化器	Adam
单次训练次数 总训练次数 训练集样本 测试集样本	20 500 650 300

下载: 导出CSV 

| 显示表格

5.2   预测算法性能分析

本文采用离线训练与在线学习结合的方式，通过不断调整隐藏层中神经网络的参数，使模型的误差逐步减小。然后，将训练好的模型在随机选择的测试集上进行测试。本文采用均方根误差(Root Mean Square Error, RMSE)来对误差函数进行建模^[19]。

本文测试集和训练集的RMES分别为：0.09886与0.087254，均小于0.1。 通过比较图5中，超过600个信道在$t$时刻所预测到的$T = 2{\text{ s}}$后的带宽预测值，与$T = 2{\text{ s}}$后实际测得的带宽实时值。发现本文所提出的预测模型，在训练集中不会因为信道数量的增多，预测值与真实值出现明显的偏差，或者预测精度有大幅下降。另外，为了避免预测模型在训练集上表现良好，而在测试集中性能下滑。本文随机选择训练集中约一半的信道作为测试集，并通过引入Drop-out算法，以此防止出现过拟合现象。根据图6中的带宽测试集的预测结果显示，本文所提算法能够很好地预测信道的带宽变化趋势。该结果说明，本文的模型具有足够的泛化能力来适应不同的信道样本。

图  5  带宽训练集预测结果

下载: 全尺寸图片 幻灯片

图  6  带宽测试集预测结果

下载: 全尺寸图片 幻灯片

根据图7训练集的损失函数曲线显示，损失函数的值在初始时较大。是因为在训练开始时LSTM神经网络的权值矩阵是随机的。此时优化器设定了一个较大的学习率进行梯度下降，使模型损失函数的值迅速降低。训练进行到250轮次时，此时损失函数的值已经较低，学习率也递减到相对较小。较小的学习率可以防止训练过程出现震荡，以便模型快速收敛。在250轮次后，损失函数的值维持在0.2以下，且没有出现明显的震荡。根据图8的测试集准确率曲线显示，在前150个轮次，准确率会大幅上升，并在150个轮次以后准确率基本完成收敛，并保持在百分之90以上，且震荡幅度极小。

图  7  训练集损失函数曲线

下载: 全尺寸图片 幻灯片

图  8  测试集准确率曲线

下载: 全尺寸图片 幻灯片

5.3   频谱利用率和碰撞概率分析

图9展示了车辆终端在100,000次强化学习的迭代过程中，4种算法的频谱利用率变化曲线。每5000次迭代计算1次性能。由于使用时隙Aloha协议的车辆终端，是随机选择信道进行接入。故随着迭代次数的增加，其利用率会稳定在0.4附近。而Q-learning算法、Deep Q-learning算法与本文所提算法都是基于强化学习的算法。这类算法在初始状态下，神经网络参数是随机的，这会导致起始的利用率偏低。车辆终端不断地从环境中学习，迭代更新神经网络参数，信道接入策略会被持续优化。随着迭代次数的增加，使用这3类算法的车辆终端的利用率会不断上升。本文所提算法相较于Q-learning算法与Deep Q-learning算法，频谱利用率的提升最为明显，经过20轮迭代后，利用率最终会收敛到0.9左右。因为本文算法引入了GRU层与经验回放协议，使车辆终端能对迭代过程中累积的接入经验进行最大化利用。从图9中可以看出Deep Q-learning算法的利用率，在各个阶段均高于Q-learning算法。由于Q-learning算法是通过维护Q表的方式来更新Q值，随着迭代次数的增加，环境信息越发复杂，维护Q表的开销也呈指数级上升，故其性能表现低于Deep Q-learning算法。

图  9  频谱利用率对比结果`

下载: 全尺寸图片 幻灯片

图10展示了车辆终端在100 000次迭代过程中，4种算法的碰撞概率变化曲线。每5 000次计算1次性能表现结果。从图10中可以看出除了时隙Aloha算法的碰撞概率始终在0.6附近波动外，其余算法，在训练初始阶段碰撞概率较大，但随着迭代次数的增加，碰撞概率会逐渐减小并完成收敛。原因是Q-learning算法、Deep Q-learning算法与本文所提算法这类强化学习算法，在训练初始阶段各个车辆终端的探索概率$\varepsilon = 1$即每次随机选择信道接入，这样特别容易造成多个终端接入同一信道。而随着迭代次数的增加，$\varepsilon$逐渐减小到0，各个车辆终端的接入策略逐渐达到最优。终端每次都大概率会选择Q值最大的信道进行接入，故碰撞概率会逐渐减小。本文所提算法相较与Q-learning算法与Deep Q-learning算法碰撞概率下降的更快，且在迭代次数到12次的时候基本收敛到0。原因是本文算法根据车辆终端的业务类型，将奖励函数进行了差异化处理。这样随着迭代次数的增加,传输高稳定性业务的车辆终端，更倾向于接入空闲的高稳定性信道。而传输低稳定性业务的车辆终端更倾向于接入中、低稳定性的信道，故碰撞概率比其他算法更快收敛到0。

图  10  碰撞概率对比结果

下载: 全尺寸图片 幻灯片

5.4   累计吞吐量与累计稳定指数分析

图11展示了多个车辆终端选择不同算法，传输高稳定性业务时，累积稳定性指数的变化曲线。从图11可以看出随着迭代次数的增加，3种算法的累积稳定性指数都在逐步上升。这说明在训练过程中，当车辆终端在传输高稳定性业务时，越来越倾向于接入稳定性高的信道。而本文所提算法，车辆终端获得的累积稳定性指数远高于其余两个算法。原因是本文通过使式(9)中的权衡系数$\lambda$动态地调节奖励函数，让接入高稳定性信道的车辆终端，能够获得更多的奖励。

图  11  累计稳定性指数对比结果

下载: 全尺寸图片 幻灯片

图12展示了多个车辆终端选择不同算法，传输低稳定性业务时，累积吞吐量的变化曲线。随着迭代次数的增加，3种算法的累积吞吐量都逐步上升，而本文所提算法使得车辆终端所获得的吞吐量远高于其他两种算法。原因是，本文使用了GRU层以及经验回放协议，对训练过程中的接入经验进行了最大化的利用。随着迭代次数的增加，正在传输低稳定性业务的车辆终端，不再竞争高稳定性信道，而是接入中低稳定性信道，这类信道虽然稳定性较低但是能够保证基本的吞吐量。这样即提高了信道的利用率，又降低了碰撞概率同时保证了吞吐量需求。

图  12  累计吞吐量对比结果

下载: 全尺寸图片 幻灯片

5.5   收敛速度分析

图13比较了本文所提算法与两种对比算法，在不同车辆终端数目以及信道数目下的收敛速度对比。当车辆终端数分别为：3, 5, 7, 9时，信道数分别为：2, 3, 4, 5。通过图13可以观察到随着车辆终端数目的增多，算法收敛所需要的迭代次数也对应地增加。本文所提算法通过引入Dueling Network，正确地估计了每个信道选择行为在不同环境下的价值，解决了Q值过高估计的问题，加快了收敛速度。综上，本文更适用于车辆数目较多的认知车联网，且在小规模网络下的收敛速度不落后对比算法过多。

图  13  不同车辆数目与信道数目下的收敛速度对比

下载: 全尺寸图片 幻灯片

6.   结束语

本文提出一种评估频谱稳定性的动态频谱接入算法，首先通过LSTM神经网络对空闲频谱的相关参数进行连续预测，之后求出各个预测值的变化率均值将该结果作为K-means算法的输入。通过该算法完成稳定性评估，并将稳定性指数以及吞吐量作为强化学习状态空间和奖励函数的一部分。考虑到车辆终端稳定性业务与低稳定性业务的不同特性，本文通过差异化奖励函数的方法，来实现对不同稳定性频谱资源的合理利用。实验结果表明，本文算法可以提高接入过程的频谱利用率以及降低接入过程的碰撞概率，满足不同车辆业务类型的需求。下一步的研究工作，希望通过评估空闲频谱可用性，进一步提升车辆终端的服务质量，建立一个更加完善的动态频谱接入系统。