1.   引言

近年来，随着移动用户的数据需求激增，移动数据业务经历了大幅度增长。因此，移动运营商需要降低成本的可扩展解决方案，以满足未来5G网络在容量和时延等方面的性能指标。在现已提出的众多具有前景的技术和新型网络框架中，网络切片(Network Slicing, NS)和云无线接入网(Cloud Radio Access Network, C-RAN)获得了学者们的广泛关注和深入研究^[1]。网络切片是指利用虚拟化技术将网络基础设施资源虚拟化为多个专用的虚拟网络，其实现了业务场景、网络功能和基础设施平台间的适配，可以更好地支持多样化的业务需求。C-RAN架构有助于在整个网络内交换业务和信道信息，其可在降低功耗的同时进一步提升网络的整体性能^[2]。

已有大量工作深入研究了虚拟化技术和C-RAN架构。文献[3]提出了一种前传容量受限的C-RAN下的资源共享策略，其中一个网络运营商将无线电资源租借给多个服务提供商(Service Providers, SPs)并控制用户接入和关联。文献[4]将虚拟化技术与C-RAN相结合，以实现最大化系统吞吐量且最小化时延的目标。

现有的研究工作大多是分开讨论虚拟化技术与C-RAN架构，很少有工作将二者结合起来探讨，也没有考虑具有多样化性能需求的5G网络切片共存的情况。然而，网络切片与C-RAN结合具有明显的优势，一来无线资源可以实现跨小区的动态可扩展分配，二来可以较容易且灵活地重新部署云资源，以专注于高需求区域，从而提升网络覆盖范围并增强用户体验质量(Quality of Experience, QoE)。此外，当前针对网络切片的资源分配方案大多考虑的是频谱或功率资源，很少有文献考虑缓存资源与其他无线电资源的联合动态分配。针对5G网络切片的动态资源分配问题，本文联合考虑了频谱与缓存资源，并将虚拟化C-RAN网络下的资源分配看作一个无穷时间马尔可夫决策过程。本文的主要贡献包括：

(1)本文基于CMDP理论建立了一个虚拟化C-RAN场景下的随机优化模型，该模型以最大化平均切片和速率为目标，同时受限于各切片平均时延约束以及网络平均回传链路带宽消耗约束。

(2)针对CMDP优化问题中难以准确掌握系统状态转移概率的问题，本文引入决策后状态的概念，将其作为一种“中间状态”用于描述系统在已知动态发生后，但在未知动态发生前所处的状态，其包含了所有与系统状态转移有关的已知信息。

(3)本文提出了一种基于在线学习的网络切片虚拟资源分配算法。在该算法中，在每个离散的资源调度时隙内，算法会根据当前系统状态为每个网络切片分配合适的资源块数量以及缓存资源。

2.   系统模型

2.1   系统场景

如图1所示，考虑一个虚拟化C-RAN网络的下行传输场景，假设原底层物理网络中的每个基站均带有一定的缓存空间，将所有缓存空间通过“云化”操作集中形成虚拟缓存资源池(virtual cache resource pool)，并与虚拟基带单元(Base Band Unit, BBU)池部署在一起。整个网络共为$K$个用户提供$S$种不同的应用服务。令${\text{K}} = \left\{ {1, 2, ·\!·\!· , K} \right\}$, ${\text{S}} = \left\{ {1, 2, ·\!·\!·, S} \right\}$，其中，${\text{K}}$和${\text{S}}$分别表示用户集合和业务集合。

图 1  虚拟化C-RAN网络系统场景

下载: 全尺寸图片 幻灯片

网络中考虑一种时变随机信道模型，令${h_{ks}}(t)$为用户$k$在时隙$t$请求业务$s$时的信道增益。${h_{ks}}(t) \in {\text{H}} = \left\{ {{h_1}, {h_2}, ·\!·\!· , {h_H}} \right\}$且$\displaystyle\sum\nolimits_{i = 1}^H {P({h_i})} = 1$，其中，${\text{H}}$为有限信道状态集合，$P({h_i})$表示信道状态为${h_i}$的概率。假定用户请求各业务时的信道状态在每个时隙内保持不变，在时隙间随机变化，并且用户在不同时隙间请求业务时的信道状态是相互独立的。假设时隙$t$内用户间请求相同业务$s$的平均信道增益为${\bar h_s}(t)$，对应的频谱效率为${\gamma _s}(t)$。

本文考虑一个离散时间排队系统，设每个时隙的长度为$\tau$，每个用户在任一时隙内都能请求多种不同的业务，假设用户$k$在时隙$t$内业务$s$到达的数据包为${A_{ks}}(t)$，其服从某种分布$E\left\{ {{A_{ks}}(t)} \right\} = {\lambda _{ks}}$且在时隙间是独立同分布的。网络为每种业务构建一个网络切片及其相应的排队队列，切片与业务是一一对应的(使用同一索引)，令${Q_s}(t)$表示切片$s$在时隙$t$开始时的队列长度，且有${Q_s}(t) = \displaystyle\sum\nolimits_{k \in {\text{K}}} {{Q_{ks}}(t)}$，其中，${Q_{ks}}(t)$为时隙$t$用户$k$的业务$s$的队列长度。${Q_s}(t)$按式(1)动态更新

其中，${A_s}(t) = \displaystyle\sum\nolimits_{k \in {\text{K}}} {{A_{ks}}(t)}$为业务$s$在时隙$t$内到达的数据包数，${D_s}(t) = {\gamma _s}(t) \cdot B \cdot {X_s}(t) \cdot \tau /L$表示时隙$t$从业务$s$的排队队列中离开的数据包数，$B$为单个RB(Resource Block)的带宽，${X_s}(t)$为时隙$t$分配给切片$s$的RB个数，$L$为每个数据包的大小。进一步，令${\text{Q}}(t) = \left\{ {{Q_1}(t), {Q_2}(t), ·\!·\!· , {Q_S}(t)} \right\}$表示系统在时隙$t$的全局队列状态信息(Queue State Information, QSI), ${\text{H}}(t) = \left\{ {{{\bar h}_1}(t), {{\bar h}_2}(t), ·\!·\!· , {{\bar h}_S}(t)} \right\}$为时隙$t$的全局信道状态信息(Channel State Information, CSI)。

虚拟缓存资源池通过主动缓存“较优”的业务内容来减少网络回传链路的带宽消耗，并降低网络运营成本。另一方面，通过将基站边缘较小的缓存空间通过“池化”形成云端具有较大容量的缓存空间这一操作，可使得网络缓存更多的流行内容，从而可以被来自不同运营商的众多用户所共享，极大地提高了资源利用率，进一步降低了网络整体时延。为了便于理解和后续讨论，本文假设虚拟缓存资源池在每一时隙可完整缓存任一业务的全部内容，令${Z_s}(t) \in \{ 0, 1\}$表示时隙$t$的缓存策略，${Z_s}(t)$= 1意味着系统在时隙$t$内缓存业务$s$的全部内容，否则，${Z_s}(t) = 0$。进一步有

令${\text{Z}}(t) = \left\{ {{Z_s}(t), s \in {\text{S}}} \right\}$为时隙$t$内的缓存资源分配行为。类似地，令${\text{X}}(t) = \left\{ {{X_s}(t), s \in {\text{S}}} \right\}$为时隙$t$内的RB分配行为，其中，${X_s}(t)$满足

其中，$N$为网络中的RB总数。

由上所述，时隙$t$内网络切片的和速率可以表示为

其中，${R_s}(t)$为切片$s$在时隙$t$的瞬时传输速率。进一步，本文假设回传链路的带宽消耗与前传链路瞬时传输速率相同，因此网络在时隙$t$内消耗的回传链路带宽可按式(5)计算

2.2   问题描述

一个受限马尔可夫决策过程(Constrained Markov Decision Process, CMDP)问题可由1个4元组$< C, A, {r_a}(c'|c), {R_a}(c, c') >$描述，其中，$C$为状态空间，$A$为行动空间，${r_a}(c'|c) = \Pr ({c_{t + 1}} =$$c'|{c_t} = c, {a_t} = a)$表示系统在当前时隙$t$处于状态$c$下，执行动作$a$后，在下一时隙$t + 1$转到状态$c'$的概率。${R_a}(c, c')$表示系统在状态$c$下执行动作$a$并转移到状态$c'$时的即时成本/回报。

在本文中，定义系统在时隙$t$的状态为${c_t} = ({\text{Q}}(t), {\text{H}}(t)) \in C\;$，定义系统在时隙$t$的行动为${a_t} = ({\text{X}}(t), {\text{Z}}(t)) \in A$。令${\text{π}} :C \to A$代表一个稳定的确定性策略，其将状态空间映射到行动空间上，即$a = {\text{π}} (c)$。令$\varPhi$表示所有可能的策略集合，给定初始状态$c$，以及策略${\text{π}} \in \varPhi$，则期望累积折扣回报(切片和速率)、期望累积折扣切片时延以及期望累积折扣回传链路带宽消耗可以分别表示为

(8)

其中，${\lambda _s} = {\rm E}[{A_s}(t)] = \displaystyle\sum\nolimits_{k \in {\text{K}}} {{\lambda _{ks}}}$为切片$s$的数据包到达过程的均值，${{{Q_s}(t)} / {{\lambda _s}}}$根据文献[5]可以理解为切片$s$的平均时延，$\gamma \in (0, 1]$为折扣因子，其指示了未来的回报对当前行为选择的影响程度。本文的目的是通过合理动态的分配频谱资源与缓存资源，在满足各网络切片平均时延约束以及网络平均回传链路带宽消耗约束的前提下，最大化平均网络切片和速率，因而建立式(9)所示的随机优化模型

其中，${\delta _s}, s \in {\text{S}}$为各切片的时延约束，${\delta _0}$为网络回传链路带宽消耗约束。

2.3   问题转换

CMDP问题式(9)可以通过拉格朗日理论转化为不受限的MDP问题，定义问题式(9)对应的拉格朗日函数为

其中，${g^\beta }({c_t}, {\text{π}} ({c_t})) \!= - \displaystyle\sum\nolimits_{s \in {\text{S}}} {{\gamma _s}(t)B{X_s}(t)} \!+\!\! \displaystyle\sum\nolimits_{s \in {\text{S}}}$${{\beta _s}\dfrac{{{Q_s}(t)}}{{{\lambda _s}}}}+{\beta _0}\left[R(t) - \displaystyle\sum\nolimits_{s \in {\text{S}}} {{Z_s}(t){R_s}(t)} \right]$为时隙$t$的拉格朗日回报，${\beta _i} \ge 0\;(i = 0, 1, ·\!·\!· , S)$为拉格朗日乘子，令${\text{β}} =$$\left\{ {{\beta _i}, i = 0, 1, ·\!·\!· , S} \right\}$。进一步，定义状态值函数为

因此，优化问题式(9)可转化为式(12)的无约束MDP问题

其对偶问题为

对于一个给定的${\text{β}} :{\beta _i} \ge 0$，无约束优化问题式(13)对应的最优策略${{\text{π}} ^{ * , \beta }}$满足式(14)的贝尔曼最优性方程

其中，${V^{ * , \beta }}:C \to R$称为最优状态值函数。类似地，定义${Q^{ * , \beta }}:C \times A \to R$为最优行动值函数，其满足

由式(14)和式(15)可得

因此，最优策略${{\text{π}} ^{ * , \beta }}$可得

为了叙述方便，接下来将符号中的${\text{β}}$省略，拉格朗日乘子${\text{β}} :{\beta _i} \ge 0$的问题将在下一节讨论。

3.   一种虚拟化C-RAN网络下基于在线学习的网络切片虚拟资源分配算法

本文接下来引入决策后状态(Post-Decision State, PDS)的概念并进而提出一种基于在线学习的网络切片虚拟资源分配算法，该算法能够很好地利用系统已知动态信息，提高学习算法的性能。

PDS描述了系统在已知动态发生后，但在未知动态发生前所处的状态，令$\tilde c$表示PDS且所有的PDSs均包含于状态空间$C$中。当时隙$t$在状态${c_t}$下采取行动${a_t}$，那么时隙$t$的PDS可表示为

其中，${\tilde {\text{Q}}_t} = \left\{ {{{\tilde Q}_s}(t), s \in {\text{S}}} \right\}$, ${\tilde Q_s}(t) = \max [{Q_s}(t)$$- {D_s}(t), 0] = \max [{Q_s}(t) - {\gamma _s}(t) \cdot B \cdot {X_s}(t) \cdot \tau /L, 0]$。

时隙$t + 1$的系统状态为

其中，${{\text{Q}}_{t + 1}} = \left\{ {{Q_s}(t + 1), s \in S} \right\}$, ${Q_s}(t + 1) =$${\tilde Q_s}(t) + {A_s}(t)$。

PDS ${\tilde c_t}$包含了所有的与从状态${c_t}$执行动作${a_t}$再转到${c_{t + 1}}$有关的已知信息，下一时隙状态${c_{t + 1}}$则包含了所有未知动态，即切片数据包到达过程${A_s}(t)$和信道状态${{\text{H}}_{t + 1}}$。

根据PDS的定义，一般地，系统状态转移概率${r_a}(c'|c)$可以被分解为已知和未知两部分，已知部分给出从状态$c$到PDS $\tilde c$的转移概率，未知部分给出从PDS $\tilde c$到下一状态$c'$的转移概率。令$r_a^k(\tilde c|c)$和${r^u}(c'|\tilde c)$分别表示已知转移概率和未知转移概率，则有

类似地，即时回报函数也可分解为已知和未知两部分，如式(21)所示

值得注意的是，本文中不存在未知成本，即${g^u}(\tilde c) = 0$，${g^k}(c, a) = g(c, a)$。为了便于叙述，定义系统状态与PDS的状态转移方程分别为

其中，${{\text{A}}_t} = \left\{ {{A_s}(t), s \in {\text{S}}} \right\}$，式(22)与当前采取的行动有关，式(23)与外部随机事件有关，包括业务数据包到达过程与信道状态变化等。

令${\tilde V^{\ \ \!*} }$表示最优的PDS状态值函数

则最优状态值函数${V^ * }$可改写为

因此，最优策略${\text{π}} _{{\rm{PDS}}}^ *$可按式(26)选择

式(25)是式(14)等效的改写形式，所以${\text{π}} _{{\rm{PDS}}}^ *$与${{\text{π}} ^ * }$也同样等价。因此，PDS状态值函数适用于学习最优策略。从式(25)可以看出，基于PDS的学习算法可通过学习系统未知动态来获得最优值函数${V^{\ *} }$和最优策略${{\text{π}} ^ * }$，可利用迭代的方式逐渐逼近最优的PDS状态值函数${\tilde V^{\ \ \!*} }$。本文提出的基于在线学习的网络切片虚拟资源分配算法具体如表1所示。

表 1  虚拟化C-RAN网络下基于在线学习的网络切片虚拟资源分配算法

输入　系统状态空间$C$，动作空间$A$，拉格朗日回报函数 $g({c_t}, {\text{π}} ({c_t}))$，有限信道状态集合${\text{H}}$。

初始化：初始化决策后状态的状态值函数${\tilde V_0}(\tilde c) \in R, \forall \tilde c \in C\,$，令 $t \leftarrow 0$, ${c_t} \leftarrow c \in C\,$。

学习阶段： 　　(1) 求解 ${a_t} = \mathop {\arg \min }\limits_{a \in A} \left\{ {g({c_t}, a) + \gamma {{\tilde V}_t}({S^{M, a}}({c_t}, a))} \right\}$； (27)

(2) 观察PDS状态${\tilde c_t}$和下一时隙状态${c_{t + 1}}$：${\tilde c_t} = {S^{M, a}}({c_t}, {a_t})$, ${c_{t + 1}} = {S^{M, W}}({\tilde c_t}, {{\text{A}}_t}, {{\text{H}}_{t + 1}})$；

(3) 计算${c_{t + 1}}$的状态值函数： 　　　${V_t}({c_{t + 1}}) = \mathop {\min }\limits_{a \in A} \left\{ {g({c_{t + 1}}, a) + \gamma {{\tilde V}_t}({S^{M, a}}({c_{t + 1}}, a))} \right\}$； (28)

(4) 更新${\tilde V_{t + 1}}({\tilde c_t})$：

${\tilde V_{t + 1}}({\tilde c_t}) = (1 - {\alpha _t}){\tilde V_t}({\tilde c_t}) + {\alpha _t}{V_t}({c_{t + 1}})$； 　　　　 (29)

(5) 利用随机次梯度法更新拉格朗日乘子${\text{β}} :{\beta _i} \ge 0$。

输出　最优策略${\text{π}} _{{\rm{PDS}}}^ *$。

下载: 导出CSV 

| 显示表格

表1中，${\alpha _t}$是第$t$次迭代时的学习速率，遵循随机近似条件^[6]，其应满足$0 < {\alpha _t} < 1$, $\displaystyle\sum\nolimits_t {{\alpha _t}} =\infty$和$\displaystyle\sum\nolimits_t {\alpha _t^2} < \infty$。可以证明，当$t \to \infty$时序列${\tilde {V\ \;}\!\!_t}(\tilde c)$会以概率1收敛到最优PDS状态值函数${\tilde {V\ \; }\!\!^{\, *} }(\tilde c)$。

4.   仿真结果与分析

为了评估本文所提出的基于在线学习的网络切片虚拟资源分配算法的有效性，本节将其与文献[4]提出的启发式(heuristic)算法、文献[6]中的Q学习(Q-Learning)以及文献[7]中的比例公平静态共享算法(Static Sharing with PF)作比较，根据仿真结果进行详尽地分析。启发式算法中，在每个离散的资源调度时隙上，对于任一RB，首先计算各网络切片的当前权重，其中权重与当前时隙各切片的最低资源需求、信道状态以及队列状态有关。接着，算法将RB分配给对应权重最大的网络切片。比例公平静态共享算法中，在每个离散的资源调度时隙上，首先根据当前时隙的系统状态计算各网络切片的最低资源需求。接着，在分配给各网络切片最低需求的资源块数后，算法将依据各切片队列长度比例公平的原则分配剩余的资源块。

4.1   参数设置

本文考虑的仿真场景中有两个时延需求不同的网络切片，即$S = 2$，将各切片的队列长度离散化为有限个等间距的区间，每个区间表示一种队列状态，因而系统状态空间$C$为有限状态集合。仿真中主要参数设置如表2所示。

表 2  仿真参数

仿真参数	值
远端射频头(RRH)最大发射功率	20 dBm
各切片最大队列长度${Q_{s, \max }}$	20 packets
噪声功率谱密度	–174 dBm/Hz
数据包大小$L$	4 kbit/packet
路径损耗模型	104.5+20lg(d) (d[km])
时隙长度$\tau$	1 ms

下载: 导出CSV 

| 显示表格

4.2   仿真结果分析

图2和图3分别比较了不同平均时延约束下，4种不同算法在平均切片和速率以及平均切片总时延方面的性能。从图2和图3中可以看出，平均时延约束越大，不同算法下的平均切片和速率和平均切片总时延都将增大。这是因为平均时延约束越大，算法就会在满足平均时延约束条件下优先考虑平均切片和速率最大化的问题，会出现将信道条件较差的网络切片新到达的业务数据包积压进排队队列，从而能分配更多的资源给信道条件较好的切片以提高整体平均切片和速率的情况。此外，如图2和图3所示，本文提出的基于在线学习的网络切片虚拟资源分配算法具有最高的平均切片和速率，Q学习算法实现了与其相近的平均切片和速率和平均切片总时延性能，启发式算法的平均切片总时延最大，比例公平静态共享算法的平均切片和速率最小，但其平均切片总时延要优于其它3种算法。这是因为在比例公平静态共享算法中，在每个离散的资源调度时隙内，在分配给各网络切片最低需求的资源块数后，算法将按照各切片队列长度比例公平的原则分配剩余的资源块。因此，信道条件较差的网络切片也能分配到相对更多的资源，从而会降低切片平均总时延，但相应地也会影响平均切片和速率。

图 2  不同平均时延约束下的平均切片和速率

下载: 全尺寸图片 幻灯片

图 3  不同平均时延约束下的平均切片总时延

下载: 全尺寸图片 幻灯片

图4和图5分别比较了不同数据包到达率${\lambda _1}$下，4种不同算法在平均切片和速率以及平均切片总时延方面的性能。从图中可以看出，随着切片1的业务数据包到达率${\lambda _1}$增大，不同算法下的平均切片和速率将减小，平均切片总时延将增大。这是因为数据包到达率${\lambda _1}$越大，每一时隙内切片1的排队队列中堆积的待传数据包也就越多，因而平均切片总时延也会相应增大。此外，为了满足切片1的平均时延约束，算法会在每个离散的资源调度时隙内为其分配更多的资源块，尤其是当信道条件较差的时候，相应地，切片2就会得到相对较少的资源块数量，即使其当前的信道质量较好，即可以理解为以牺牲部分切片和速率为代价来满足切片时延约束，因此平均切片和速率会随着数据包到达率${\lambda _1}$的增大而减小。

图 4  不同数据包到达率${\lambda _1}$下的平均切片和速率

下载: 全尺寸图片 幻灯片

图 5  不同数据包到达率${\lambda _1}$下的平均切片总时延

下载: 全尺寸图片 幻灯片

5.   结束语

针对现有研究中缺乏C-RAN场景下网络切片的动态资源分配方案的问题，本文将虚拟化C-RAN网络下的资源分配看作一个无穷时间马尔可夫决策过程，建立了一个以最大化平均网络切片和速率为目标，同时受限于各切片平均时延约束以及网络平均回传链路带宽消耗约束的随机优化模型，进而设计了一种基于在线学习的网络切片虚拟资源分配算法。仿真结果显示，所提出的算法能够有效地满足各切片的服务质量需求，降低回传链路带宽消耗的压力并同时提升系统吞吐量。

传统的基于MDP或Q-Learning的强化学习算法是基于查找表来选择每一时刻的最优行动的，然而当状态空间较大时，会引起所谓的“维度灾难(Curses of Dimensionality)”问题，导致算法的可扩展性较差，且对于访问次数较少的状态来说，其值函数的收敛速度较慢。为了解决上述问题，许多新兴的技术受到了学者们的广泛关注和深入研究，如值函数近似策略^[8,9]、基于Actor-Critic (AC)的强化学习方法^[10]、深度强化学习(Deep Reinforcement Learning, DRL)^[11]等，这也是进一步研究工作的重点。