Design for a digital chaotic spreading sequence generator

1.   引言

轨道交通进站客流量是衡量站点运营状况的一项重要指标。通过处理、分析庞大的客流数据，挖掘数据背后的出行规律，对车站短时进站客流量进行分析、预测，能为管理部门制定合理的运营方案、进行乘客出行路径诱导等提供数据支撑，也有助于充分发挥轨道交通运能、保障乘客安全高效出行。

根据预测过程中使用到的模型数量，城市轨道交通短时客流预测方法可分为单一模型预测法和组合模型预测法两种。单一模型根据其方法和原理，又可细分为基于统计理论的预测模型、基于机器学习的预测模型和基于深度学习的预测模型3种。早期的客流预测，以差分整合移动平均自回归模型(AutoRegressive Integrated Moving Average mode, ARIMA)^[1]等时间序列模型、K近邻模型^[2]、卡尔曼滤波模型^[3]等基于统计理论的模型为主。而随着高速发展的计算机技术与交通领域的深入融合，支持向量机^[4]、随机森林^[5]、极端梯度提升^[6]等基于机器学习的模型凭借其在捕获数据间潜在的非线性动态特性以及处理大量、复杂数据过程中的突出表现，在客流预测领域取得了出色的成果。基于人工神经网络的深度学习是机器学习中发展最庞大的一个分支，其中，除了最为常见的循环神经网络(Recurrent Neural Network, RNN)及其变体长短期记忆网络(Long Short-Term Memory, LSTM)^[7]，生成对抗网络^[8]、深度卷积记忆网络^[9]等深度学习模型也被逐渐应用于客流预测领域。然而，以上单一模型的研究侧重于模型的结构优化和提高算法效率，忽略了数据的噪声干扰，且始终存在模型参数、阈值无法确定的问题。

由此，学者将不同模型进行组合以弥补单一模型的局限性。广义组合预测模型可分为误差修正类、模型优化类、分解重组类3种^[10]，分别从误差校正、参数优化、数据降噪的角度来提高预测精度。其中，模型优化类组合模型应用最为广泛，通常为使用启发式算法解决人为设定超参数导致模型性能局限的问题。殷礼胜等人^[11]使用遗传粒子群算法对小波时间网络的参数进行优化，提升了模型训练的收敛速度；Zhang等人^[12]使用一种具有混沌特性的改进的遗传算法优化支持向量机模型的参数，提高了短时交通流预测的准确性。除了传统的启发式算法，近年来，也出现了一批专为机器学习任务设计的超参数调优框架，如AutoML-NNI, Hyperopt, Optuna, Ray, SMAC, Talos等。其中，Optuna相比于其他框架具有稳定性好、拓展性强、高效便捷的优点，可用于实现多种贝叶斯优化，在模型优化研究中也取得了出色的表现。分解重组类组合模型引入了信号分析领域的相关方法，以输入数据为切入点，通过分解降噪来增强数据的平稳性并提高模型预测精度。寇唯^[13]使用固有时间尺度分解算法分解进站客流序列，并针对波动较大的分量使用滑动平均法进行二次处理，增强了数据的可预测性；Zhang等人^[14]将3维卷积神经网络与集合经验模态分解(Ensemble Empirical Mode Decomposition, EEMD)算法相结合，提出一种名为Deep Ensemble的混合预测模型，可应用于交通状态监测和缓解拥堵；Wang等人^[15]提出了一种使用自适应噪声的完全总体经验模态分解(Complete Ensemble Empirical Mode Decomposition with Adaptive Noise, CEEMDAN)算法和基于注意力机制的卷积长短期记忆网络的组合模型，以提取客流数据的时空特征。其中，CEEMDAN算法在经验模态分解(Empirical Mode Decomposition, EMD)和EEMD算法的基础上发展而来，更适用于处理复杂的、非平稳的客流序列。

组合模型拥有更为稳定且良好的预测性能，但如何将3个及以上的模型进行合理的组合，依然是目前研究的重点。鉴于此，本文提出一种新的深度学习组合预测模型，使用双向长短期记忆网络(Bidirectional Long Short-Term Memory, BiLSTM)作为底层模型，以学习前后两个方向的客流量关系，结合分解重组类和模型优化类组合模型的方法原理，使用CEEMDAN算法进行数据降噪处理，再使用Optuna进行超参数寻优，使组合模型中的各个模型算法优势互补，取得更高的预测精度。

2.   基于CEEMDAN的数据分解降噪方法

2.1   CEEMDAN原理

CEEMDAN算法通过在分解的各个阶段添加自适应高斯白噪声，将原始信号分解为多个本征模态分量(Intrinsic Mode Function, IMF)，进一步削弱了EMD算法存在的模态混叠的问题，使得分解的过程更加完整，且重构误差几乎为零。该算法的流程如下：

(1)向原始信号${y_t}$加入初始振幅为${\varepsilon _0}$的高斯白噪声${\varepsilon _0}{\omega _i}(t)$，(i=1, 2,···, I)，其中${\omega _i}(t)$为服从标准正态分布的白噪声序列，得到新的信号${y_i}(t) = y(t) + {\varepsilon _0}{\omega _i}(t)$，对新信号进行EMD分解，得到第1阶段的i个模态分量${{\rm{IMF}}} _1^i$，对其进行总体平均即可得到CEEMDAN分解的第1个本征模态分量${\text{IM}}{{\text{F}}_1}$。

(2)计算除去第1个模态分量后的残差

(3)定义${E_k}$表示由EMD分解得到的第k个模态分量，向残差r₁(t)中添加噪声分量${\varepsilon _1}{E_1}({\omega _i}(t))$，再进行分解得到2阶模态分量为

(4)重复步骤(2)、步骤(3)，对于k=1, 2, ···, n，可以得到去除第k个分量后的残差以及第k+1个模态分量

(5)当残差${r_k}(t)$无法继续分解时，分解终止，得到最终的残差信号为

2.2   分量合并与重构

使用CEEMDAN分解后会产生较多个IMF分量，如果直接作为模型输入进行预测，将产生庞大的计算量，且不利于后续优化算法的叠加，因此需要对IMF分量进行合并重构。在此过程中，由于各IMF分量的规律性和复杂程度差异较大，需要对IMF分量的复杂程度、与原始数据之间的相似度进行评估，并合理地结合两者的结果^[16]。本文分别使用样本熵和层次聚类进行分量复杂性和相似度评估，并在此基础上进行分量合并与重构。

2.2.1   样本熵

样本熵(Sample Entropy)作为近似熵的改进版本，降低了近似熵的计算误差，抗噪能力更强，更适用于时间序列分析，被广泛应用于度量时序数据的复杂性。样本熵越大，时序数据的复杂程度越高，噪声干扰越强；反之则表明数据的成分较为单一，复杂度低，噪声少。

对于由N个数据组成的时间序列，其样本熵的计算方法为

其中，维数m通常取值为1或2，相似度r通常取原始序列标准差的0.1～0.25倍，${A^m}(r)$为两个序列在相似度r下匹配m+1个点的概率，${B^m}(r)$为两个序列匹配m个点的概率。

2.2.2   层次聚类

聚类分析方法可用于衡量样本之间的相似性，将相似性相近的样本归为一类。层次聚类是较为常见的一种聚类算法，通过计算不同类别样本之间的相似度来创建一棵有层次的聚类树，样本间的相似度越高，距离越小。聚类树的创建方法分为凝聚(自下而上合并)和分裂(自上而下分裂)两种。本文采用凝聚方式，对分解得到的IMF分量进行聚类。

3.   基于BiLSTM的短时客流预测方法

3.1   双向长短期记忆网络

LSTM由RNN发展而来，保持了RNN的记忆功能，并通过有选择的记忆和遗忘，有效地解决了RNN存在的梯度消失及长程依赖问题。BiLSTM由前向LSTM和后向LSTM叠加而成，具有前后两个方向的传输层，且都与输出层相连，能够有效利用LSTM网络无法捕获的后向信息，使每一节点都能获得过去和未来两个方向的数据信息，学习两个方向之间的相互作用关系，使预测结果更加准确，其结构如图1所示。

图  1  BiLSTM结构图

下载: 全尺寸图片 幻灯片

BiLSTM网络在t时刻的输出由同一时刻前向层和后向层的输出进行拼接得到，其计算公式为

其中，${{\boldsymbol{\vec h}}_t}$为前向LSTM层的输出，${{{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\leftarrow}$}}{{\boldsymbol{h}}} }}_t}$为后向LSTM层的输出，${O_t}$为BiLSTM网络的输出。

3.2   Optuna参数优化框架

Optuna^[17]是由日本人工智能公司Perferred Network提出的一款自动超参数优化框架，包含3个核心概念，分别是目标(objective)函数、单次试验(trial)和研究(study)。其中objective通常对应模型的损失(loss)或准确度(accuracy)，trial表示目标函数的单次调用，而study对象包含了一系列的trials，用于管理优化过程。Optuna具有高效的采样机制和剪枝算法、便捷的可视化、高度兼容的通用架构等特征^[18]。优化过程中，Optuna通过不断试错进行剪枝，并依据历史试验结果来确定下一轮调优的参数组合，直到达到最大试验次数，最终输出最优解及最优目标函数值^[19]。本文选用Optuna框架中的树形结构Parzen优化器(Tree-structured Parzen Estimator, TPE)进行超参数优化，该算法基于贝叶斯优化原理，通过构建目标函数的概率模型对超参数进行评估，并根据评估结果选择下一轮试验的超参数，有效缩短调参时间。

3.3   CEEMDAN-TPE-BiLSTM组合预测模型

针对特定车站的进站客流序列，本文提出了一个CEEMDAN-TPE-BiLSTM组合模型进行短时客流预测，建模及试验的基本流程如图2所示，主要步骤可归纳如下：

图  2  建模及实验流程图

下载: 全尺寸图片 幻灯片

(1)CEEMDAN分解。使用CEEMDAN算法对原始进站客流序列进行分解，得到n个IMF分量，通过计算样本熵和层次聚类对分量进行评估与重构，得到新的k个IMF分量(k＜n)，用作后续组合模型的输入，建立CEEMDAN-BiLSTM模型；

(2)组合模型搭建。使用Optuna中的TPE算法对各IMF分量在BiLSTM模型中的超参数进行优化，使用优化后的超参数搭建CEEMDAN-TPE-BiLSTM组合模型，将k个IMF分量的预测结果累加求和得到组合模型的最终预测结果；

(3)实验结果对比。使用BiLSTM模型、CEEMDAN-BiLSTM模型、TPE-BiLSTM模型、CEEMDAN-TPE-BiLSTM模型分别进行预测，选取评价指标对4个模型的预测效果进行对比分析，验证CEEMDAN-TPE-BiLSTM组合模型的有效性。

4.   实例分析

4.1   数据背景

本文所使用的数据集来源于杭州地铁2019年1月2日至1月26日的AFC刷卡数据，选取龙翔桥站作为目标站点进行实例分析，该站靠近杭州西湖风景名胜区，为典型的景区型站点。为方便计算，规定运营时段为每日的5:30-23:30，以15 min为时间粒度进行时段划分和进站客流量统计，将单日的运营时段划分为72个时间片段，累计得到1800个时间片段的进站客流量。

进站客流量通常以“周”为单位呈现出一定的周期性和规律性。鉴于此，将原始数据集划分为两组数据集分别进行预测。工作日数据集共18 d，取前13 d作为训练集，后5 d作为测试集；非工作日数据集共7 d，取前5 d作为训练集，后2 d为测试集。

4.2   CEEMDAN分解

4.2.1   初始分解结果

使用CEEMDAN算法对龙翔桥站的工作日和非工作日的进站客流序列分别进行分解。设置添加白噪声的幅度均为原始数据标准差的0.2倍，添加白噪声组数均为 500组，最大分解次数均为5000次，分解得到的多个IMF分量按频率由高到低排列如图3所示。其中，最后一个分量为趋势量，体现了进站客流序列的总体变化趋势。

图  3  进站客流序列CEEMDAN分解结果

下载: 全尺寸图片 幻灯片

4.2.2   分量分类与重构

为了提高网络预测速率且保持数据的完整性，本文通过计算各分量的样本熵以及对分量进行层次聚类，分别用以衡量IMF分量自身的复杂性及彼此之间的相似性，在此基础上将初始IMF分量进行分类合并与重构。设定嵌入维数为2，相似度为原始数据标准差的0.2倍，计算各分量的样本熵，结果如表1所示。

表  1  IMF分量样本熵计算结果

	IMF1	IMF2	IMF3	IMF4	IMF5	IMF6	IMF7	IMF8	IMF9	IMF10	IMF11
工作日	0.954	0.894	0.789	0.483	0.524	0.300	0.296	0.076	0.038	0.005	0.001
非工作日	0.812	0.983	1.178	0.544	0.514	0.282	0.240	0.102	0.002	—	—

下载: 导出CSV 

| 显示表格

可以看出，工作日和非工作日的IMF1～IMF3的样本熵值均较大，分量复杂度较高，这3个分量各自为一类，再将工作日剩余的IMF4～IMF11，非工作日剩余的IMF4～IMF9分别进行层次聚类，计算各分量两两之间的平均距离，得到聚类结果的树状图如图4所示。

图  4  IMF分量聚类结果

下载: 全尺寸图片 幻灯片

根据工作日的分量聚类结果，将距离较近，较早聚为一类的IMF4, IMF5划为一类，IMF7～IMF9划为一类，剩余的IMF6, IMF10, IMF11划为一类，将这6类IMF分量进行合并重组并重新编号，得到新的IMF1～IMF6图像如图5(a)所示；类似地，根据非工作日的分量聚类结果，将IMF4, IMF5划为一类，IMF7, IMF8划为一类，剩余的IMF6, IMF9划为一类，合并重构后新的IMF1～IMF6图像如图5(b)所示。可以看出，重构后各分量保持了与原始数据相似的规律性，且波动性较原始数据更弱。

图  5  IMF分量重构结果

下载: 全尺寸图片 幻灯片

4.3   预测效果分析

使用以TensorFlow为后端的Keras平台，搭建BiLSTM网络作为底层基准模型，添加Dropout层，设置随机失活概率为0. 2。其余参数设置为选用Tanh函数为激活函数，Adam优化算法，均方损失函数，单隐藏层神经元个数为32，迭代次数为50，批大小设为32，学习率设为0.005，时间步长为8，即使用前两个小时的历史数据对下一时刻的数据进行预测。在此基础上，使用4.2节重构得到的IMF1～IMF6作为BiLSTM网络的输入，构建CEEMDAN-BiLSTM模型。

分别在BiLSTM模型和CEEMDAN-BiLSTM模型的基础上，使用TPE算法对二者的超参数进行优化，其中，后者需要对输入模型的6个IMF分量的模型参数分别进行优化。待优化的超参数均设为隐藏层神经元个数(units)、批大小(batch size)、迭代次数(epochs)、学习率(lr)，其余参数保持不变。规定待优化参数的搜索空间范围(最小值和最大值)及步长设置如表2所示。

表  2  待优化超参数搜索空间范围

	神经元个数	批大小	迭代次数	学习率
搜索空间范围	(16, 64)	(16, 64)	(30, 70)	(0.0001, 0.01)
步长	2	4	5	0.0001

下载: 导出CSV 

| 显示表格

设置试验次数为50次，以均方根误差为目标函数向最小方向迭代寻优，得到工作日、非工作日对应的两个模型优化后的超参数如表3所示。

表  3  优化后各模型的超参数

	模型	IMF	隐藏层神经元个数	批大小	迭代次数	学习率
工作日	BiLSTM模型	—	26	40	65	0.0072
	CEEMDAN-BiLSTM 模型	IMF1	60	24	65	0.0084
		IMF2	60	36	65	0.0034
		IMF3	42	16	60	0.0090
		IMF4	60	28	65	0.0066
		IMF5	50	20	55	0.0041
		IMF6	62	20	60	0.0054
非工作日	BiLSTM模型	—	38	52	65	0.0078
	CEEMDAN-BiLSTM 模型	IMF1	62	20	70	0.0080
		IMF2	36	16	60	0.0023
		IMF3	42	24	50	0.0062
		IMF4	54	24	70	0.0082
		IMF5	58	16	40	0.0092
		IMF6	40	16	50	0.0065

下载: 导出CSV 

| 显示表格

使用优化后的参数对模型进行训练，得到TPE-BiLSTM模型、CEEMDAN-TPE-BiLSTM组合模型的预测结果，绘制4个模型的预测结果对比图如图6所示。可见无论是工作日还是非工作日，4个模型中，BiLSTM模型仅能够描绘出客流变化的大体趋势，TPE-BiLSTM模型与之相比有所进步，但在波动较大的时段上预测效果不佳；而CEEMDAN-BiLSTM模型在把握客流变化走向的同时也能够展现出高峰特征，CEEMDAN-TPE-BiLSTM组合模型的预测曲线则最贴近真实值，在峰值细节刻画上表现最佳。

图  6  模型预测效果对比

下载: 全尺寸图片 幻灯片

为验证组合模型的有效性，采用均方根误差(Root Mean Squared Error, RMSE)、平均绝对误差(Mean Absolute Error, MAE)、平均绝对百分比误差(Mean Absolute Percentage Error, MAPE)、R²决定系数对4个模型的预测效果进行评价，4项指标的计算公式如式(11)—式(14)，计算结果如表4所示。其中，n为样本个数，${y_i}$, ${\hat y_i}$和${\bar y_i}$分别表示真实值、预测值以及样本均值。

表  4  模型预测性能评价指标

模型	工作日					非工作日
	RMSE	MAE	MAPE(%)	R2		RMSE	MAE	MAPE(%)	R2
BiLSTM	137.467	92.486	21.094	0.914		147.001	94.828	22.838	0.956
TPE-BiLSTM	121.868	77.680	19.004	0.933		140.193	90.248	19.352	0.960
CEEMDAN-BiLSTM	70.945	51.258	14.627	0.977		104.186	75.919	22.573	0.978
CEEMDAN-TPE-BiLSTM	57.730	36.981	12.071	0.985		80.575	52.587	16.300	0.987

下载: 导出CSV 

| 显示表格

使用经过CEEMDAN算法分解后的IMF分量作为模型的输入，将所得到的预测结果与BiLSTM模型的各项评价指标进行比对，可以发现RMSE, MAE, MAPE 3项误差指标显著降低，拟合优度R²明显提升，可见对输入数据进行分解降噪预处理，能够降低模型的预测误差；再对比BiLSTM模型和TPE-BiLSTM模型，CEEMDAN-BiLSTM模型和CEEMDAN-TPE-BiLSTM模型的各项评价指标，说明超参数优化使模型性能有所提升。

4个模型的预测结果中，CEEMDAN-TPE-BiLSTM组合模型同时从数据降噪和参数优化的角度提升了模型性能，在工作日和非工作日两种情景下的预测结果中均取得了最高的预测精度，3项误差指标均为最低，拟合优度指标均为最高，验证了本文提出的CEEMDAN-TPE-BiLSTM组合模型的有效性。

进一步地，为研究模型在高峰时段的预测精度，对龙翔桥站每日的客流分布情况进行高峰状态判定。对于全日客流量较大，高峰特征不明显的龙翔桥站，传统的高平峰划分方式显然并不适用。为此，本文借鉴文献[20]中关于客流高峰持续时间的定义，以单位时间客流量的上80%分位点作为客流高峰状态的临界值。具体的判定标准为，对站点单日的进站客流量进行统计并从低到高排序，则后20%进站量对应的时段为高峰时段，在进站客流分布图上做“y=临界值”的虚线用以区分，全部25 d的高峰状态判断结果如图7所示。考虑到客流存在短暂波动的情况，本文规定只有在30 min内，即连续两个时间片段内进站客流量均达到临界值时，才判定该时段为高峰时段。图中横纵轴分别表示时间片段和进站客流量。

图  7  高峰时段划分图像

下载: 全尺寸图片 幻灯片

计算模型在客流高峰状态下的4项评价指标如表5所示。其中，多个模型的R²决定系数为负值，说明模型在高峰时段的预测误差大于取该时段样本均值得到的预测误差，且RMSE, MAE明显高于整体的对应值，其中非工作日模型的RMSE, MAE又远大于工作日模型的对应值，说明模型在高峰时段的预测结果中，尤其是非工作日情景下，出现了较多异常值，高峰时段下的客流规律性更弱，可预测性更低。

表  5  高峰状态下模型预测性能评价指标

模型	工作日					非工作日
	RMSE	MAE	MAPE(%)	R2		RMSE	MAE	MAPE(%)	R2
BiLSTM	194.380	170.480	11.823	–1.601		229.810	175.016	8.749	–2.047
TPE-BiLSTM	138.215	106.626	7.296	–0.315		222.178	167.007	8.411	–1.848
CEEMDAN-BiLSTM	115.999	107.435	7.561	0.074		171.194	154.437	7.916	–0.691
CEEMDAN-TPE-BiLSTM	73.466	57.771	4.019	0.628		117.462	108.406	5.539	0.204

下载: 导出CSV 

| 显示表格

然而，在高峰时段的预测结果中，CEEMDAN-TPE-BiLSTM组合模型依然取得了最佳的预测结果，其中R²更是实现了由负到正的突破。因此可以看出，CEEMDAN算法弱化了客流高峰状态下的噪声干扰，有利于模型捕获客流的高峰特征，参数优化则进一步提高了模型性能，这也再次验证了本文组合模型的有效性。

5.   结束语

本文根据城市轨道交通AFC数据，运用神经网络、模态分解等方法，从参数优化和数据降噪两方面入手，构建了一种深度学习组合预测模型。实验结果表明，在工作日和非工作日两种情景下，组合模型的RMSE, MAE, MAPE均为最小，R²决定系数均为最大，工作日(非工作日)的RMSE, MAE, MAPE值较底层BiLSTM模型分别降低了79.737(66.426), 55.505(42.241), 9.023%(6.538%)，R²由0.914(0.956)提高到0.985(0.987)。可见本文提出的CEEMDAN-TPE-BiLSTM组合预测模型在短时客流预测中，可以取得较好的预测效果。但针对客流波动剧烈的高峰时段，如何更好地捕获高峰客流特征，依然是后续研究的重点。此外，本文在进行超参数寻优的过程中，仅对神经网络模型的神经元个数、学习率等4个超参数进行了寻优，针对每个IMF分量只进行了50轮寻优试验。因此，分析各超参数的重要程度、选取其余多个超参数进行多轮寻优将是下一步的研究内容。