THE CONSTRUCTION AND REALIZATION OF D=3 SM ARRAY CODES FOR HIGH-DIMENSION

1.   引言

在现代交通运输迅速发展的大背景下，交通治理方面的问题日益显现，道路交通安全形势严峻。目前，交通事故已成为人类生命财产安全的威胁之一，它不仅会造成严重的经济损失，而且容易导致交通拥堵。为此政府已采取一系列措施，例如禁止车道变换，在高峰时段设置交叉路口的交通灯等，但改善情况并不明显。因此为减少事故的发生，除了个人安全意识和驾驶技术需要提高外，交通事故风险预测已成为一种非常有效的方法。道路交通事故发生具有偶然性，其主要原因有超速驾驶、障碍物阻挡、醉酒驾驶、疲劳驾驶、车辆缺陷及恶劣的道路状况等^[1,2]，这使预测事故发生的风险性变得极为困难，一方面在于实时交通数据的采集、计算及传输的部署，由于此类数据对网络带宽、速率有极高的要求，不能将交通事故风险预测业务完全部署在云端，依赖云计算中心处理大流量的交通数据及设备访问流量，而需要将交通事故风险预测业务部分卸载至边缘侧服务器，边缘服务器在一定程度上做出自主判断与决策后将部分筛选、计算后的信息上传至云计算中心，以节省网络带宽、降低网络传输时延。另一方面在于交通事故中众多因果因素的探索，由于这些因素(驾驶员角色，道路状况，交通流量和天气状况等)之间的相关性非常复杂，需采用大数据和机器学习技术来使预测交通事故发生准确性逐渐提高，其中深度学习方法已被用于优化预测模型，通过利用深度神经网络的强学习能力来捕捉事故发生的因果因素之间的相关性。

考虑到交通事故的高发生率及事故一旦发生所造成的人身财产损失严重，就必须保证预测模型的准确性与可靠性。为分析引发交通事故的特征因素、预测交通事故发生的频率、减少交通事故发生风险，构建更加安全和谐的交通信息体系，专家学者进行了许多关于交通事故分析的研究：包括危险位置/热点识别^[3]、交通事故的严重程度分析^[4]和交通事故持续时间分析^[5]。文献[6]通过改进的基于Levenberg-Marquardt最优化方法的BP(Levenberg-Marquardt Back-Propagation, LM-BP)神经网络算法，神经网络和遗传算法等混合算法，利用机动车数量、公路里程数和人均资本额3个因素为参数建立道路交通事故宏观预测模型，分析了道路安全的评价指标和主要影响因素。文献[7]通过对典型因素的统计和逻辑回归分析，得出交通事故与道路类型、车辆类型、驾驶员的关系，实现了交通事故的热点预测。文献[8]将决策树数据分析技术和人工神经网络(Artificial Neural Network, ANN)进行对比，使用包括平均绝对误差(Mean Absolute Error, MAE)、混淆矩阵、准确度和百分比正确分类等实例。决策树分析分类采集到的数据并将这些数据进行灵敏分析并消除不相干输入，决策树模型被验证优于人工神经网络，具有较低的错误率与较高的准确度。文献[9]比较了支持向量机(Support Vector Machine, SVM)与人工神经网络在交通事故持续时间预测中的性能指标，并通过仿真得出了支持向量机在数据集较小的时候优于人工神经网络模型的结论。文献[10]提出使用因子分解机组合神经网络(Factorization Machine Combined Neural Network, FMCNN)来预测交通驾驶的安全性。仿真结果表明，在预测损失与准确度方面，因子分解机组合神经网络优于传统的机器学习方法深度神经网络(Deep Neural Networks, DNN)与因子分解机算法(Factorization Machines, FM)。文献[11]选用佛罗里达州高速公路分流区采集的交通流量作为训练数据集，比较了包括K最邻近 (K-Nearest Neighbours, KNN)、决策树、随机森林(Random Forest, RF)与支持向量机的4种主流机器学习方法与包括有序Probit模型、多项Logit模型的两种统计方法在碰撞伤害严重程度预测方面的性能。机器学习方法比统计方法具有更高的预测准确率，但存在过度拟合问题。整体来看，得出了机器学习方法随机森林在碰撞伤害严重程度方面具有最佳预测表现，而统计方法有序Probit模型的表现是最差的结论。

上述文献主要采用机器学习的方法对交通事故发生的风险性进行了预测，但仍然没有考虑到车载通信网络环境下，数据传输带来的时延、算法复杂度，带来的计算时延，以及数据在承传处理时的平台选择问题，这些因素都有可能影响预测的时效性与准确性^[12]。

因此，本文提出一种车联边缘网络背景下基于卷积神经网络的交通事故风险预测算法。本文将运用边缘计算与深度学习结合，使深度学习在无网络环境下能够直接在边缘设备进行计算，给实时收集的各类数据在边缘设备进行计算、分析及存储带来便利，其中直接在边缘侧进行的嵌入式设备计算可避免网络传输带来的时延问题，并能实时将预测告警结果打包发送至该车辆，提醒司机及时调整车速，注意观察四周环境。与传统的机器学习模型^[13]相比不同的是，本文采用的卷积神经网络模型使用了多层架构，即从不同的角度多维自主捕捉特征，形成多层次的抽象^[14,15]，然后将得到的新变量输入卷积层、采样层进行训练，再根据全连接层输出的判别值，得到模拟预测交通事故发生的风险性。最后，较传统的机器学习算法BP神经网络、逻辑回归算法进行仿真实验。

2.   基于卷积神经网络的数学建模

大数据时代的到来预示着全体的、精准的信息能够反映现在，预测未来。机器学习的出现则意味着机器能够模拟人脑进行学习行为，只要有数量足够庞大的数据集，并通过算法学习输入采集的数据集，就能得到未知事件发生的风险^[11]。

本文采用的卷积神经网络的基本计算单元为神经元。两层功能神经元组成一层感知层，感知层的输入层用于接收外界输入信号，输出层输出预测结果。输入层具有3个神经元的感知机建模如图1所示。

图  1  输入层具有3个神经元的感知机建模图

下载: 全尺寸图片 幻灯片

感知机模型的公式为

其中，$\omega$是感知机输入层到输出层连接的权重，$b$是输出层的偏置。感知机用于解决与、或、非这样的简单的线性可分问题，是一种判别式的线性分类模型。

为找到将训练集实例点和负实例点完全正确分开的分离超平面，需要定义损失函数式，并将损失函数最优化，最优化的方法是梯度下降法。$\omega$, $b$的连续可导函数为损失函数$L$，损失函数$L$的定义为

权重$\omega$和偏置$b$最终可表示为

其中，权重$\omega$和偏置$b$关于$({x_i},{y_i})$的增量分别是${\alpha _i}{y_i}{x_i}$和 ${\alpha _i}{y_i}$, ${\alpha _i} = n{\eta _i}$, ${\eta _i}$为步长，即学习率。

拥有单层功能神经元的感知机的学习能力不强，只能做简单的线性分类任务，而对非线性问题束手无策。但现实生活中的大多数问题(如：交通事故风险预测问题)都是非线性的，为了处理非线性可分问题，本文采用有多层隐含层的卷积神经网络来进行交通事故发生的风险性预测。含有多层隐含层的卷积神经网络交通事故风险预测建模如图2所示。

图  2  含有多层隐含层的卷积神经网络交通事故风险预测建模图

下载: 全尺寸图片 幻灯片

根据任务种类的不同，神经网络的隐藏层层数，及其神经元数都可以进行调整，一般来说，越复杂的任务所需要的隐藏层层数和隐藏层神经元个数越多。该含有多层隐含层的卷积神经网络交通事故预测模型，首先筛选出对交通状态影响较大的特征，自动提取天气情况、路面平坦度、车辆速度、车辆数量、车辆种类、光线情况、道路类型、出行时间、出行日期、地理位置、经度、纬度、警力、事故指数、事故严重程度、行车风险度等16个特征，并构造能够表示当前交通状态的状态矩阵作为模型的输入。经过1层卷积层、采样层、2层卷积层、采样层及全连接层的训练，权重$\omega$和偏置$b$得到多次调整后，卷积神经网络算法的输出准确度会趋于一个常数，使其能够以较高的准确度来为交通事故风险预警提供参考。卷积神经网络模型的输出值的范围在0到1之间，若输出值越偏向0，则表明该情况下发生交通事故的风险越低，反之则极有可能发生交通事故。

3.   车联边缘网络交通事故风险预测算法

3.1   车联边缘网络系统框架

本文提出的一种车联边缘网络系统框架首先将收集到的车辆行驶、路边环境等实时信息由路边微云及基站传输至边缘服务器，边缘服务器在无网络环境下，直接处理获取的实时交通数据流，当数据量足够大时，核心网内集中式的云计算中心才会执行当前深度学习的学习任务并将结果反馈至边缘服务器，最终传回至车辆单元。车联边缘网络系统架构图如图3所示。

图  3  车联边缘网络系统架构图

下载: 全尺寸图片 幻灯片

边缘计算与卷积神经网络结合^[10]，可将部分深度学习任务从集中式的云计算中心卸载到物联网设备附近的边缘服务器。在车联边缘网络中交通事故预测的场景下，移动设备与边缘服务器之间通过无线通信直接交互，可满足交通事故告警结果超低延迟的计算、传输要求，且边缘计算能够有效支持计算卸载，计算密集型的交通事故预测任务可被卸载至边缘设备，这就减少了传输到云端的任务，释放了网络的带宽资源。

3.2   基于卷积神经网络的交通事故风险预测算法

本文采用的卷积神经网络是一种包含卷积计算并具有深度结构的层级前馈神经网络，是深度学习的代表算法之一^[14]。

分析驾驶员的驾驶行为并将不良驾驶行为及时告知驾驶员是减少交通事故和提高交通安全的有效方法，但为了全面分析影响交通事故的因素，还必须考虑如车辆速度、照明条件、天气状况、时间段等安全因素^[16]。因此，本文选取英国的UK Car Accident 2005～2015数据集作为训练集，数据集被分为若干.csv文件，每个.csv文件内均包含不同条数的数据，每个.csv文件均由其内含的数据条数命名。其中，被用于程序训练的.csv文件有：2016.csv, 4000.csv, 8000.csv, 12000.csv, 16000.csv, 20000.csv, 24000.csv, 28000.csv, 32000.csv, 36000.csv。为首先筛选出对交通状态影响较大的特征，需要将原始的交通数据集的数据进行预处理，预处理包括去均值和归一化。去均值即把输入数据各个维度都中心化为0，目的是把样本的中心置于坐标系原点；归一化即将每一维的数据除以每一维数据的标准差，目的则是将去均值后的数据归一到相同尺度。

当预处理后的数据被输入卷积神经网络训练模型进行训练时，模型能自动提取天气情况、路面平坦度、车辆速度、车辆数量、车辆种类、光线情况、道路类型、出行时间、出行日期、地理位置、经度、纬度、警力、事故指数、事故严重程度、行车风险度等16个特征，构造能够表示当前交通状态的状态矩阵，并使用reshape函数，将归一化、去均值后得到的矩阵重新调整为适合卷积神经网络模型输入的大小。

本文将预处理交通数据集后得到的16个线性无关的特征输入卷积神经网络模型进行训练。

卷积神经网络中卷积层的权值更新如下：

(1) 首先，定义平方误差代价函数

其中，$N$为样本个数，$c$为标签的维度(即样本被分为$c$类)，$t_k^n$表示第n个样本标签${t_n}$的第$k$维，$y_k^n$是第n个样本网络输出的第$k$维。最小化式(5)中的$E$可得到更新网络的权值，使得网络输出值与真实值更接近。

(2) 再定义卷积层的第$k$层的输出$x_j^k$为

其中，$f$为激活函数，${M_j}$表示选择的输入特征值组合，$G_{ij}^k$为输入的第$i$种特征值和输出的第$j$种特征值之间用于连接的卷积核，${b_j}$为第$j$种特征值对应的偏置。

(3) 令${u^k} = {\omega ^k}{x^{k - 1}} + {b^k}$，灵敏度$\delta _j^k$的计算公式可表示为

其中，$k + 1$层为采样层，${\rm{up}}$为上采样操作，目的是使$k + 1$层的灵敏度矩阵的尺寸与$k$层的尺寸一致。$\omega$为权重，实际上就是卷积核$G_{ij}^k$中的值，值为${\beta _j}$。

(4) 计算误差代价函数对偏置${b_j}$的偏导

(5) 计算误差代价函数对卷积核$G_{ij}^k$的偏导

式(8)，式(9)是对$k$层中灵敏度的所有节点求和，$(u,v)$为灵敏矩阵中元素的位置。

卷积神经网络中采样层的权值更新如下：

定义采样层的第$k$层的输出$x_j^k$为

其中，${\rm{down}}$表示下采样层，$f$为激活函数，${b_j}$为加性偏置。

令${u^k} = {\omega ^k}{x^{k - 1}} + {b^k}$，灵敏度$\delta _j^k$的计算公式可表示为

采样层中计算误差代价函数对偏置$b$的偏导与卷积层中计算误差代价函数对偏置$b$的偏导相同。

可选择的常用激活函数有：sigmoid函数、tanh函数、relu函数等。本文采用relu函数作为激活函数，有助于卷积神经网络的持续学习。本文的改进算法选择的激活函数relu函数的定义是

relu函数与sigmoid函数需要计算指数和倒数相比，有计算代价小、速度快的优点；在使用反向传播进行计算梯度时，每经过一层sigmoid函数的神经元，梯度需要乘上${\sigma '}$(${\sigma '}$为sigmoid函数的导数)，${\sigma '}$恒小于1，故梯度会越来越小，甚至趋近于0，而relu函数的导数为1，计算梯度时乘其导数不会导致梯度变小，使用线性修正函数relu作为激活函数可以减轻梯度消失的问题。

本文算法的优化器adam参数的更新方式如下：利用梯度的1阶矩估计和2阶矩估计，动态调整每个参数的学习率，经过偏置校正后，每一次迭代学习率都有个确定范围，使得权重参数比较平稳，其计算效率高，内存需求较低。参数更新的表达式为

其中，${\beta _1}$, ${\beta _2}$为梯度累计的指数，${v_{{\rm{d}}\omega }}$, ${v_{{\rm{d}}b}}$分别是损失函数在前$t - 1$迭代过程中累计的梯度动量，式(13)、式(14)降低梯度的摆动幅度，利用类似移动指数加权平均的方法来对网络的参数进行平滑处理；${s_{{\rm{d}}\omega }}$, ${s_{{\rm{d}}b}}$与${v_{{\rm{d}}\omega }}$, ${v_{{\rm{d}}b}}$的性质相同，式(15)、式(16)对梯度计算了微分平方加权平均数，用于修正摆动幅度，使得网络函数收敛更快。

对上面公式做偏差修正有

权重与偏置的更新如下

其中，$\varepsilon$为平滑项，一般取值为${10^{-8}}$，学习率$\alpha$在训练的时候进行微调实现权重$\omega$和偏置$b$的更新。

按照式(17)，式(18)，式(19)，式(20)做偏差修正后，依据1阶与2阶矩均值，来计算适应性参数学习率，通过调整学习率，能够迭代地计算出权重和偏置的更新值，即梯度的指数移动均值。指数移动均值的初始值接近于1，因此，矩估计的偏差接近于0。通过先计算带偏差的估计，后计算偏差修正后的估计来达到提升偏差的目的。权重$\omega$式(21)和偏置$b$式(22)的更新会影响卷积神经网络模型训练和模型输出的网络参数，使其逼近或达到最优值。

在交通事故风险预警的问题中，经过多次调整权重$\omega$和偏置$b$，卷积神经网络算法的输出准确度会趋于一个常数，使其能够以较高的准确度来为交通事故风险预警提供参考，卷积神经网络模型的输出值的范围在0～1之间，若输出值越偏向0，则表明该情况下发生交通事故的风险越低，反之则极有可能发生交通事故。

3.3   交通事故风险预测算法流程图

在交通事故预测过程中，主要由数据集预处理和模型训练这两个步骤实现，交通事故风险预测的整个预测流程如图4所示。

图  4  交通事故风险预测算法流程图

下载: 全尺寸图片 幻灯片

首先，将收集到的交通数据集输入边缘服务器中的卷积神经网络训练模型，模型将先自主筛选提取特征值并进行数据的预处理，再将处理好的特征值进行训练，训练完成后，输出交通事故风险告警结果。若输出值在0～0.5之间，则判定该行车状态下的车辆发生交通事故的风险较低，继续对该车辆单元进行监控；若输出值大于0.5，则判定该行车状态下的车辆发生交通事故的风险较高；边缘服务器立即通过基站将交通事故风险告警结果传输至行驶中的车辆单元，司机可通过及时调整行车状态来降低交通事故发生的风险^[9]。

4.   仿真结果与分析

本文使用python的高层神经网络API框架Keras和UK Car Accident 2005～2015数据集对提出的交通事故预测算法在不同的数据集下进行了仿真，采用加入PCA的BP神经网络预测算法及逻辑回归算法对比卷积神经网络对预测算法的预测损失及准确度进行了仿真分析。卷积神经网络与BP神经网络^[15]、逻辑回归预测损失与准确度对比的仿真结果如图5、图6所示。

图  5  卷积神经网络与BP神经网络、逻辑回归预测损失对比图

下载: 全尺寸图片 幻灯片

图  6  卷积神经网络较BP神经网络、逻辑回归预测准确度对比图

下载: 全尺寸图片 幻灯片

图5表明，卷积神经网络预测算法在迭代次数5次往后的情况下，损失较传统的BP神经网络算法、逻辑回归算法要低。且当训练迭代次数在5次到15次之间时，其损失的降低尤为明显，损失与迭代次数成反比。图6表明，卷积神经网络预测算法在迭代次数5次往后的情况下，准确度较传统的BP神经网络算法、逻辑回归算法要高。且当训练迭代次数在5～15次之间时，其准确度的提升尤为明显，准确度与迭代次数成正比。图5、图6表明，当迭代次数趋于50次时，卷积神经网络预测算法的损失与准确度均趋于平缓且始终高于传统的BP神经网络、逻辑回归预测算法。这就表明，改进后的卷积神经网络预测算法比BP神经网络、逻辑回归预测算法具有更低的损失与更高的准确度。

本文采用的卷积神经网络预测算法的激活函数为relu，为体现激活函数relu对预测算法输入到输出映射的良好促进作用，本文对比其他常用激活函数tanh, sigmoid，进行了不同激活函数对卷积神经网络、BP神经网络、逻辑回归算法预测损失及准确度影响对比的实验。不同数据集下(5组)对比的仿真结果表明，在迭代次数相同的情况下(设置为50次)，不同激活函数对卷积、BP神经网络、逻辑回归预测算法的损失及准确度产生了不同程度的影响。不同激活函数对卷积、BP神经网络、逻辑回归算法预测损失与准确度的影响对比的仿真结果如图7、图8所示(为达到良好的视图效果，仿真图7、图8中激活函数relu, tanh, sigmoid分别被表示为r, t, s)：

图  7  不同激活函数对卷积、BP神经网络、逻辑回归算法预测损失的影响对比图

下载: 全尺寸图片 幻灯片

图  8  不同激活函数对卷积、BP神经网络、逻辑回归算法预测准确度的影响对比图

下载: 全尺寸图片 幻灯片

图7表明，采用激活函数relu的卷积神经网络预测算法的损失均比采用激活函数tanh及sigmoid时的低，且在采用相同激活函数relu, tanh时，卷积神经网络预测算法均比BP神经网络、逻辑回归预测算法具有更低的损失。图8表明，采用激活函数relu的卷积神经网络预测算法的准确度均比采用激活函数tanh及sigmoid时的高。且在采用相同激活函数relu, tanh时，卷积神经网络预测算法均比BP神经网络、逻辑回归预测算法具有更高的准确度。图7、图8表明，采用激活函数sigmoid的卷积神经网络预测算法的损失与准确度的效果均不理想。这就表明，采用激活函数relu时的卷积神经网络预测算法比采用其他激活函数tanh, sigmoid具有更低的损失与准确度。

5.   结束语

本文提出了一种基于深度学习的车联边缘网络交通事故预测算法。传统的机器学习预测算法虽能够在数据量不大的情况下，快速、准确地对信息进行分析处理并最终得出预测告警结果，但无法自主提取特征值且算法模型表达能力差。为避免传统机器学习的这些缺陷，本文采用卷积神经网络能够利用卷积核自主提取多维特征，并在反向传播的过程中，经过迭代一次又一次更新，使得预测值无限逼近真实值。同时，建立简易、表达能力强的预测模型，从而能够使深度学习算法更好地被表达与理解。在车联边缘网络场景下，直接于边缘侧嵌入式设备运行深度学习算法，边缘设备直接将预测告警结果实时传输至行驶中的车辆单元，提醒驾驶员及时调整车速，注意观察四周环境，从而能够有效降低交通事故发生的风险性。仿真结果表明，卷积神经网络算法较传统的机器学习^[9]预测算法具有更低的损失与更高的准确度，且采用激活函数relu时的卷积神经网络预测算法比采用其他激活函数tanh，sigmoid具有更低的损失与更高的准确度，损失降低率分别约为6.496%与1.986%，准确度提高率分别约为1.220%与2.765%。

但本文采用的卷积神经网络为有监督学习，在有监督学习中的各项任务上都有不俗的表现，而在无监督学习领域，其应用价值较小，因此，下一步将研究卷积神经网络与无监督学习的机器学习算法结合来进行交通事故风险预测。