面向存算一体架构中Tanh激活函数的绝对值电路设计

顾晓峰; 管其冬; 虞致国

doi:10.11999/JEIT221257

面向存算一体架构中Tanh激活函数的绝对值电路设计

doi: 10.11999/JEIT221257

1.
物联网技术应用教育部工程研究中心无锡 214122
2.
江南大学电子工程系无锡 214122

基金项目: 长三角科技创新共同体联合攻关项目(2022CSJGG0400)，中央高校基本科研业务费专项资金(JUSRP51510)，江苏省重点研发计划(BE2019003-2)

详细信息

作者简介:
顾晓峰：男，博士、教授，研究方向为半导体材料、器件和电子系统设计和应用

管其冬：男，硕士生，研究方向为模拟集成电路设计

虞致国：男，博士、副教授，研究方向为AI芯片、高性能处理器和低功耗集成电路设计

通讯作者:
虞致国　yuzhiguo@jiangnan.edu.cn

中图分类号: TN432
计量
- 文章访问数: 723
- HTML全文浏览量: 590
- PDF下载量: 100
- 被引次数: 75
出版历程
- 收稿日期: 2022-09-28
- 修回日期: 2023-02-10
- 网络出版日期: 2023-02-16
- 刊出日期: 2023-09-27

Absolute Value Circuit for Tanh Activation Function in Computing in Memory

1.
Engineering Research Center of Internet of Thing Technology Applications of Ministry of Education, Wuxi 214122, China
2.
Department of Electronic Engineering, Jiangnan University, Wuxi 214122, China

Funds: The Joint Project of Yangtze River Delta Community of Sci-Tech Innovation (2022CSJGG0400), The Fundamental Research Funds for the Central Universities (JUSRP51510), The Key R&D Program of Jiangsu Province (BE2019003-2)

摘要

摘要: 基于存算一体(CIM)架构的激活函数模拟实现方式使得神经网络变得更加接近非线性模型，针对其中Tanh函数负值难处理的问题，该文提出一种高速、高精度绝对值运算电路。该电路将输入电压经过比较器结果判断选择是否输出，利用反相比例取反电路控制负压输入并转换为正压通过开关输出，实现了离散输出功能的绝对值运算处理。与传统利用二极管全波整流绝对值电路相比，该电路有效避免了二极管难集成的问题，且速度快、功耗低、整体面积小。基于55 nm CMOS工艺进行设计，结果表明，在50 ns工作时钟周期下，经过绝对值电路转化后的输出电压与输入电压误差控制在1%以内，比较器的输出延时为5 ns，零点区域放大电压误差小于400 µV。在1.2 V电源电压下，功耗为670 µW，版图面积为4 447 µm²。
- 存算一体架构 /
- 绝对值电路 /
- Tanh激活函数 /
- 神经网络
Abstract: Based on Computing In Memory (CIM), the analog implementation of activation functions allows the neural networks to become closer to the nonlinear model. However, for CIM, the negative value of Tanh function is difficult to process; A high-speed and high-precision absolute value operation circuit is proposed to solve this problem. The input voltage is passed through the comparator first, the negative voltage input is converted into positive voltage by the proportional inverting amplifier and then delivered through a switch. In this way, the absolute value operation processing of the discrete output function is realized. Compared with traditional absolute value circuits using the diode full-wave rectification, this circuit avoids effectively the introduction of diodes, and has the following advantages, faster speed, lower power consumption and a smaller overall area. Designed on 55 nm CMOS technology, the simulation results show that, under a 50 ns operating clock period, the error between the output voltage and the input voltage after conversion of the absolute value circuit can be controlled within 1%. Moreover, the comparator output delay is 5 ns, and the amplified voltage error in the zero point region is less than 400 µV. At a power supply voltage of 1.2 V, the power consumption is 670 µW, and the layout area is 4 447 µm².
- Computing In Memory(CIM) /
- Absolute value circuit /
- Tanh activation function /
- Neural network

HTML全文

1. 引言

近年来，航班延误频发，给我国民航运输业带来了严峻的挑战。对航班延误实现精准预测可以为相关部门决策提供参考，以便及时治理可控延误，降低航空公司的损失，对民航的高效安全运营具有实际意义^[1]。针对航班延误预测问题，国内外学者已展开了大量研究，多采用神经网络、决策树、支持向量机等传统的机器学习算法^[1–5]。文献[2]引入多级输入层神经网络算法处理航班数据中的名义变量，实现最终的延误预测。文献[3]结合航班自身数据特点构建了基于C4.5决策树方法的延误预测模型，实验结果较贝叶斯网络有一定提高。文献[4]在考虑空运需求与机场容量冲突的条件下，采用支持向量机进行延误预警研究。但是，上述研究均只对航班以及起降机场信息建模，未考虑相关机场间的延误波及性，而机场间的延误是相互影响的。同时，以上模型也较少考虑天气因素对航班延误的影响，气象信息对航班延误预测也十分重要。

此外，已有研究成果大多针对小数据集样本进行训练，面对大量且高维的机场、航空公司以及管制部门数据，往往需要进行降维处理，这样会造成部分信息的丢失。因此，本文提出基于大数据的深度学习方法进行延误预测，从高维数据中自动学习特征，通过提升数据隐藏价值的利用率，进而提高延误预测的准确率。目前，卷积神经网络(Convolutional Neural Networks, CNN)在计算机视觉、语音识别等方面均取得了较大突破，其性能明显优于传统的机器学习算法^[6–12]。文献[8]提出的DenseNet较传统CNN不仅网络性能更优，而且能有效解决深层网络训练时的梯度消失现象，但是却没有从特征维度层面着手，自动学习每个特征通道的重要程度，大大降低了特征提取过程的效率。而文献[9]提出的SENet的主要思想正是通过建模特征提取过程中特征通道的相互依赖关系，重新标定特征权重，进而提高网络性能。

因此，针对上述问题，本文在深入研究CNN各种变形的基础上，借鉴DenseNet和SENet的设计思想，提出一种能融合二者优势，网络性能更优、更高效的深度SE-DenseNet算法。然后，结合航班信息，综合考虑相关机场延误信息以及气象因素对航班的影响，构建基于深度SE-DenseNet的航班延误预测模型，并通过实际数据集对模型有效性进行验证。

2. SE-DenseNet

2.1 网络描述

传统的DenseNet^[8]网络结构如图1(a)所示，每层网络均以稠密连接的方式连接到后续所有层。本文提出的SE-DenseNet即是在每个DenseNet结构块的3×3卷积层后增加SE模块，如图1(b)所示。通过这种融合机制，网络既可以实现原始输入信息的无损传输，又可以自动学习全局信息去获得每个通道的重要程度，然后根据重要程度去增强有益特征并抑制无用特征，从而实现特征通道的自适应校准。

图 1 网络结构示意图

下载: 全尺寸图片幻灯片

表1分别列出40层的SE-DenseNet和DenseNet网络配置信息，其中 $k$ 表示卷积层的特征通道数， $\gamma$ 为SE操作的维度变换率。由表1可以看出SE-DenseNet与传统的DenseNet相比有以下几点创新：(1)在每个结构块的卷积变换之后设计“SE”模块，对每个特征通道的信息进行权重自动校准；(2)在第1个卷积层后未设置最大池化层，防止由池化操作导致低级特征丢失；(3)在结构块之间的转换层中去掉平均池化操作，只保留 $1 \times 1$ 卷积，在大量减少计算参数的条件下保留全局信息，以增强整个神经网络的鲁棒性。

表 1 SE-DenseNet网络配置信息表

网络层	SE-DenseNet		DenseNet
网络层	矩阵维度	结构配置	矩阵维度	结构配置
卷积层	$n \times n$	$\left[ {3 \times 3,2k} \right]$	$n \times n$	$\left[ {3 \times 3,2k} \right]$
池化层			${n / 2} \times {n / 2}$	$3 \times 3$ 最大池化
结构块1	$n \times n$	$\left[ \begin{array}{l}1 \times 1,4k\\3 \times 3,k\\{\rm SE}\left( {k/\gamma ,k} \right)\end{array} \right] \!\times\! 6$	${n / 2} \times {n / 2}$	$\left[ \begin{array}{l}1 \times 1,4k\\3 \times 3,k\end{array} \right] \times 6$
转换层1	$n \times n$	$\left[ {1 \times 1,0.5k} \right]$	${n / 2} \times {n / 2}$	$\left[ {1 \times 1,0.5k} \right]$
转换层1	$n \times n$	$\left[ {1 \times 1,0.5k} \right]$	${n / 4} \times {n / 4}$	$2 \times 2$ 平均池化
		$\vdots$
分类层	$1 \times 1$	全局平均池化，全连接，softmax

下载: 导出CSV

| 显示表格

2.2 SE模块

SE模块是一个计算单元，结构如图1(b)所示。图中 ${{\text{X}}_1}$ 表示对应层输入特征矩阵，表示经卷积变换后的非线性特征映射， ${{\text{X}}_2}$ 表示该层最终的输出矩阵，图中 ${M'}$ , ${H'}$ , ${C\ '}$ , $M$ , $H$ , $C$ 分别代表特征矩阵 ${{\text{X}}_1}$ , ${{\text{X}}_2}$ 的3维信息。则SE-DenseNet单个结构块里第L层网络经卷积变换后的特征映射 ${\text{U}}$ 可表示为

$\begin{aligned} {\text{U}} =& {{\text{W}}^L} \otimes f \big({\rm BN}\big({{\text{W}}^{(L - 1)}}\\ & \otimes f\big({\rm BN}\big( {\big[ {{{\text{X}}_0}{{\text{X}}_1} ·\!·\!·{{\text{X}}_{L - 1}}} \big]} \big)\big)\big)\big) \end{aligned}$

(1)

其中， $\left[ {{{\text{X}}_{{0}}}{{\text{X}}_{{1}}} ·\!·\!· {{\text{X}}_{{{L - 1}}}}} \right]$ 表示采用稠密连接的方式将前面所有层的特征映射都作为输入。 ${{\text{W}}^{(L - 1)}}$ 和 ${{\text{W}}^L}$ 依次表示 $1 \times 1$ , $3 \times 3$ 卷积权值矩阵， ${\rm BN}( \cdot )$ 表示对每个隐藏层的输出数据进行批归一化处理^[10]， $f( \cdot )$ 为ReLU激活函数^[11]，本文卷积操作均用 $\otimes$ 表示。

SE模块主要包含3个步骤：首先，为了建模特征通道间的相互依赖关系，提出利用全局平均池化将空间信息压缩成一个信道描述符，如式(2)所示；其次，为了标定上述压缩操作中聚合的特征权重，利用全连接层与sigmoid激活函数组成的门控机制学习多个通道间的非线性交互，如式(3)所示；最后，利用激活值 $s$ 重新缩放转换 ${\text{U}}$ 实现对原始特征的权重标定，如式(4)。

${{\text{z}}_c} = {F_{\rm sq}}({{\text{u}}_c}) = \frac{1}{{M \times H}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^H {{{\text{u}}_c}} } (i,j)$

(2)

$s = {F_{\rm ex}}({\text{z}},{\text{W}}){\rm{ = }}\sigma ({{\text{W}}\!_2}f({{\text{W}}\!_1}{\text{z}})) \hspace{33pt}$

(3)

${{\text{y}}_c} = {F_{{\rm{scale}}}}\left( {{{\text{u}}_c},{s_c}} \right) = {s_c} \cdot {{\text{u}}_c} \hspace{53pt}$

(4)

其中， ${{\text{u}}_c}$ 和 ${{\text{z}}_c}$ 分别表示卷积变换、全局特征压缩变换后第c个通道的输出映射， $\sigma ( \cdot )$ 表示sigmoid函数， ${{\text{W}}\!_1} \in {R^{C/\gamma \times C}}$ 和 ${{\text{W}}\!_2} \in {R^{C \times C/\gamma }}$ 分别表示2个全连接层的权值矩阵， ${{\text{y}}\!\,_c}$ 表示经权重标定后第c个通道的输出矩阵，则SE-DenseNet单个结构块里第L层网络最终的输出矩阵 ${\text{Y}} = \left[ {{{\text{y}}_1}{{\text{y}}_2} ·\!·\!· {{\text{y}}\!\,_c}} \right]$ 。

2.3 网络反向传播

SE-DenseNet模型的训练主要通过反向传播(Back Propagation, BP)算法^[12]将训练样本的误差信息传回到隐藏层，实现隐藏层之间权重矩阵的不断更新迭代，直至网络收敛。现根据BP算法，以SE-DenseNet的第1个网络结构块为例对各隐藏层间的梯度值进行推导。假设该结构块包含3组非线性变换，每组变换有两个卷积层，一个SE模块，如图2所示，则该结构块内各隐藏层的误差项计算如式(5)—式(13)

图 2 SE-DenseNet的训练

下载: 全尺寸图片幻灯片

${\delta ^{{{k9}}}} = {{\partial J} / {\partial {{\text{U}}^{k9}}}} \hspace{62pt}$

(5)

${\delta ^{{{k8}}}} = {\delta ^{k9}} * {{\text{W}}^{k9}} \otimes {f'}({{\text{U}}^{k8}}) \hspace{10pt}$

(6)

${\delta ^{{{k7}}}} = {\delta ^{k8}} * {{\text{W}}^{k8}} \otimes {f'}({{\text{U}}^{k7}}) \hspace{10pt}$

(7)

${\delta ^{k6}} = {\delta ^{k7}} * {{\text{W}}^{k7}} \hspace{58pt}$

(8)

${\delta ^{{{k5}}}} = {\delta ^{k6}} * {{\text{W}}^{k6}} \otimes {f'}({{\text{U}}^{k5}}) \hspace{10pt}$

(9)

${\delta ^{{{k4}}}} = {\delta ^{k5}} * {{\text{W}}^{k5}} \otimes {f'}({{\text{U}}^{k4}}) \hspace{6pt}$

(10)

${\delta ^{{{k3}}}} = {\delta ^{k4}} * {{\text{W}}^{k4}}{\rm{ + }}{\delta ^{k7}} * {{\text{W}}^{n1}}$

(11)

${\delta ^{{{k2}}}} = {\delta ^{k3}} * {{\text{W}}^{k3}} \otimes {f'}({{\text{U}}^{k2}}) \hspace{6pt}$

(12)

${\delta ^{{{k1}}}} = {\delta ^{k2}} * {{\text{W}}^{k2}} \otimes {f'}({{\text{U}}^{k1}}) \hspace{6pt}$

(13)

其中， ${\delta ^{k1}}$ , ${\delta ^{k2}}$ , ···, ${\delta ^{{{k9}}}}$ 分别表示该结构块内对应各层的误差项， ${{\text{U}}^{k1}}$ , ${{\text{U}}^{k2}}$ , ···, ${{\text{U}}^{k9}}$ 为各层的输出特征映射， ${{\text{W}}^{n1}}$ 表示k3与k7层之间的权值矩阵， ${\partial J} /$ ${\partial {{\text{U}}^{k9}}}$ 表示损失函数J对最后一层网络输出特征映射的导数，“ $*$ ”表示把卷积操作 $\otimes$ 中的卷积核进行翻转。根据BP算法，其余结构块的误差项也可以由式(5)—式(13)同理推出。

结合式(5)—式(13)以及SE-DenseNet的设计方式，网络第1个隐藏层的梯度值可表示为

$\begin{aligned} {{\partial J} / {\partial {{\text{W}}^1}}} =& \left({\delta ^{k1}} * {{\text{W}}^{k1}} + {\delta ^{k3}} * {{\text{W}}^{n2}} \right.\\ & \left.+ {\delta ^{k7}} * {{\text{W}}^{n3}}\right) \otimes {{\text{A}}^0} \end{aligned}$

(14)

其中， ${{\text{W}}^{n2}}$ 和 ${{\text{W}}^{n3}}$ 表示k3和k7层与第1层之间的权值矩阵， ${{\text{A}}^0}$ 表示输入特征矩阵。可以看出，第1个隐藏层的梯度信息不仅包括其下一层反向传播的梯度权值，还包括该结构块中每组非线性变换的梯度信息，例如k3和k7层。这样的设计能使隐藏层梯度值一直维持在一个稳定的范围，缓解因网络加深而导致的梯度消失现象。

因此，SE-Densenet不仅能够通过“特征重标定”策略，高效利用多维特征信息，更能通过网络自身的反向传导机制，减缓各隐藏层误差项的衰减，保证梯度权值信息的稳定，增强深层网络的学习和表达能力，从而进一步提升网络性能。

3. 基于SE-DenseNet的航班延误预测

航班延误预测模型结构如图3所示，特征提取部分介绍详见第2节，下面主要对数据预处理和分类预测部分展开描述。

图 3 航班预测模型总体结构

下载: 全尺寸图片幻灯片

3.1 数据集介绍及预处理

本文所使用的数据集为美国交通运输统计局(Bureau of Transportation Statistics, BTS)提供的2016, 2017年的航班数据(Airline On-Time Performance data, AOTP)和美国国家气象数据中心(National Climatic Data Center, NCDC)提供的本地质控气象数据(Quality Controlled Local Climatological Data, QCLCD)。其中，模型所需特征属性定义如下：

定义 1　航班信息F_O主要包括起飞日期、起飞/降落机场ID、起飞/降落城市ID、航班号、计划起飞/降落时间、轮挡/轮起时间、航程等24个属性。

定义 2　相关机场延误属性F_A：选取对目标机场航班延误影响较大的机场作为相关机场。本文主要研究离港延误，目标机场即为起飞机场。经过分析及专家知识，按影响程度高低依次选取相关机场的离港平均延误时间、离港延误飞机架次、目标机场方向离港航班架次、目标机场延误总时间4个延误指标。

定义 3　气象数据F_W为某航班起降机场对应时刻的天气状态，包括风向、风速、能见度、温度、气压、观测站所在机场、观测时间等12个特征。

综合上述特征属性定义，需要进行数据预处理。首先，分别对原始航班信息和气象数据进行数据清洗；其次，选取目标机场的前十大相关机场，根据定义2分别对其进行延误信息统计；然后，为研究特征F_A和F_W对延误的影响，利用python数据分析技术将上述3种特征进行数据融合；此外，在利用SE-DenseNet进行特征提取时，直接输入无序的离散数据会对网络内部训练机制产生误导，混淆特征的重要程度，离散数据采用按变量出现频次依次赋值的编码方式。而对于连续性数据，通过min-max归一化的方式将特征值映射到[0, 1]，以去除特征间的量纲差异。最后，将处理后的数据转换成适宜输入到CNN中的特征矩阵。

数据融合流程如下：

(1) 将F_O中的时间属性按照其所在州进行州时转换，保证全部时间的时区一致；

(2) 选定F_O中的起飞机场、计划起飞时间为关联主键key1，选定F_W中的观测站、观测时间为key2；

(3) 将F_O和F_W中具有相同key的数据执行merge操作，构建融合数据W；

(4) 分别选定F_A和W中的日期以及起飞机场为关联主键key3, key4；

(5) 将上述二者中具有相同key的数据执行merge操作，构建总特征F。

3.2 分类预测

分类预测模块主要包含3层网络结构：全局池化层、全连接层、Softmax分类器^[13]。通过3层网络结构的组合操作，将n×n×k维度大小的矩阵转为对应每个类别出现的概率。其中，Softmax分类器按照表2延误时间T 的划分方式进行延误等级预测^[3]。

表 2 航班延误等级划分

延误等级	延误时间T (min)
0 (未延误)	$T \le 15$
1 (低度延误)	$15 < T \le 60$
2 (中度延误)	$60 < T \le 120$
3 (高度延误)	$120 < T \le 240$
4 (重度延误)	$T > 240$

下载: 导出CSV

| 显示表格

4. 实验结果分析

实验计算机硬件配置为Inter®Xeon®处理器，16 GB内存，GPU加速显卡为NVIDIA Tesla P100；软件运行环境为64位Ubuntu14.04操作系统下搭建的Pytorch深度学习框架。

4.1 实验设置

本文实验使用的航班数据共3955056条，特征维度为81，最终经矩阵变换输入网络中的数据总维度为3955056×9×9。此外，由于真实世界中不延误的航班比例较大，数据集每一类的样本都是不均匀的。在训练阶段采用文献[14]提出的数据平衡策略进行小批量抽样，以补偿类别的不均匀分布。

航班延误预测模型采用表1的网络配置信息进行训练，为探索网络深度对模型性能的影响，不同层数的配置可同理推出。本文模型超参数配置如下：使用文献[15]中的权值初始化策略；为当前GPU设置随机种子，以保证每次的训练结果一致；模型优化器采用引入Momentum的随机梯度下降方法，其中动量因子设为0.9，权重衰减系数为0.0001，学习率为0.1；训练时批处理数量为256，总迭代次数为1×10⁵次。

4.2 维度变化比率 $\gamma$ 对分类性能的影响

式(3)中的全连接权重 ${{\text{W}}\!_1}$ 和 ${{\text{W}}\!_2}$ 通过引入维度变化比率 $\gamma$ 调控特征标定过程中的特征通道数目，进而对模型中“SE”模块的计算成本以及网络性能产生影响。为了研究这种关系，本文基于40层的SE-DenseNet模型对不同的 $\gamma$ 值进行实验，如表3所示。结果表明，随着模型容量的增加不能直接提高网络性能，综合考虑准确性和模型复杂度，当 $\gamma$ =12时，性能最佳。因此，后续实验 $\gamma$ 统一设为12。

表 3 维度变换比率

$\text{γ}$ 对分类性能的影响

比率 $\gamma$	准确率(%)	模型大小(MB)
4	93.05	15.46
8	93.15	15.41
12	93.14	15.39
24	93.06	15.36

下载: 导出CSV

| 显示表格

4.3 SE-DenseNet结构验证分析

为验证改进后的SE-DenseNet在整体性能方面优于传统的DenseNet，对两种网络进行对比。实验结果分别从算法复杂性、分类准确率、损失值大小、隐藏层梯度值4方面进行分析。

4.3.1 算法复杂性

算法复杂性主要体现在运行该算法所需要的计算资源的多少。模型参数越多，所需计算资源越多，算法则越复杂。表4列出了22, 40, 58层的SE-DenseNet和DenseNet的模型参数。从表4中可以看出，模型参数至多仅有0.36%的增长。因此，在现有网络结构中嵌入SE模块而导致的参数和计算量的增长可忽略不计，其算法复杂性也与改进前基本持平。

表 4 算法改进前后模型参数对比

网络层数	DenseNet	SE-DenseNet	参数增长比率(%)
22	1608469	1614256	0.36
40	3978167	3989741	0.29
58	7116085	7133446	0.24

下载: 导出CSV

| 显示表格

4.3.2 分类准确率

深度网络主要通过测试集的最终准确率验证模型拟合程度，即所有预测正确的航班数据之和与测试集总数之比，表示为

$w = \sum\limits_{i = 0}^{i = q} {{\rm{T}}{{\rm{P}}_i}} /N$

(15)

其中，N表示测试集总数， $q$ 为延误等级数， ${\rm{T}}{{\rm{P}}_i}$ 表示实际延误等级为 $i$ 的航班中，被预测正确的航班条数。

表5列出了不同层数的SE-DenseNet和DenseNet在数据集F上的准确率大小。可以看出，SE-DenseNet每一层的准确率均高于DenseNet，当网络达到58层时，准确率为93.19%。为进一步验证改进后算法模型的稳定性及可训练深度，分别对88, 100, 124层的网络进行训练，如表6所示。结果表明，深度SE-DenseNet模型性能一直保持稳定，并且针对此数据集，模型从58层开始，准确率一直保持在93.19%左右。

表 6 深层SE-DenseNet准确率

网络层数	SE-DenseNet(%)
88	93.19
100	93.17
124	93.19

下载: 导出CSV

| 显示表格

表 5 算法改进前后分类准确率对比(%)

网络层数	DenseNet	SE-DenseNet
16	91.86	92.33
22	92.07	92.69
34	92.28	92.80
40	92.57	93.14
52	92.69	93.17
58	92.72	93.19

下载: 导出CSV

| 显示表格

4.3.3 损失值

网络一般通过训练集的损失值大小判断模型最终是否收敛，损失值越小，说明模型预测值与真实值大小越接近。图4(a)和4(b)分别表示22, 40, 58层的DenseNet和SE-DenseNet随迭代次数变化的损失值大小。可以看出，随着迭代次数的增加，模型逐渐趋于收敛，损失值最终减小到一个固定的范围。DenseNet的损失值减小至0.2左右，改进后的SE-DenseNet最终可减小至0.1以下，说明SE-DenseNet较传统的DenseNet能更好地训练深层模型。

图 4 改进前后网络结构损失值对比

下载: 全尺寸图片幻灯片

4.3.4 隐藏层梯度值

深度模型在反向传导的过程中第1个隐藏层的梯度值随迭代次数变化能一直保持稳定，则表征该网络内部各隐藏层均能保证信息的有效传输，模型具有较强的表达能力。图5(a)和5(b)分别表示22, 40, 58层的DenseNet和SE-DenseNet中第1个隐藏层对应的梯度平均值变化曲线。可以看出，改进后的SE-DenseNet隐藏层的梯度值能一直保持稳定，恰好符合上文的理论分析和梯度值计算式(5)—式(14)的推导结论。DenseNet变化曲线也与文献[8]中指出的能有效解决梯度消失现象的理论一致。

图 5 改进前后网络结构梯度值变化对比

下载: 全尺寸图片幻灯片

4.4 航班延误影响因素分析

为研究相关机场延误属性F_A和气象信息F_W对航班延误的影响，分别将仅考虑航班信息的数据集F_O、只融合气象信息F_W的数据集W以及综合考虑三者信息的数据集F 输入到SE-DenseNet模型中进行延误预测，实验结果如表7所示。

表 7 不同影响因素预测准确率对比(%)

网络层数	数据集F_O	数据集W	数据集F
16	90.64	92.06	92.33
22	90.96	92.15	92.69
34	91.06	92.29	92.80
40	91.09	92.33	93.14
52	91.24	92.35	93.17
58	91.36	92.38	93.19

下载: 导出CSV

| 显示表格

由表7可以看出，与仅考虑航班信息相比，综合考虑三者信息后预测准确率在各层均增加1.8%左右。其中，如果只考虑天气因素预测精度增加约1%，增加相关机场延误信息后准确率能增加0.8%。

文献[16]采用与本文同样的数据集研究气象信息对航班延误的影响，发现气象特征影响程度由高到低依次为风向、风速、能见度、温度、气压以及天空状况等。但由于SE-DenseNet模型具有高效的特征提取及数据处理能力，因此不对数据特征按影响力大小进行降维，尽量全面考虑可能对延误产生影响的因素，以提高模型最终的预测性能。

4.5 不同航班延误预测模型对比

为验证基于大数据的深度学习方法在数据处理以及预测精度方面与传统算法相比有较大优势，分别对不同的航班延误预测模型^[2–4]进行结果对比，如表8所示。对比可知，基于深度学习的SE-DenseNet模型预测准确率有较大提升。

表 8 不同预测模型结果对比(%)

模型算法	预测准确率
C4.5决策树	78.05
支持向量机	80.00
人工神经网络	86.30
SE-DenseNet	93.19

下载: 导出CSV

| 显示表格

5. 结束语

本文提出了一种基于深度SE-DenseNet的航班延误预测模型，并且通过大量的实验验证了模型的有效性，结论如下：首先，在航班信息的基础上融合相关机场延误信息和气象数据后预测精度能提高近1.8%，其中，如果只融合天气数据，预测准确率提高1%。因此，二者都能对延误产生影响，但天气因素影响较大。其次，改进后的SE-DenseNet既能缓解深层网络梯度消失的问题，又能实现特征通道的自适应权重标定，最终达到提升网络整体性能的目的。最后，基于大数据的深度学习方法较传统算法可在无需特征降维的情况下，充分挖掘航班、相关机场以及天气因素的隐藏价值，达到更高的预测精度。但是，由于民航相关部门数据的保密限制，本文并未使用国内数据进行建模。目前正在与国内空管部门积极洽谈合作，今后的研究重点将转为针对我国民航具体情况的分析研究。

图 1 CIM整体架构

下载: 全尺寸图片幻灯片

图 2 Buffer驱动电路

下载: 全尺寸图片幻灯片

图 3 比较器整体电路架构

下载: 全尺寸图片幻灯片

图 4 反相比例取反电路图

下载: 全尺寸图片幻灯片

图 5 产生互补时钟的开关电路

下载: 全尺寸图片幻灯片

图 6 Buffer驱动电路建立时间

下载: 全尺寸图片幻灯片

图 7 比较器瞬态仿真

下载: 全尺寸图片幻灯片

图 8 反相比例取反电路功能实现

下载: 全尺寸图片幻灯片

图 9 传输门开关在不同PVT条件下的输出曲线

下载: 全尺寸图片幻灯片

图 10 绝对值零点放大

下载: 全尺寸图片幻灯片

图 11 台阶周期电压仿真曲线

下载: 全尺寸图片幻灯片

图 12 正弦周期电压仿真曲线

下载: 全尺寸图片幻灯片

图 13 蒙特卡罗失调分析

下载: 全尺寸图片幻灯片

图 14 理想Tanh函数与该文CIM架构输出值拟合成Tanh函数对比

下载: 全尺寸图片幻灯片

图 15 绝对值电路整体版图

下载: 全尺寸图片幻灯片

表 1 不同PVT条件下误差精度对比

PVT	Buffer驱动电路	比较器	反相比例取反电路		绝对值整体电路
PVT	建立时间(ns)	输出延时(ns)	最小误差(mV)	最大误差(mV)	输出误差(mV)
ss(125°C)	47.00	10.00	0.36	1.04	1.12
tt(25°C)	32.00	5.00	0.05	1.01	0.87
ff(–40°C)	26.00	3.00	0.02	1.02	0.69

下载: 导出CSV

表 2 绝对值电路性能总结以及与其他绝对值电路性能对比

指标名称	文献[20]	文献[21]	本文
设计工艺(µm)	0.500	0.350	0.055
电源电压(V)	1.5	1.0	1.2
信号频率(Hz)	100k	33k	20M
输出精度(%)	2.5	2	<1
版图面积(µm²)	–	72 094	4 447

下载: 导出CSV

参考文献(21)

[1]	SZE V, CHEN Y H, EMER J, et al. Hardware for machine learning: Challenges and opportunities[C]. 2017 IEEE Custom Integrated Circuits Conference (CICC), Austin, USA, 2017: 1–8.
[2]	KIM H, CHUNG J, SHIN K, et al. Live demonstration: A neural processor for AI acceleration[C]. 2021 IEEE International Symposium on Circuits and Systems (ISCAS), Daegu, Korea, 2021: 1.
[3]	ZHOU Yushan and LI Wenxin. Discovering of game AIs’ characters using a neural network based AI imitator for AI clustering[C]. 2020 IEEE Conference on Games (CoG), Osaka, Japan, 2020: 198–205.
[4]	顾晓峰, 刘彦航, 虞致国, 等. 一种面向基于闪存的脉冲卷积神经网络的模拟神经元电路[J]. 电子与信息学报, 2023, 45(1): 116–124. doi: 10.11999/JEIT211249 GU Xiaofeng, LIU Yanhang, YU Zhiguo, et al. An analog neuron circuit for spiking convolutional neural networks based on flash array[J]. Journal of Electronics &Information Technology, 2023, 45(1): 116–124. doi: 10.11999/JEIT211249
[5]	MOONS B and VERHELST M. A 0.3–2.6 TOPS/W precision-scalable processor for real-time large-scale ConvNets[C]. 2016 IEEE Symposium on VLSI Circuits (VLSI-Circuits), Honolulu, USA, 2016: 1–2.
[6]	CHIU C C, SAINATH T N, WU Yonghui, et al. State-of-the-art speech recognition with sequence-to-sequence models[C]. 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Calgary, Canada, 2018: 4774–4778.
[7]	TANG Tianqi, XIA Lixue, LI Boxun, et al. Binary convolutional neural network on RRAM[C]. 2017 22nd Asia and South Pacific Design Automation Conference (ASP-DAC), Chiba, Japan, 2017: 782–787.
[8]	ZHANG Jintao, WANG Zhuo, and VERMA N. In-memory computation of a machine-learning classifier in a standard 6T SRAM array[J]. IEEE Journal of Solid-State Circuits, 2017, 52(4): 915–924. doi: 10.1109/JSSC.2016.2642198
[9]	BISWAS A and CHANDRAKASAN A P. Conv-RAM: An energy-efficient SRAM with embedded convolution computation for low-power CNN-based machine learning applications[C]. 2018 IEEE International Solid - State Circuits Conference-(ISSCC), San Francisco, USA, 2018: 488–490.
[10]	XUE Chengxin, CHEN Weihao, LIU J Y, et al. 24.1 A 1Mb multibit ReRAM computing-in-memory macro with 14.6ns parallel MAC computing time for CNN based AI edge processors[C]. 2019 IEEE International Solid- State Circuits Conference (ISSCC), San Francisco, USA, 2019: 388–390.
[11]	WU T F, LI Haitong, HUANG Pingchen, et al. Brain-inspired computing exploiting carbon nanotube FETs and resistive RAM: Hyperdimensional computing case study[C]. 2018 IEEE International Solid - State Circuits Conference (ISSCC), San Francisco, USA, 2019: 492–494.
[12]	GUO Xinjie, BAYAT F M, BAVANDPOUR M, et al. Fast, energy-efficient, robust, and reproducible mixed-signal neuromorphic classifier based on embedded NOR flash memory technology[C]. 2017 IEEE International Electron Devices Meeting (IEDM), San Francisco, USA, 2017: 6.5. 1–6.5. 4.
[13]	YAN Bonan, YANG Qing, CHEN Weihao, et al. RRAM-based spiking nonvolatile computing-in-memory processing engine with precision-configurable in situ nonlinear activation[C]. 2019 Symposium on VLSI Technology, Kyoto, Japan, 2019: T86–T87.
[14]	VEIRE L V, DE BOOM C, and DE BIE T. Sigmoidal NMFD: Convolutional NMF with saturating activations for drum mixture decomposition[J]. Electronics, 2021, 10(3): 284. doi: 10.3390/electronics10030284
[15]	SHAMSI J, AMIRSOLEIMANI A, MIRZAKUCHAKI S, et al. Hyperbolic tangent passive resistive-type neuron[C]. 2015 IEEE International Symposium on Circuits and Systems (ISCAS), Lisbon, Portugal, 2015: 581–584.
[16]	SHAKIBA F M and ZHOU Mengchu. Novel analog implementation of a hyperbolic tangent neuron in artificial neural networks[J]. IEEE Transactions on Industrial Electronics, 2021, 68(11): 10856–10867. doi: 10.1109/TIE.2020.3034856
[17]	LIU Feng, ZHANG Bowen, CHEN Gang, et al. A novel configurable high-precision and low-cost circuit design of sigmoid and tanh activation function[C]. 2021 IEEE International Conference on Integrated Circuits, Technologies and Applications (ICTA), Zhuhai, China, 2021: 222–223.
[18]	HAENSCH W, GOKMEN T, and PURI R. The next generation of deep learning hardware: Analog computing[J]. Proceedings of the IEEE, 2019, 107(1): 108–122. doi: 10.1109/JPROC.2018.2871057
[19]	JOUBERT A, BELHADJ B, TEMAM O, et al. Hardware spiking neurons design: Analog or digital[C]. The 2012 International Joint Conference on Neural Networks (IJCNN), Brisbane, Australia, 2012: 1–5.
[20]	KUMNGERN M. Absolute value circuit for biological signal processing applications[C]. 2013 4th International Conference on Intelligent Systems, Modelling and Simulation, Bangkok, Thailand, 2013: 601–604.
[21]	IRANMANESH S, RAIKOS G, ZHOU Jiang, et al. CMOS implementation of a low power absolute value comparator circuit[C]. 2016 14th IEEE International New Circuits and Systems Conference (NEWCAS), Vancouver, Canada, 2016: 1–4.

施引文献

期刊类型引用(32)

1.	许振腾，王琪. 基于随机森林算法的航班延误时间预测模型研究. 滨州学院学报. 2024(02): 28-35 . 百度学术
2.	屈景怡，肖敏，李佳怡，解文凯. 基于多任务NR-DenseNet网络的航班延误预测模型. 信号处理. 2023(03): 550-560 . 百度学术
3.	李国，张秋杰. 基于纵向联邦学习的航班延误预测. 计算机工程与设计. 2023(05): 1594-1601 . 百度学术
4.	郭海州，杨晶晶，吴季达，张彬，黄铭. 基于BTS数据集的航班延误分类和预测算法. 科学技术与工程. 2023(12): 5304-5311 . 百度学术
5.	罗予东，李振坤. 结合深度神经网络的网络监控系统微表情识别. 计算机应用与软件. 2023(07): 172-179+191 . 百度学术
6.	丁建立，吴俣. 基于数字孪生的航班链延误动态预测模型. 南京航空航天大学学报. 2023(05): 859-867 . 百度学术
7.	王焱，丁华，孙晓春，李莉，刘泽平，楚寒驰. 基于改进ECANet-TCN和迁移学习的轴承剩余寿命预测. 振动与冲击. 2023(21): 149-159 . 百度学术
8.	张恒超，沈秋英，沈杰，李苏芙，范彪，王琨，蔡嘉辉，吕自贵. 基于深度学习的线损异常诊断系统研究. 农村电气化. 2023(11): 58-64 . 百度学术
9.	温祥西，彭娅婷，毕可心，衡宇铭，吴明功. 基于最优样本集在线模糊最小二乘支持向量机的飞行冲突网络态势预测. 计算机应用. 2023(11): 3632-3640 . 百度学术
10.	陈昊，乔凯，刘伟玲. 一种光学卫星无控定位误差智能建模方法. 计算机测量与控制. 2022(02): 269-275 . 百度学术
11.	白茹，余慧，安建成，曹锐. 基于改进DenseNet的乳腺钼靶肿块分类方法. 计算机工程与应用. 2022(15): 270-277 . 百度学术
12.	屈景怡，杨柳，陈旭阳，王茜. 基于时空序列的Conv-LSTM航班延误预测模型. 计算机应用. 2022(10): 3275-3282 . 百度学术
13.	屈景怡，张金杰，赵娅倩，李云龙. 融合注意力机制SimAM的CNN-MogrifierLSTM航班延误波及预测. 信号处理. 2022(11): 2412-2423 . 百度学术
14.	吴仁彪，赵娅倩，屈景怡，高爱国，陈文秀. 基于CBAM-CondenseNet的航班延误波及预测模型. 电子与信息学报. 2021(01): 187-195 . 本站查看
15.	蒋庶，李子龙，花海源，冯梓洲. 基于机器学习的航班预测系统. 科技经济导刊. 2021(17): 42-43 . 百度学术
16.	蔡嘉辉，王琨，董康，姚宇航，张雨峰. 基于DenseNet和随机森林的电力用户窃电检测. 计算机应用. 2021(S1): 75-80 . 百度学术
17.	谷润平，来靖晗，时统宇，魏志强. 基于小波分解与ARMA-RBF模型的航班延误时间短期预测. 飞行力学. 2021(04): 88-94 . 百度学术
18.	丁建立，孙玥. 基于LightGBM的航班延误多分类预测. 南京航空航天大学学报. 2021(06): 847-854 . 百度学术
19.	刘博，卢婷婷，张兆宁，张健斌. 基于SMOTE算法和条件生成对抗网络的到港航班延误分类预测. 科学技术与工程. 2021(34): 14843-14852 . 百度学术
20.	付振宇，徐海文，傅强. 航班延误预测研究概述. 科技与创新. 2020(03): 1-4 . 百度学术
21.	张玉州，张子为，江克勤. 多跑道进离港地面等待问题建模及协同优化. 南京大学学报(自然科学). 2020(01): 132-141 . 百度学术
22.	屈景怡，渠星，杨俊，刘芳，张雄威. 基于Skip-LSTM的机场群延误预测模型. 信号处理. 2020(04): 584-592 . 百度学术
23.	傅强，付振宇，徐海文. 基于深度学习的离港航班延误预测模型研究. 中国民航飞行学院学报. 2020(03): 5-8 . 百度学术
24.	张威，翟明浩，黄子龙，李巍，曹毅. SE-MCNN-CTC的中文语音识别声学模型. 应用声学. 2020(02): 223-230 . 百度学术
25.	张家瑜，周迪斌，魏东亮，金秉文，解利军. 基于双线性CNN与DenseBlock的导光板标记线缺陷检测. 计算机系统应用. 2020(07): 152-159 . 百度学术
26.	张兆宁，张佳. 大面积航班延误发生的预测方法. 系统工程. 2020(04): 115-121 . 百度学术
27.	伍菁. 基于DenseNet的无人汽车制动意图识别方法. 计算机测量与控制. 2020(06): 226-230 . 百度学术
28.	张成伟，罗凤娥，代毅. 基于数据挖掘的指定航班计划延误预测方法. 计算机科学. 2020(S2): 464-470+485 . 百度学术
29.	徐海文，付振宇，傅强. 基于时效信息和深度学习的离港航班延误预测. 科学技术与工程. 2020(34): 14126-14132 . 百度学术
30.	王菁，何嘉伟，林俊峰，李善梅. 基于生存分析的航班延误特征分析. 航空计算技术. 2019(03): 35-39 . 百度学术
31.	周洁敏，戴美泽，卢朝阳，周凯. 基于弹性神经网络的航班延误时间预测. 航空计算技术. 2019(05): 12-16 . 百度学术
32.	曹毅，黄子龙，张威，刘晨，李巍. N-DenseNet的城市声音事件分类模型. 西安电子科技大学学报. 2019(06): 9-16+94 . 百度学术