大电流时晶体管电流增益下降的物理原因
VERIFICATION OF THE PHYSICAL REASON FOR THE CURRENT GAIN FALL-OFF AT HIGH CURRENTS
-
摘要: 正 1.引言 众所周知,晶体管的电流增益与收集极电流有关,开始它随收集极电流增大而增大,达到一最大值后,它又随收集极电流的进一步增大而逐渐减小。所谓大电流时电流增益下降,就是指收集极电流大于电流增益达最大值所对应的收集极电流后电流增益下降的现象。 关于大电流时电流增益下降的物理原因,过去有两种解释:一是由Webster提出的基区电导调制效应;另一是由Kirk提出的有效基区展宽效应
-
关键词:
Abstract: Starting from the temperature characteritics of the transistor current gain, the temperature-dependent law of the collector current just as the current gain begins to fall-off is studied theoretically and experimentally. It is verified that the physical reason is the base widening effect. -
1. 引言
钢的微观组织决定其使用性能,对微观组织的定性和定量研究一直都是钢铁材料领域的重要工作[1-3]。将采用适当方法(如抛光、腐蚀)处理后的实验钢试样置于光学显微镜(Optical Microscope, OM)或电子显微镜(Electron Microscope, EM)下,可观察到钢的显微组织形貌图像,即金相图[4,5]。传统上,金相图的辨识由人工完成,对人的专业经验依赖性较大,即使是经验丰富的专家也会因为肉眼看不到的图像细节而分析失误。而现代钢材种类越来越多,其内部显微组织越来越复杂,人工辨识面临巨大挑战[6,7]。
随着计算机视觉的深入发展,国内外研究者已开始将深度学习用于金相图的自动辨识问题。Pauly等人[8]使用数据挖掘方法对金相图分类,但由于不同类别间提取到的特征差异性不够,在测试集上仅获得48%的精度。Chowdhury等人[9]组合不同的特征提取和特征选择方法作用于金相图,并选择不同分类器,比较了不同组合间模型性能的差异。Azimi等人[10]采用全卷积神经网络对金相图进行分类,在所收集的数据集上能够获取90%以上的精度。文献[11]融合多种图像增强方法,并改进AlexNet, VGGNet, ResNet, GoogleNet适用于金相图,在所收集的数据集上能够获取95%以上的精度。上述研究所使用的一般均是小规模数据集,且由于人工标注困难、效率低问题,用于模型训练的已标记图像数量较少,模型泛化能力弱、实际应用困难。
图[12-14]
G=(V,E) 能表达非欧空间复杂数据关系[15],图卷积(Graph Convolutional Network, GCN)可用于超维关联数据的挖掘和分析[16-18]。基于已有拓扑学习模型[19],本文提出一种基于自组织增量-图卷积神经网络的半监督学习方法。在原自组织增量神经网络(Self-Organizing Incremental Neural Network, SOINN)中引入连接权重概念来表示两节点相似性,得到引入连接权重策略的自组织增量神经网络(Weighted SOINN, WSOINN),并引入节点胜利次数以挑选少量节点进行人工标注;进而,搭建GCN学习拓扑图中高阶特征来预测节点的类别信息,达到用较少的图像标注量获取较高模型分类准确率的目的。本文用WSOINN获取拓扑图结构描述图像数据的空间分布,用GCN将WSOINN拓展至半监督学习,实现钢铁材料金相图的自动分类。针对收集到的贝氏体、低碳板条马氏体、高碳片状马氏体、铁素体、下贝氏体、珠光体6种类型的金相图进行实验,结果表明,本方法具有较高的准确性和适应性。2. 连接权重策略的自组织增量-图卷积神经网络(WSOINN-GCN)
本节首先给出WSOINN-GCN的整体框架;然后,分小节介绍各个模块:2.1节介绍图像数据特征提取;2.2节给出WSOINN算法步骤;2.3节结合金相图特征设计GCN;2.4节给出WSOINN-GCN的算法步骤。
WSOINN-GCN模型框架如图1所示,它由3部分组成:第1部分基于迁移学习获得图像数据的特征向量集合;第2部分采用引入连接权重策略的自组织增量神经网络(WSOINN)提取特征数据的拓扑图结构,并按照节点胜利次数选择少量节点进行人工标注;第3部分搭建图卷积网络(GCN),采用交叉熵损失函数、Adam算法优化网络参数,自动标注剩余节点,最后基于欧氏距离来分类所有图像数据。
2.1 迁移学习获取特征向量集合
图2展示了收集自某国家重点实验室场发射扫描电子显微镜所拍摄的不同钢铁材料的微观组织图片,依次为铁素体、珠光体、贝氏体、下贝氏体、板条马氏体、片状马氏体,共2342张,图片像素大小均为221×221。
如图3,本文采用在ImageNet数据集上已训练好的VGG16卷积模块提取每张金相图的特征,并对从每张金相图获得的512张特征图作全局均值池化,每张图输出一个512维的特征向量,从而得到所有金相图特征提取后的数据特征集合。
2.2 引入连接权重策略的自组织增量神经网络(WSOINN)
SOINN可获取特征数据的空间拓扑图结构,而GCN可用于挖掘巨量、稀疏、超维关联图数据的关系。为融合SOINN与GCN,本文提出引入连接权重数的自组织增量神经网络(WSOINN),并引入节点胜利次数以挑选少量节点进行人工标注。WSOINN的算法步骤如下:
(1)初始化节点集合
V={v1,v2} ,v1,v2∈Rd ;连接E⊆N×N 为空集;节点胜利次数win_times= {tv1=0,tv2=0} 。(2) 接收新的输入样本
ξ∈Rd ,根据欧几里得范数查找V 中与ξ 最接近的节点s1 和s2 ,即s1= argminvn∈V‖ξ−vn‖ ,s2=argminvn∈V∖{s1}‖ξ−vn‖ ,胜利次数加1,即ts1=ts1+1,ts2=ts2+1 。(3) 计算节点
s1 ,s2 的相似度阈值Ts1 ,Ts2 ,对节点v∈V ,将与v 连接的节点集合记为P ,若P=∅ ,Tv=min ,若{\boldsymbol{P}} \ne \varnothing ,{T}_{\boldsymbol{v}}= \max\Vert {\boldsymbol{v}}-{\boldsymbol{v}}_{n}\Vert ,{\boldsymbol{v}}_{n} \in {\boldsymbol{P}} 。(4) 如果
\left\| {{\boldsymbol{\xi}} {\rm{ - }}{{\boldsymbol{s}}_{\rm{1}}}} \right\| > {T_{{{\boldsymbol{s}}_{\rm{1}}}}} 或\left\| {{\boldsymbol{\xi}} {\rm{ - }}{{\boldsymbol{s}}_{\rm{2}}}} \right\| > {T_{{{\boldsymbol{s}}_{\rm{2}}}}} ,{\boldsymbol{V}} = {\boldsymbol{V}} \cup \{ {\boldsymbol{\xi}} \} ,否则丢弃样本{\boldsymbol{\xi}} ,同时修正节点{{\boldsymbol{s}}_1} 和{{\boldsymbol{s}}_2} ,{{\boldsymbol{s}}_1} = {{\boldsymbol{s}}_1} + \varepsilon (t)({\boldsymbol{\xi}} - {{\boldsymbol{s}}_1}) ,{{\boldsymbol{s}}_2} = {{\boldsymbol{s}}_2} + \varepsilon {\rm{'(}}t{\rm{)}}({\boldsymbol{\xi}} - {{\boldsymbol{s}}_2}) ,其中\varepsilon (t) = {1}/{{{t_{{{\boldsymbol{s}}_{\rm{1}}}}}}} ,\varepsilon '(t) = {{{t_{{{\boldsymbol{s}}_{\rm{2}}}}}}}/{{100}} 。(5) 若
{{\boldsymbol{s}}_1} 和{{\boldsymbol{s}}_2} 无连接,{\boldsymbol{E}} = {\boldsymbol{E}} \cup \{ ({{\boldsymbol{s}}_1},{{\boldsymbol{s}}_2})\} ,{w_{({{\boldsymbol{s}}_{\rm{1}}},{{\boldsymbol{s}}_{\rm{2}}})}} = 1 ;若有连接,{w_{({{\boldsymbol{s}}_{\rm{1}}},{{\boldsymbol{s}}_{\rm{2}}})}} = {w_{({{\boldsymbol{s}}_{\rm{1}}},{{\boldsymbol{s}}_{\rm{2}}})}} + 1 。如果
{w}_{({\boldsymbol{s}}_{1},{\boldsymbol{s}}_{2})} > {W}_{\max},\;E\backslash \{({\boldsymbol{s}}_{1},{\boldsymbol{s}}_{2})\} ,{{\boldsymbol{W}}_{{\rm{max}}}} 为预定义值。(6)每学习完总样本的百分比例
p ,删除孤立节点,及对应的胜利次数。若样本输入未结束,则返回步骤 (2)。否则,输出图节点集合{\boldsymbol{V}} 、连接集合{\boldsymbol{E}} 及各个节点胜利次数。由上述WSOINN算法过程可知,其节点间连接权重
w 代表两节点间的相似性,连接权重越大则表示两节点越相似;节点胜利次数越多,表明该节点越具有代表性,越重要。2.3 图卷积神经网络(GCN)
针对金相图的半监督学习分类问题,搭建具有3层图卷积网络的GCN模型,如图4所示。N表示图结构中节点数量,每层图卷积后均接ReLU激活函数,其中第1、第2层用于特征整合与降维,输出维度分别为N×512, N×256,参数量分别为512×512, 512×256,第3层结合Softmax层用于分类,第3层输出维度为N×6,参数量为256×6。
基于WSOINN输出的含有N个节点的图
{\boldsymbol{G}} = ({\boldsymbol{V}},{\boldsymbol{E}}) ,用{\boldsymbol{A}} \in {{{R}}^{{{N}} \times {{N}}}} 表示图节点连接关系矩阵,定义归一化的图拉普拉斯矩阵为{\boldsymbol{L}} = {\boldsymbol{I}} - {{\boldsymbol{D}}^{{\rm{ - }}\frac{1}{2}}}{\boldsymbol{A}}{{\boldsymbol{D}}^{{\rm{ - }}\frac{1}{2}}} (1) 其中,
{\boldsymbol{I}} 为单位矩阵,{\boldsymbol{D}} 为对角矩阵,{{\boldsymbol{D}}_{{\boldsymbol{ii}}}} = \displaystyle\sum {_{\boldsymbol{j}}{{\boldsymbol{A}}_{{\boldsymbol{ij}}}}} 可知{\boldsymbol{L}} 为对称矩阵,对{\boldsymbol{L}} 奇异值分解{\boldsymbol{L}} = {\boldsymbol{U}}{\boldsymbol{\varLambda}} {{\boldsymbol{U}}^{\rm{T}}} (2) 其中,
{\boldsymbol{\varLambda}} = {\rm{diag}}([{\lambda _1},{\lambda _2}, \cdots ,{\lambda _n}]) 为特征值对角阵,{\boldsymbol{U}} = [{{\boldsymbol{U}}_1},{{\boldsymbol{U}}_2}, \cdots ,{{\boldsymbol{U}}_n}] 为特征向量正交矩阵。对于图中单个节点{\boldsymbol{x}} \in {\boldsymbol{X}} ,定义图傅里叶变换为{\overset{\frown} {\boldsymbol{x}}} = {{\boldsymbol{U}}^{\bf{T}}}{\boldsymbol{x}} ,逆变换为{\boldsymbol{x}} = {\boldsymbol{U}}{\overset{\frown} {\boldsymbol{x}}} ,图信号频域滤波响应为{\overset{\frown} {\boldsymbol{z}}} = {{{g}}_\theta }({\boldsymbol{\varLambda}} ){\overset{\frown} {\boldsymbol{x}}} ,进行傅里叶逆变换即{\boldsymbol{z}} = U{g_\theta }({{{\boldsymbol{\varLambda}}}} ){{\boldsymbol{U}}^{\rm{T}}}x (3) 式(3)即为图卷积的基本形式,其中
{{{g}}_\theta }({\boldsymbol{\varLambda}} ) 对应为可学习的滤波函数。用
{\lambda _{{\rm{max}}}} 表示为{\boldsymbol{L}} 的最大特征值,令{\overset{\frown} {\boldsymbol{\varLambda}}} = \dfrac{2}{{{{{\lambda }}_{{{\max}}}}}}{\boldsymbol{\varLambda}} - {{\boldsymbol{I}}_N} ,采用切比雪夫多项式{{{T}}_{{k}}} 来近似{{{g}}_\theta }({\boldsymbol{\varLambda}} ) ,即{{{g}}_\theta }({\boldsymbol{\varLambda}} ) \approx \sum\limits_{{{k}} = {{0}}}^{{K}} {{{{\theta }}_{{k}}}{{{T}}_{{k}}}({\overset{\frown} {\boldsymbol{\varLambda}}} )} (4) {\overset{\frown} {\boldsymbol{L}}} = \dfrac{2}{{{\lambda _{\max }}}}{\boldsymbol{L}} - {\boldsymbol{I}} 为对应拉普拉斯矩阵缩放,结合恒等式{({\boldsymbol{U}}{{{\boldsymbol{\varLambda}}}} {{\boldsymbol{U}}^{{{\rm{T}}}}})^{{k}}} = {\boldsymbol{U}}{{{{\boldsymbol{\varLambda}}}} ^{{k}}}{{\boldsymbol{U}}^{{{\rm{T}}}}} ,则式(3)可近似为{\boldsymbol{z}} = \sum\limits_{{{k}} = {{0}}}^{{K}} {{{{\theta }}_{{k}}}{{{T}}_{{k}}}({\overset{\frown} {\boldsymbol{L}}} ){\boldsymbol{x}}} (5) 本文中取
{{K}} = 1 ,即只考虑节点的1阶连接信息,令归一化的{\boldsymbol{L}} 最大特征值{{{\lambda }}_{{{\max}}}} = 2 ,则式(5)可展开并简化为{\boldsymbol{z}} = {\theta _0}{\boldsymbol{x}} + {\theta _1}({\boldsymbol{L}} - {{\boldsymbol{I}}_N}){\boldsymbol{x}} = {\theta _0}{\boldsymbol{x}} - {\theta _1}{{\boldsymbol{D}}^{ \frac{1}{2}}}{\boldsymbol{A}}{{\boldsymbol{D}}^{ \frac{1}{2}}}{\boldsymbol{x}} (6) 防止模型过拟合,采用
{{\theta }} = {{{\theta }}_{{0}}} = {{ - }}{{{\theta }}_{{1}}} 进一步约束参数数量可得{\boldsymbol{z}} = {{\theta }}({\boldsymbol{I}} + {{\boldsymbol{D}}^{ - \frac{1}{2}}}{\boldsymbol{A}}{{\boldsymbol{D}}^{ - \frac{1}{2}}}){\boldsymbol{x}} (7) {\boldsymbol{I}} + {{\boldsymbol{D}}^{ - \frac{1}{2}}}{\boldsymbol{A}}{{\boldsymbol{D}}^{ - \frac{1}{2}}} 的特征值范围为[0,2],实际使用发现该算子易发生消失梯度,采用{{\overset{\frown} {\boldsymbol{D}}} ^{ - \frac{1}{2}}}{\overset{\frown} {\boldsymbol{A}}} {{\overset{\frown} {\boldsymbol{D}}} ^{ - \frac{1}{2}}} 近似算子效果更佳,其中{\overset{\frown} {\boldsymbol{A}}} = {\boldsymbol{A}} + {\boldsymbol{I}},{{\overset{\frown} {\boldsymbol{D}}} _{\boldsymbol{ii}}} =\displaystyle \sum {_{\boldsymbol{j}}{{{\overset{\frown} {\boldsymbol{A}}} }_{\boldsymbol{i}}}_{\boldsymbol{j}}} 。针对一个含有
{{N}} 个特征长度为{{C}} 的节点的图{\boldsymbol{G}} = ({\boldsymbol{V}},{\boldsymbol{E}}) ,{\boldsymbol{X}} = [{{\boldsymbol{x}}_1},{{\boldsymbol{x}}_2}, \cdots ,{{\boldsymbol{x}}_n}] \in {R^{N \times C}} 表示图节点信号矩阵,则对于全图{\boldsymbol{G}} 的卷积操作可定义为{\boldsymbol{Z}} = {{\overset{\frown} {\boldsymbol{D}}} ^{ - \frac{1}{2}}}{\overset{\frown} {\boldsymbol{A}}} {{\overset{\frown} {\boldsymbol{D}}} ^{ - \frac{1}{2}}}{\boldsymbol{X}}\varTheta (8) 其中,
\varTheta \in {{{R}}^{{{C}} \times {{F}}}} 为卷积核参数矩阵,{\boldsymbol{Z}} 为输出节点信号,特征长度为{\boldsymbol{F}} 。基于式(8),设第
{{j}} 层图卷积和ReLU的操作为{{{f}}_{\boldsymbol{\varTheta}} }_{_{\boldsymbol{j}}} ,则针对图4所示的3层图卷积网络{\bf{output}} = {\rm{Softmax}}({f_{\boldsymbol{\varTheta}} }_{_3}({f_{\boldsymbol{\varTheta}} }_{_2}({f_{\boldsymbol{\varTheta}} }_{_1}({\boldsymbol{X}})))) (9) 采用交叉熵作为损失函数,图卷积网络训练过程中只计算已标注的节点损失,即
{\rm{LOSS}} = - \sum\limits_{i = 1}^{n = {{{N}}_{{l}}}} {{y_i}} {\bf{outpu}}{{\bf{t}}_{{i}}} (10) 其中,
{N_l} 表示已标注节点数量,{y_i} 表示该节点真实标签。2.4 WSOINN-GCN的算法步骤
结合图1中给出的模型框架,本文提出的WSOINN-GCN对图像数据自动标注及分类的算法步骤如下:
设需要分类的N张图片集合为
{\bf{Pictures}} = \{ {{\boldsymbol{I}}_1},{{\boldsymbol{I}}_2},\cdots, {{\boldsymbol{I}}_N}\} 。(1)对所有
{{\boldsymbol{I}}_{\boldsymbol{i}}} \in {\bf{Pictures}} 特征提取,得到特征数据集合{\bf{Ft}} = \{ {{\boldsymbol{F}}_1},{{\boldsymbol{F}}_2}, \cdots,{{\boldsymbol{F}}_N}\} ,其与{\bf{Pictures}} 具有一一对应关系。(2)对原始特征数据分布进行预估,初始化WSOINN超参数
{{p}} ,{W_{\max}} 。(3)随机从
{\bf{Ft}} 选择两个特征数据初始化WSOINN节点集合{\boldsymbol{V}} = \{ {{\boldsymbol{v}}_1},{{\boldsymbol{v}}_2}\} ,并初始化节点连接集合{\boldsymbol{E}} 和节点胜利次数集合{\rm{win}}\_{\rm{times}} 为空集。(4)将所有
{{\boldsymbol{F}}_{\boldsymbol{i}}} \in {\bf{Ft}} 按顺序输入至WSOINN学习,得到图结构{\boldsymbol{G}} ,输出{\boldsymbol{V}} = \{ {{\boldsymbol{v}}_1},{{\boldsymbol{v}}_2}, \cdots, {{\boldsymbol{v}}_{\boldsymbol{m}}}\} ,及对应的{\boldsymbol{E}} ,{\rm{win}}\_{\rm{times}} = \{ {t_1},{t_2}, \cdots, {t_m}\} ,由WSOINN算法可知,{\boldsymbol{V}} 与{\rm{win}}\_{\rm{times}} 一一对应,对于任意{\boldsymbol{v}}_{i} \in {\boldsymbol{V}} ,存在{{\boldsymbol{F}}_{\boldsymbol{j}}} \in {\bf{Ft}} 与之对应。(5)根据胜利次数
{{{t}}_{{i}}} 值大小,按照对应关系,对所有{{\boldsymbol{v}}_{\boldsymbol{i}}} \in {\boldsymbol{V}} 进行排序,得到{{\boldsymbol{V}}_{\rm{order}}} 。(6)选出
{{\boldsymbol{V}}_{\rm{order}}} 排序靠前一定比例的节点集合{{\boldsymbol{V}}_l} ,根据{\boldsymbol{V}} ,{\bf{Ft}} ,{\bf{Pictures}} 对应关系,查看原始图片{{\boldsymbol{I}}_i} ,人工标注所有{\boldsymbol{v}}_{i} \in {\boldsymbol{V}}_{l} ,得到{{\boldsymbol{V}}_l} 的标签集合{{\boldsymbol{L}}_{\rm{labeled}}} 。(7)根据节点数量、特征维度,选择正则化方法,搭建合适多层图卷积网络GCN,其中GCN末层接Softmax用于预测节点信息。
(8)将WSOINN输出的图
{\boldsymbol{G}} = ({\boldsymbol{V}},{\boldsymbol{E}}) 输入至GCN预测所有节点信息,根据{\boldsymbol{V}},{{\boldsymbol{V}}_l},{{\boldsymbol{L}}_{\rm{labeled}}} 统计已标注节点的误差,反向传播误差,选择合适算法优化网络参数,反复迭代直至训练误差不再降低。(9)将图
{\boldsymbol{G}} = ({\boldsymbol{V}},{\boldsymbol{E}}) 输入至已训练好的GCN,得到{\boldsymbol{V}} 的标签集合{\boldsymbol{L}} 。(10)对任意
{\boldsymbol{I}}_{i} \in {\bf{Pictures}} ,{{\boldsymbol{I}}_i} 的标签为{\boldsymbol{v}}_{j}= \underset{{\boldsymbol{v}}_{m} \in {\boldsymbol{V}}}{{\rm{argmin}}}\Vert {{\boldsymbol{F}}}_{i}-{\boldsymbol{v}}_{m}\Vert 的标签{{{L}}_{{j}}} 。由上述算法步骤可知,WSOINN在原SOINN上引入了边连接权重表示两节点相似性,从而使得图卷积神经网络GCN能够挖掘金相图之间的关系,通过引入节点胜利次数ti来选择少许具有代表性的重要节点进行人工标注,避免随机选择造成的模型不稳定,从而有机地将WSOINN与GCN结合起来,在减少人工标注的同时,实现了图像数据的高效分类。
3. 实验结果及分析
本节先给出WSOINN-GCN模型参数的优选方法,再比较在不同节点标注率下模型的节点标注精度及金相图分类精度,最后给出其他常见方法的对比实验结果。
3.1 实验环境及模型指标
本实验硬件支持有CPU为i5-7500,4核4线程,主频3.41 GHz,内存12 GB, GPU为NVIDIA GeFore GTX 1060,显存6 GB,操作系统为win10,编程环境为spyder,Python3.7,框架平台为tensorflow。对于图卷积网络结构,采用Adam算法优化参数,初始学习率为0.01, dropout神经元失活的概率为0.5, Glorot_normal初始化参数,采用Early Stopping提前终止。统计精确率与召回率2个指标。
3.2 WSOINN-GCN模型参数分析
WSOINN在每输入样本的百分比例
{{p}} 后,会删除孤立节点,会影响最终节点输出数量。节点数过多可能含有噪声节点,节点数过少不能全面反映所有样本分布,从而间接影响自动标注精度。图5表示为列举了不同{{p}} ,{W_{\max }} 值下,WSOINN获取拓扑图节点的数量情况,颜色越深代表产生的节点数越少,节点数最大值为865,最小值256。图6代表连接矩阵的稀疏程度(非0元素所占比例),颜色越深表示连接矩阵越稀疏,由图5、图6可知,随着{{p}} ,{W_{\max }} 增大,节点数随之增大,连接矩阵越稠密。实验收集到的金相图总样本数有2432张,用n, a分别代表WSOINN输出图的节点数和连接矩阵中非0元素个数,为保证精度同时加快运算,选择节点数为原数据量的1/10~1/6的WSOINN进一步分析。
表1列举了节点标注率为0.3、不同
p ,{W_{\max }} 值时模型对剩余节点的自动标注精度,其中Acc_w是按照胜利次数选择标注的结果,Acc_r是随机选择节点标注的结果。可见:表 1 标注率为0.3时,不同p, Wmax值下剩余节点标注精度{{{W}}_{{{\max}}}}, {{p}} 20, 100% 2, 10% 15, 45% 10, 5% 4, 30% 17, 70% n 286 294 300 308 440 474 a 720 324 734 688 640 946 Acc_w(%) 85 93 84 90 89 88 Acc_r(%) 70 81 80 75 88 85 (1)与按照节点胜利次数选择节点标注相比,随机选择节点标注导致剩余节点自动标注精度时高时低,且自动标注精度未超过前者,按照节点胜利次数选择节点标注具有稳定的优势。
(2)无论哪种标注方式,随着节点数增多,剩余节点标注精度呈下降趋势,且在同等规模节点下,连接矩阵越稀疏(即越小),节点标注精度越高。
根据表1,选取适合金相图分类的网络参数
{{p}} = 10\% ,{W_{\max }} = 2 ,此时节点数为{{n}} = 294 ,{{a}} = 324 。按照节点胜利次数选择节点标注继续完成后续实验。3.3 节点自动标注精度
为便于比较,搭建与WSOINN-GCN具有相同参数量的自组织增量-全连接神经网络(WSOINN-MLP),其将WSOINN-GCN中GCN模块替换成多层感知机 (MultiLayer Perceptron, MLP),相应的图结构输入变为单节点输入,神经元激活函数采用ReLU,其中MLP结构如图7所示。
表2列出了WSOINN-GCN,WSOINN-MLP在不同节点标注率、有无Dropout策略下,模型对拓扑图中剩余无标注节点的自动标注精度。可见:
表 2 不同节点标注率情况下剩余节点自动标注精度(%)节点标注率(rate) WSOINN- GCN WSOINN- MLP 有Dropout 无Dropout 有Dropout 无Dropout 0.1 83 80 77 76 0.2 89 88 82 81 0.3 93 93 86 84 0.4 95 92 91 90 0.5 93 94 91 90 0.6 97 99 97 97 0.7 97 99 99 97 (1)随着节点标注率增加,两类模型的精度都会增加。WSOINN-GCN性能要优于WSOINN-MLP,当节点标注率为0.3时,前者精度可达93%,而后者仅为86%。这是因为GCN会考虑单节点的1阶邻域信息,有更强的泛化能力,而MLP训练过程一直是单节点前向传播,其无法考虑节点之间的连接性。
(2)对于WSOINN-GCN而言,当节点标注率较低时(≤0.4),含有Dropout比未含有Dropout有更好的性能表现;当节点标注率较高时,Dropout会降低GCN自动标注精度。这是因为节点标注率低时,虽标注的节点代表性强,但图中高阶信息未完全挖掘,GCN易对已标注的节点过拟合,此时使用Dropout会增加模型的泛化能力,而当节点标注率增加时,已标注的节点有足够的全局代表性,加之GCN会获取节点1阶邻域信息,此时使用Dropout正则化方法往往会矫枉过正,降低模型性能。
(3)对于WSOINN- MLP而言,无论节点标注率多少,使用Dropout策略能一直提高其精度。因为MLP不能考虑节点间的关联信息,易出现过拟合现象,Dropout在一定程度上能弥补这一缺陷。
3.4 金相图分类精度
表3列举不同节点标注率下所有金相图自动分类精度;表4列举了节点标注率为0.3时,不同类别的金相图的准确率和召回率。由表4可见:(1)节点标注率越高,金相图自动分类准确率呈上升趋势,但是对于当节点标注率达到0.6时,WSOINN-GCN和WSOINN-MLP的性能均无法再提高;(2)高碳片状马氏体召回率虽高,精确率却低至74%,贝氏体精度虽高,但召回率低,存在交叉误判,原因可能是VGG16卷积层虽能暴力提取特征,但是对这种平均像素强度相近的灰度金相图,VGG16无法进一步获取到深度区分特征。
表 3 不同节点标注率情况下所有金相图分类精度(%)节点标注率(rate) WSOINN-GCN WSOINN- MLP 有Dropout 无Dropout 有Dropout 无Dropout 0.1 81 81 74 79 0.2 88 87 81 80 0.3 91 91 82 81 0.4 92 91 89 85 0.5 92 92 88 92 0.6 90 94 90 92 0.7 90 94 89 92 表 4 节点标注率为0.3时,不同类别金相图的精确率与召回率(%)金相图类别 精确率 召回率 下贝氏体 90 92 低碳板条马氏体 93 93 珠光体 99 92 贝氏体 93 73 铁素体 100 100 高碳片状马氏体 74 97 3.5 新模型的竞争力
表5列举了选择30%比例标注,不同方法的所有图片分类精度、在相同环境下所需的训练时间及人工所需标注图像数量。针对金相图数据集,参照文献[11],搭建了深度卷积网络VGG-ICAM,标注30%的图像数据样本用于训练,预测所有样本;SOINN先用VGG16卷积模块提取特征,同VGG-ICAM标注30%样本用于拓扑学习,最后基于欧氏距离判断所有图像数据;MLP先用VGG16提取特征,然后搭建如图7所示的分类器,标注30%样本用于训练,预测所有样本;WSOINN-GCN, WSOINN-MLP用WSOINN学习所有样本后,按照胜利次数选择30%节点标注,用GCN, MLP自动标注剩余所有节点,最后基于欧氏距离分类所有图像数据。
表 5 选择30%标注,不同方法的所有图片自动分类效果VGG-ICAM SOINN MLP WSOINN-GCN WSOINN-MLP 人工标注量(张) 730 730 730 88 88 训练时间(min) 240 1 1 2.5 2.5 分类精度(%) 74 39 51 91 82 由表5可见:按照选择30%标注,WSOINN-GCN, WSOINN-MLP所需的人工标注量仅为其他方案的12%;在训练时间上,相较于VGG-ICAM减少了99%,相较于SOINN, MLP虽稍微增加了训练时间,但精度大幅度提升,具有明显的优势。
表6列举了所有图片分类精度达到90%以上,VGG-ICAM, SOINN, MLP, WSOINN-GCN, WSOINN-MLP所需的人工标注数量及训练时间。可见,WSOINN-GCN所需的人工标注量仅为VGG-ICAM的5.6%, SOINN, MLP的5.2%,且训练时间相较于VGG-ICAM大幅缩减。
表 6 分类精度达到90%,不同方法所需的标注量及训练时间VGG-ICAM SOINN MLP WSOINN-GCN WSOINN-MLP 人工标注量(张) 1580 1702 1702 88 115 训练时间(min) 420 1.5 1.5 2.5 2.5 4. 结论
(1)针对深度学习中图像数据标注困难的问题,融合拓扑学习与图卷积理论,本文提出一种新的基于自组织增量-图卷积神经网络(WSOINN-GCN)的半监督学习方法。通过引入连接权重来改进自组织增量神经网络(WSOINN),从而提取数据图结构,并按照节点重要性指标节点胜利次数选择部分节点进行标注,进而搭建图卷积网络(GCN)挖掘图中节点的潜在联系,融合Dropout正则化手段与Adam算法对GCN进行网络参数寻优,自动标注剩余节点信息,并基于欧氏距离来自动分类金相图,结果表明该模型具有可行性。
(2)针对从某国家重点实验室扫描电子显微镜拍摄到的钢铁材料微观组织图片样本,比较了不同节点标注率、有无Dropout 对模型的影响,结果表明:随着节点标注率增加,WSOINN-GCN与WSOINN-MLP模型的精度都会增加,且前者性能要优于后者,当节点标注率为0.3时,前者精度可达93%,而后者仅为86%;对于WSOINN-GCN而言,当节点标注率较低时(≤0.4),含有Dropout比未含有Dropout有更好的性能表现;对于WSOINN- MLP而言,无论节点标注率多少,使用Dropout策略能一直提高其精度。
(3)与现有的人工标注或其他监督学习算法相比,本文所提出的WSOINN-GCN模型有效解决了实际应用时金相图片训练集数据人工标注困难的问题,为金相图片数据标注、分类等提供了新的解决思路。在金相图片标注量仅为VGG等传统深度学习网络的12%时,新模型比传统模型精度高,分类准确度高达91%;在达到相同的分类精度90%时,人工标注量仅为传统模型的5.6%,同时保证了效率优势。WSOINN-GCN具有自动提取数据图结构、实施半监督学习、动态调整网络结构等特性,在图片数据标注、分类等领域有理论研究价值和广阔的应用前景。
-
W. M. Webster, Proc. IRE, 42(1954), 914.[2]C. T. Kirk, IEEE Trans. on ED, ED-9(1962), 164.[3]R. J. Whitter and D. A. Tremere, ibid., ED16 (1969), 39.[4]D. L. Bowler and F. A. Lindholm, ibid, ED-20(1973), 257.[5]P. L. Hower, ibid, ED-20 (1973), 426.[6]R. Kumar and L. P. Hunter, ibid., ED-22(1975), 1031.[7]G. Rey, F. Dupuy and J. P. Bailbe, Solid-State Electron. 18(1975), 863.[8]C. B. Norris and J. F. Gibbons, IEEE Trans. on ED, ED-14(1967), 38.[9]F. J. Morin, Phys. Rev., 93(1954), 62.[10]E. I. Ruder, ibid, 90(1951), 766.[11]C, Kittel, Introduction to Solid State Physics, p. 94, New York, John Wiley and Sons., Inc.,1956.[12]H. F. Wolf, Silicon Semiconductor Data, Signetics Corporation, 1969, p. 32. 期刊类型引用(3)
1. 曾培益. 基于增量学习的多尺度钢材微观组织图像分类. 计算机科学. 2024(S1): 302-309 . 百度学术
2. 沈园竣,马飞跃,谭廖嶙. 人工智能识别在金相检验中的发展现状与展望. 物理测试. 2024(03): 59-63 . 百度学术
3. 宋秦中,胡华亮. 基于CNN算法的井下无人驾驶无轨胶轮车避障方法. 金属矿山. 2023(10): 168-174 . 百度学术
其他类型引用(5)
-
计量
- 文章访问数: 2328
- HTML全文浏览量: 209
- PDF下载量: 383
- 被引次数: 8