1.   引言

钢的微观组织决定其使用性能，对微观组织的定性和定量研究一直都是钢铁材料领域的重要工作^[1-3]。将采用适当方法(如抛光、腐蚀)处理后的实验钢试样置于光学显微镜(Optical Microscope, OM)或电子显微镜(Electron Microscope, EM)下，可观察到钢的显微组织形貌图像，即金相图^[4,5]。传统上，金相图的辨识由人工完成，对人的专业经验依赖性较大，即使是经验丰富的专家也会因为肉眼看不到的图像细节而分析失误。而现代钢材种类越来越多，其内部显微组织越来越复杂，人工辨识面临巨大挑战^[6,7]。

随着计算机视觉的深入发展，国内外研究者已开始将深度学习用于金相图的自动辨识问题。Pauly等人^[8]使用数据挖掘方法对金相图分类，但由于不同类别间提取到的特征差异性不够，在测试集上仅获得48%的精度。Chowdhury等人^[9]组合不同的特征提取和特征选择方法作用于金相图，并选择不同分类器，比较了不同组合间模型性能的差异。Azimi等人^[10]采用全卷积神经网络对金相图进行分类，在所收集的数据集上能够获取90%以上的精度。文献[11]融合多种图像增强方法，并改进AlexNet, VGGNet, ResNet, GoogleNet适用于金相图，在所收集的数据集上能够获取95%以上的精度。上述研究所使用的一般均是小规模数据集，且由于人工标注困难、效率低问题，用于模型训练的已标记图像数量较少，模型泛化能力弱、实际应用困难。

图^[12-14]${\boldsymbol{G}} = ({\boldsymbol{V}},{\boldsymbol{E}})$能表达非欧空间复杂数据关系^[15]，图卷积(Graph Convolutional Network, GCN)可用于超维关联数据的挖掘和分析^[16-18]。基于已有拓扑学习模型^[19]，本文提出一种基于自组织增量-图卷积神经网络的半监督学习方法。在原自组织增量神经网络(Self-Organizing Incremental Neural Network, SOINN)中引入连接权重概念来表示两节点相似性，得到引入连接权重策略的自组织增量神经网络(Weighted SOINN, WSOINN)，并引入节点胜利次数以挑选少量节点进行人工标注；进而，搭建GCN学习拓扑图中高阶特征来预测节点的类别信息，达到用较少的图像标注量获取较高模型分类准确率的目的。本文用WSOINN获取拓扑图结构描述图像数据的空间分布，用GCN将WSOINN拓展至半监督学习，实现钢铁材料金相图的自动分类。针对收集到的贝氏体、低碳板条马氏体、高碳片状马氏体、铁素体、下贝氏体、珠光体6种类型的金相图进行实验，结果表明，本方法具有较高的准确性和适应性。

2.   连接权重策略的自组织增量-图卷积神经网络(WSOINN-GCN)

本节首先给出WSOINN-GCN的整体框架；然后，分小节介绍各个模块：2.1节介绍图像数据特征提取；2.2节给出WSOINN算法步骤；2.3节结合金相图特征设计GCN；2.4节给出WSOINN-GCN的算法步骤。

WSOINN-GCN模型框架如图1所示，它由3部分组成：第1部分基于迁移学习获得图像数据的特征向量集合；第2部分采用引入连接权重策略的自组织增量神经网络(WSOINN)提取特征数据的拓扑图结构，并按照节点胜利次数选择少量节点进行人工标注；第3部分搭建图卷积网络(GCN)，采用交叉熵损失函数、Adam算法优化网络参数，自动标注剩余节点，最后基于欧氏距离来分类所有图像数据。

图 1  WSOINN-GCN模型框架

下载: 全尺寸图片 幻灯片

2.1   迁移学习获取特征向量集合

图2展示了收集自某国家重点实验室场发射扫描电子显微镜所拍摄的不同钢铁材料的微观组织图片，依次为铁素体、珠光体、贝氏体、下贝氏体、板条马氏体、片状马氏体，共2342张，图片像素大小均为221×221。

图 2  金相图样本

下载: 全尺寸图片 幻灯片

如图3，本文采用在ImageNet数据集上已训练好的VGG16卷积模块提取每张金相图的特征，并对从每张金相图获得的512张特征图作全局均值池化，每张图输出一个512维的特征向量，从而得到所有金相图特征提取后的数据特征集合。

图 3  利用VGG16卷积模块提取金相图的特征

下载: 全尺寸图片 幻灯片

2.2   引入连接权重策略的自组织增量神经网络(WSOINN)

SOINN可获取特征数据的空间拓扑图结构，而GCN可用于挖掘巨量、稀疏、超维关联图数据的关系。为融合SOINN与GCN，本文提出引入连接权重数的自组织增量神经网络(WSOINN)，并引入节点胜利次数以挑选少量节点进行人工标注。WSOINN的算法步骤如下：

(1)初始化节点集合${\boldsymbol{V}} = \{ {{\boldsymbol{v}}_1},{{\boldsymbol{v}}_2}\}$, ${{\boldsymbol{v}}_{\rm{1}}}{{,}}{{\boldsymbol{v}}_{\rm{2}}} \in {R^d}$；连接${\boldsymbol{E}} \subseteq N \times N$为空集；节点胜利次数${\rm{win}}\_{\rm{times}} =$$\{ {t_{{{\boldsymbol{v}}_1}}} = 0,{t_{{{\boldsymbol{v}}_2}}} = 0\}$。

(2) 接收新的输入样本${\boldsymbol{\xi}} \in {R^d}$，根据欧几里得范数查找${\boldsymbol{V}}$中与${\boldsymbol{\xi}}$最接近的节点${{\boldsymbol{s}}_1}$和${{\boldsymbol{s}}_2}$，即${{\boldsymbol{s}}_{\rm{1}}} =$$\mathop {\rm{argmin}}\limits_{{{\boldsymbol{v}}_n} \in {\boldsymbol{V}}} \left\| {\xi - {{\boldsymbol{v}}_n}} \right\|$, ${{\boldsymbol{s}}_{\rm{2}}} = \mathop {{\rm{argmin}}}\limits_{{{\boldsymbol{v}}_n} \in {\boldsymbol{V}}\backslash \{ {{\boldsymbol{s}}_{\rm{1}}}\} } \left\| {{{\xi }} - {{\boldsymbol{v}}_n}} \right\|$，胜利次数加1，即${t_{{{\boldsymbol{s}}_1}}} = {t_{{{\boldsymbol{s}}_1}}} + 1,\;{t_{{{\boldsymbol{s}}_2}}} = {t_{{{\boldsymbol{s}}_2}}} + 1$。

(3) 计算节点${{\boldsymbol{s}}_{\rm{1}}}$, ${{\boldsymbol{s}}_{\rm{2}}}$的相似度阈值${T_{{{\boldsymbol{s}}_{\rm{1}}}}}$, ${T_{{{\boldsymbol{s}}_{\rm{2}}}}}$，对节点${\boldsymbol{v }}\in {\boldsymbol{V}}$，将与${\boldsymbol{v }}$连接的节点集合记为${\boldsymbol{P }}$，若${\boldsymbol{P }} = \varnothing$, ${T}_{\boldsymbol{v}}=\min\Vert {\boldsymbol{v}}-{\boldsymbol{v}}_{n}\Vert ,{\boldsymbol{v}}_{n} \in {\boldsymbol{V}}\backslash \left\{{\boldsymbol{v}}\right\}$，若${\boldsymbol{P}} \ne \varnothing$, ${T}_{\boldsymbol{v}}=$$\max\Vert {\boldsymbol{v}}-{\boldsymbol{v}}_{n}\Vert ,{\boldsymbol{v}}_{n} \in {\boldsymbol{P}}$。

(4) 如果$\left\| {{\boldsymbol{\xi}} {\rm{ - }}{{\boldsymbol{s}}_{\rm{1}}}} \right\| > {T_{{{\boldsymbol{s}}_{\rm{1}}}}}$或$\left\| {{\boldsymbol{\xi}} {\rm{ - }}{{\boldsymbol{s}}_{\rm{2}}}} \right\| > {T_{{{\boldsymbol{s}}_{\rm{2}}}}}$, ${\boldsymbol{V}} =$${\boldsymbol{V}} \cup \{ {\boldsymbol{\xi}} \}$，否则丢弃样本${\boldsymbol{\xi}}$，同时修正节点${{\boldsymbol{s}}_1}$和${{\boldsymbol{s}}_2}$, ${{\boldsymbol{s}}_1} = {{\boldsymbol{s}}_1} + \varepsilon (t)({\boldsymbol{\xi}} - {{\boldsymbol{s}}_1})$, ${{\boldsymbol{s}}_2} = {{\boldsymbol{s}}_2} + \varepsilon {\rm{'(}}t{\rm{)}}({\boldsymbol{\xi}} - {{\boldsymbol{s}}_2})$，其中$\varepsilon (t) = {1}/{{{t_{{{\boldsymbol{s}}_{\rm{1}}}}}}}$, $\varepsilon '(t) = {{{t_{{{\boldsymbol{s}}_{\rm{2}}}}}}}/{{100}}$。

(5) 若${{\boldsymbol{s}}_1}$和${{\boldsymbol{s}}_2}$无连接，${\boldsymbol{E}} = {\boldsymbol{E}} \cup \{ ({{\boldsymbol{s}}_1},{{\boldsymbol{s}}_2})\}$, ${w_{({{\boldsymbol{s}}_{\rm{1}}},{{\boldsymbol{s}}_{\rm{2}}})}} = 1$；若有连接，${w_{({{\boldsymbol{s}}_{\rm{1}}},{{\boldsymbol{s}}_{\rm{2}}})}} = {w_{({{\boldsymbol{s}}_{\rm{1}}},{{\boldsymbol{s}}_{\rm{2}}})}} + 1$。

如果${w}_{({\boldsymbol{s}}_{1},{\boldsymbol{s}}_{2})} > {W}_{\max},\;E\backslash \{({\boldsymbol{s}}_{1},{\boldsymbol{s}}_{2})\}$, ${{\boldsymbol{W}}_{{\rm{max}}}}$为预定义值。

(6)每学习完总样本的百分比例$p$，删除孤立节点，及对应的胜利次数。若样本输入未结束，则返回步骤 (2)。否则，输出图节点集合${\boldsymbol{V}}$、连接集合${\boldsymbol{E}}$及各个节点胜利次数。

由上述WSOINN算法过程可知，其节点间连接权重$w$代表两节点间的相似性，连接权重越大则表示两节点越相似；节点胜利次数越多，表明该节点越具有代表性，越重要。

2.3   图卷积神经网络(GCN)

针对金相图的半监督学习分类问题，搭建具有3层图卷积网络的GCN模型，如图4所示。N表示图结构中节点数量，每层图卷积后均接ReLU激活函数，其中第1、第2层用于特征整合与降维，输出维度分别为N×512, N×256，参数量分别为512×512, 512×256，第3层结合Softmax层用于分类，第3层输出维度为N×6，参数量为256×6。

图 4  3层图卷积网络结构

下载: 全尺寸图片 幻灯片

基于WSOINN输出的含有N个节点的图${\boldsymbol{G}} = ({\boldsymbol{V}},{\boldsymbol{E}})$，用${\boldsymbol{A}} \in {{{R}}^{{{N}} \times {{N}}}}$表示图节点连接关系矩阵，定义归一化的图拉普拉斯矩阵为

其中，${\boldsymbol{I}}$为单位矩阵，${\boldsymbol{D}}$为对角矩阵，${{\boldsymbol{D}}_{{\boldsymbol{ii}}}} = \displaystyle\sum {_{\boldsymbol{j}}{{\boldsymbol{A}}_{{\boldsymbol{ij}}}}}$可知${\boldsymbol{L}}$为对称矩阵，对${\boldsymbol{L}}$奇异值分解

其中，${\boldsymbol{\varLambda}} = {\rm{diag}}([{\lambda _1},{\lambda _2}, \cdots ,{\lambda _n}])$为特征值对角阵，${\boldsymbol{U}} = [{{\boldsymbol{U}}_1},{{\boldsymbol{U}}_2}, \cdots ,{{\boldsymbol{U}}_n}]$为特征向量正交矩阵。对于图中单个节点${\boldsymbol{x}} \in {\boldsymbol{X}}$，定义图傅里叶变换为${\overset{\frown} {\boldsymbol{x}}} = {{\boldsymbol{U}}^{\bf{T}}}{\boldsymbol{x}}$，逆变换为${\boldsymbol{x}} = {\boldsymbol{U}}{\overset{\frown} {\boldsymbol{x}}}$，图信号频域滤波响应为${\overset{\frown} {\boldsymbol{z}}} =$${{{g}}_\theta }({\boldsymbol{\varLambda}} ){\overset{\frown} {\boldsymbol{x}}}$，进行傅里叶逆变换即

式(3)即为图卷积的基本形式，其中${{{g}}_\theta }({\boldsymbol{\varLambda}} )$对应为可学习的滤波函数。

用${\lambda _{{\rm{max}}}}$表示为${\boldsymbol{L}}$的最大特征值，令${\overset{\frown} {\boldsymbol{\varLambda}}} = \dfrac{2}{{{{{\lambda }}_{{{\max}}}}}}{\boldsymbol{\varLambda}} -$${{\boldsymbol{I}}_N}$，采用切比雪夫多项式${{{T}}_{{k}}}$来近似${{{g}}_\theta }({\boldsymbol{\varLambda}} )$，即

${\overset{\frown} {\boldsymbol{L}}} = \dfrac{2}{{{\lambda _{\max }}}}{\boldsymbol{L}} - {\boldsymbol{I}}$为对应拉普拉斯矩阵缩放，结合恒等式${({\boldsymbol{U}}{{{\boldsymbol{\varLambda}}}} {{\boldsymbol{U}}^{{{\rm{T}}}}})^{{k}}} = {\boldsymbol{U}}{{{{\boldsymbol{\varLambda}}}} ^{{k}}}{{\boldsymbol{U}}^{{{\rm{T}}}}}$，则式(3)可近似为

本文中取${{K}} = 1$，即只考虑节点的1阶连接信息，令归一化的${\boldsymbol{L}}$最大特征值${{{\lambda }}_{{{\max}}}} = 2$，则式(5)可展开并简化为

防止模型过拟合，采用${{\theta }} = {{{\theta }}_{{0}}} = {{ - }}{{{\theta }}_{{1}}}$进一步约束参数数量可得

${\boldsymbol{I}} + {{\boldsymbol{D}}^{ - \frac{1}{2}}}{\boldsymbol{A}}{{\boldsymbol{D}}^{ - \frac{1}{2}}}$的特征值范围为[0,2]，实际使用发现该算子易发生消失梯度，采用${{\overset{\frown} {\boldsymbol{D}}} ^{ - \frac{1}{2}}}{\overset{\frown} {\boldsymbol{A}}} {{\overset{\frown} {\boldsymbol{D}}} ^{ - \frac{1}{2}}}$近似算子效果更佳，其中${\overset{\frown} {\boldsymbol{A}}} = {\boldsymbol{A}} + {\boldsymbol{I}},{{\overset{\frown} {\boldsymbol{D}}} _{\boldsymbol{ii}}} =\displaystyle \sum {_{\boldsymbol{j}}{{{\overset{\frown} {\boldsymbol{A}}} }_{\boldsymbol{i}}}_{\boldsymbol{j}}}$。

针对一个含有${{N}}$个特征长度为${{C}}$的节点的图${\boldsymbol{G}} = ({\boldsymbol{V}},{\boldsymbol{E}})$, ${\boldsymbol{X}} = [{{\boldsymbol{x}}_1},{{\boldsymbol{x}}_2}, \cdots ,{{\boldsymbol{x}}_n}] \in {R^{N \times C}}$表示图节点信号矩阵，则对于全图${\boldsymbol{G}}$的卷积操作可定义为

其中，$\varTheta \in {{{R}}^{{{C}} \times {{F}}}}$为卷积核参数矩阵，${\boldsymbol{Z}}$为输出节点信号，特征长度为${\boldsymbol{F}}$。

基于式(8)，设第${{j}}$层图卷积和ReLU的操作为${{{f}}_{\boldsymbol{\varTheta}} }_{_{\boldsymbol{j}}}$，则针对图4所示的3层图卷积网络

采用交叉熵作为损失函数，图卷积网络训练过程中只计算已标注的节点损失，即

其中，${N_l}$表示已标注节点数量，${y_i}$表示该节点真实标签。

2.4   WSOINN-GCN的算法步骤

结合图1中给出的模型框架，本文提出的WSOINN-GCN对图像数据自动标注及分类的算法步骤如下：

设需要分类的N张图片集合为${\bf{Pictures}} =$$\{ {{\boldsymbol{I}}_1},{{\boldsymbol{I}}_2},\cdots, {{\boldsymbol{I}}_N}\}$。

(1)对所有${{\boldsymbol{I}}_{\boldsymbol{i}}} \in {\bf{Pictures}}$特征提取，得到特征数据集合${\bf{Ft}} = \{ {{\boldsymbol{F}}_1},{{\boldsymbol{F}}_2}, \cdots,{{\boldsymbol{F}}_N}\}$，其与${\bf{Pictures}}$具有一一对应关系。

(2)对原始特征数据分布进行预估，初始化WSOINN超参数${{p}}$, ${W_{\max}}$。

(3)随机从${\bf{Ft}}$选择两个特征数据初始化WSOINN节点集合${\boldsymbol{V}} = \{ {{\boldsymbol{v}}_1},{{\boldsymbol{v}}_2}\}$，并初始化节点连接集合${\boldsymbol{E}}$和节点胜利次数集合${\rm{win}}\_{\rm{times}}$为空集。

(4)将所有${{\boldsymbol{F}}_{\boldsymbol{i}}} \in {\bf{Ft}}$按顺序输入至WSOINN学习，得到图结构${\boldsymbol{G}}$，输出${\boldsymbol{V}} = \{ {{\boldsymbol{v}}_1},{{\boldsymbol{v}}_2}, \cdots, {{\boldsymbol{v}}_{\boldsymbol{m}}}\}$，及对应的${\boldsymbol{E}}$, ${\rm{win}}\_{\rm{times}} = \{ {t_1},{t_2}, \cdots, {t_m}\}$，由WSOINN算法可知，${\boldsymbol{V}}$与${\rm{win}}\_{\rm{times}}$一一对应，对于任意${\boldsymbol{v}}_{i} \in {\boldsymbol{V}}$，存在${{\boldsymbol{F}}_{\boldsymbol{j}}} \in {\bf{Ft}}$与之对应。

(5)根据胜利次数${{{t}}_{{i}}}$值大小，按照对应关系，对所有${{\boldsymbol{v}}_{\boldsymbol{i}}} \in {\boldsymbol{V}}$进行排序，得到${{\boldsymbol{V}}_{\rm{order}}}$。

(6)选出${{\boldsymbol{V}}_{\rm{order}}}$排序靠前一定比例的节点集合${{\boldsymbol{V}}_l}$，根据${\boldsymbol{V}}$, ${\bf{Ft}}$, ${\bf{Pictures}}$对应关系，查看原始图片${{\boldsymbol{I}}_i}$，人工标注所有${\boldsymbol{v}}_{i} \in {\boldsymbol{V}}_{l}$，得到${{\boldsymbol{V}}_l}$的标签集合${{\boldsymbol{L}}_{\rm{labeled}}}$。

(7)根据节点数量、特征维度，选择正则化方法，搭建合适多层图卷积网络GCN，其中GCN末层接Softmax用于预测节点信息。

(8)将WSOINN输出的图${\boldsymbol{G}} = ({\boldsymbol{V}},{\boldsymbol{E}})$输入至GCN预测所有节点信息，根据${\boldsymbol{V}},{{\boldsymbol{V}}_l},{{\boldsymbol{L}}_{\rm{labeled}}}$统计已标注节点的误差，反向传播误差，选择合适算法优化网络参数，反复迭代直至训练误差不再降低。

(9)将图${\boldsymbol{G}} = ({\boldsymbol{V}},{\boldsymbol{E}})$输入至已训练好的GCN，得到${\boldsymbol{V}}$的标签集合${\boldsymbol{L}}$。

(10)对任意${\boldsymbol{I}}_{i} \in {\bf{Pictures}}$，${{\boldsymbol{I}}_i}$的标签为${\boldsymbol{v}}_{j}=$$\underset{{\boldsymbol{v}}_{m} \in {\boldsymbol{V}}}{{\rm{argmin}}}\Vert {{\boldsymbol{F}}}_{i}-{\boldsymbol{v}}_{m}\Vert$的标签${{{L}}_{{j}}}$。

由上述算法步骤可知，WSOINN在原SOINN上引入了边连接权重表示两节点相似性，从而使得图卷积神经网络GCN能够挖掘金相图之间的关系，通过引入节点胜利次数t_i来选择少许具有代表性的重要节点进行人工标注，避免随机选择造成的模型不稳定，从而有机地将WSOINN与GCN结合起来，在减少人工标注的同时，实现了图像数据的高效分类。

3.   实验结果及分析

本节先给出WSOINN-GCN模型参数的优选方法，再比较在不同节点标注率下模型的节点标注精度及金相图分类精度，最后给出其他常见方法的对比实验结果。

3.1   实验环境及模型指标

本实验硬件支持有CPU为i5-7500，4核4线程，主频3.41 GHz，内存12 GB, GPU为NVIDIA GeFore GTX 1060，显存6 GB，操作系统为win10，编程环境为spyder,Python3.7，框架平台为tensorflow。对于图卷积网络结构，采用Adam算法优化参数，初始学习率为0.01, dropout神经元失活的概率为0.5, Glorot_normal初始化参数，采用Early Stopping提前终止。统计精确率与召回率2个指标。

3.2   WSOINN-GCN模型参数分析

WSOINN在每输入样本的百分比例${{p}}$后，会删除孤立节点，会影响最终节点输出数量。节点数过多可能含有噪声节点，节点数过少不能全面反映所有样本分布，从而间接影响自动标注精度。图5表示为列举了不同${{p}}$, ${W_{\max }}$值下，WSOINN获取拓扑图节点的数量情况，颜色越深代表产生的节点数越少，节点数最大值为865，最小值256。图6代表连接矩阵的稀疏程度(非0元素所占比例)，颜色越深表示连接矩阵越稀疏，由图5、图6可知，随着${{p}}$, ${W_{\max }}$增大，节点数随之增大，连接矩阵越稠密。

图 5  不同$p$, ${W_{\max }}$下节点数

下载: 全尺寸图片 幻灯片

图 6  不同$p$, ${W_{\max }}$下连接矩阵稀疏程度

下载: 全尺寸图片 幻灯片

实验收集到的金相图总样本数有2432张，用n, a分别代表WSOINN输出图的节点数和连接矩阵中非0元素个数，为保证精度同时加快运算，选择节点数为原数据量的1/10～1/6的WSOINN进一步分析。

表1列举了节点标注率为0.3、不同$p$, ${W_{\max }}$值时模型对剩余节点的自动标注精度，其中Acc_w是按照胜利次数选择标注的结果，Acc_r是随机选择节点标注的结果。可见：

表 1  标注率为0.3时，不同p, W_max值下剩余节点标注精度

	${{{W}}_{{{\max}}}}$, ${{p}}$
	20, 100%	2, 10%	15, 45%	10, 5%	4, 30%	17, 70%
$n$	286	294	300	308	440	474
$a$	720	324	734	688	640	946
Acc_w(%)	85	93	84	90	89	88
Acc_r(%)	70	81	80	75	88	85

下载: 导出CSV 

| 显示表格

(1)与按照节点胜利次数选择节点标注相比，随机选择节点标注导致剩余节点自动标注精度时高时低，且自动标注精度未超过前者，按照节点胜利次数选择节点标注具有稳定的优势。

(2)无论哪种标注方式，随着节点数增多，剩余节点标注精度呈下降趋势，且在同等规模节点下，连接矩阵越稀疏(即越小)，节点标注精度越高。

根据表1，选取适合金相图分类的网络参数${{p}} = 10\%$, ${W_{\max }} = 2$，此时节点数为${{n}} = 294$, ${{a}} = 324$。按照节点胜利次数选择节点标注继续完成后续实验。

3.3   节点自动标注精度

为便于比较，搭建与WSOINN-GCN具有相同参数量的自组织增量-全连接神经网络(WSOINN-MLP)，其将WSOINN-GCN中GCN模块替换成多层感知机 (MultiLayer Perceptron, MLP)，相应的图结构输入变为单节点输入，神经元激活函数采用ReLU，其中MLP结构如图7所示。

图 7  MLP

下载: 全尺寸图片 幻灯片

表2列出了WSOINN-GCN,WSOINN-MLP在不同节点标注率、有无Dropout策略下，模型对拓扑图中剩余无标注节点的自动标注精度。可见：

表 2  不同节点标注率情况下剩余节点自动标注精度(%)

节点标注率(rate)	WSOINN- GCN			WSOINN- MLP
	有Dropout	无Dropout		有Dropout	无Dropout
0.1	83	80		77	76
0.2	89	88		82	81
0.3	93	93		86	84
0.4	95	92		91	90
0.5	93	94		91	90
0.6	97	99		97	97
0.7	97	99		99	97

下载: 导出CSV 

| 显示表格

(1)随着节点标注率增加，两类模型的精度都会增加。WSOINN-GCN性能要优于WSOINN-MLP，当节点标注率为0.3时，前者精度可达93%，而后者仅为86%。这是因为GCN会考虑单节点的1阶邻域信息，有更强的泛化能力，而MLP训练过程一直是单节点前向传播，其无法考虑节点之间的连接性。

(2)对于WSOINN-GCN而言，当节点标注率较低时(≤0.4)，含有Dropout比未含有Dropout有更好的性能表现；当节点标注率较高时，Dropout会降低GCN自动标注精度。这是因为节点标注率低时，虽标注的节点代表性强，但图中高阶信息未完全挖掘，GCN易对已标注的节点过拟合，此时使用Dropout会增加模型的泛化能力，而当节点标注率增加时，已标注的节点有足够的全局代表性，加之GCN会获取节点1阶邻域信息，此时使用Dropout正则化方法往往会矫枉过正，降低模型性能。

(3)对于WSOINN- MLP而言，无论节点标注率多少，使用Dropout策略能一直提高其精度。因为MLP不能考虑节点间的关联信息，易出现过拟合现象，Dropout在一定程度上能弥补这一缺陷。

3.4   金相图分类精度

表3列举不同节点标注率下所有金相图自动分类精度；表4列举了节点标注率为0.3时，不同类别的金相图的准确率和召回率。由表4可见：(1)节点标注率越高，金相图自动分类准确率呈上升趋势，但是对于当节点标注率达到0.6时，WSOINN-GCN和WSOINN-MLP的性能均无法再提高；(2)高碳片状马氏体召回率虽高，精确率却低至74%，贝氏体精度虽高，但召回率低，存在交叉误判，原因可能是VGG16卷积层虽能暴力提取特征，但是对这种平均像素强度相近的灰度金相图，VGG16无法进一步获取到深度区分特征。

表 3  不同节点标注率情况下所有金相图分类精度(%)

节点标注率(rate)	WSOINN-GCN			WSOINN- MLP
	有Dropout	无Dropout		有Dropout	无Dropout
0.1	81	81		74	79
0.2	88	87		81	80
0.3	91	91		82	81
0.4	92	91		89	85
0.5	92	92		88	92
0.6	90	94		90	92
0.7	90	94		89	92

下载: 导出CSV 

| 显示表格

表 4  节点标注率为0.3时，不同类别金相图的精确率与召回率(%)

金相图类别	精确率	召回率
下贝氏体	90	92
低碳板条马氏体	93	93
珠光体	99	92
贝氏体	93	73
铁素体	100	100
高碳片状马氏体	74	97

下载: 导出CSV 

| 显示表格

3.5   新模型的竞争力

表5列举了选择30%比例标注，不同方法的所有图片分类精度、在相同环境下所需的训练时间及人工所需标注图像数量。针对金相图数据集，参照文献[11]，搭建了深度卷积网络VGG-ICAM，标注30%的图像数据样本用于训练，预测所有样本；SOINN先用VGG16卷积模块提取特征，同VGG-ICAM标注30%样本用于拓扑学习，最后基于欧氏距离判断所有图像数据；MLP先用VGG16提取特征，然后搭建如图7所示的分类器，标注30%样本用于训练，预测所有样本；WSOINN-GCN, WSOINN-MLP用WSOINN学习所有样本后，按照胜利次数选择30%节点标注，用GCN, MLP自动标注剩余所有节点，最后基于欧氏距离分类所有图像数据。

表 5  选择30%标注，不同方法的所有图片自动分类效果

	VGG-ICAM	SOINN	MLP	WSOINN-GCN	WSOINN-MLP
人工标注量(张)	730	730	730	88	88
训练时间(min)	240	1	1	2.5	2.5
分类精度(%)	74	39	51	91	82

下载: 导出CSV 

| 显示表格

由表5可见：按照选择30%标注，WSOINN-GCN, WSOINN-MLP所需的人工标注量仅为其他方案的12%；在训练时间上，相较于VGG-ICAM减少了99%，相较于SOINN, MLP虽稍微增加了训练时间，但精度大幅度提升，具有明显的优势。

表6列举了所有图片分类精度达到90%以上，VGG-ICAM, SOINN, MLP, WSOINN-GCN, WSOINN-MLP所需的人工标注数量及训练时间。可见，WSOINN-GCN所需的人工标注量仅为VGG-ICAM的5.6%, SOINN, MLP的5.2%，且训练时间相较于VGG-ICAM大幅缩减。

表 6  分类精度达到90%，不同方法所需的标注量及训练时间

	VGG-ICAM	SOINN	MLP	WSOINN-GCN	WSOINN-MLP
人工标注量(张)	1580	1702	1702	88	115
训练时间(min)	420	1.5	1.5	2.5	2.5

下载: 导出CSV 

| 显示表格

4.   结论

(1)针对深度学习中图像数据标注困难的问题，融合拓扑学习与图卷积理论，本文提出一种新的基于自组织增量-图卷积神经网络(WSOINN-GCN)的半监督学习方法。通过引入连接权重来改进自组织增量神经网络(WSOINN)，从而提取数据图结构，并按照节点重要性指标节点胜利次数选择部分节点进行标注，进而搭建图卷积网络(GCN)挖掘图中节点的潜在联系，融合Dropout正则化手段与Adam算法对GCN进行网络参数寻优，自动标注剩余节点信息，并基于欧氏距离来自动分类金相图，结果表明该模型具有可行性。

(2)针对从某国家重点实验室扫描电子显微镜拍摄到的钢铁材料微观组织图片样本，比较了不同节点标注率、有无Dropout 对模型的影响，结果表明：随着节点标注率增加，WSOINN-GCN与WSOINN-MLP模型的精度都会增加，且前者性能要优于后者，当节点标注率为0.3时，前者精度可达93%，而后者仅为86%；对于WSOINN-GCN而言，当节点标注率较低时(≤0.4)，含有Dropout比未含有Dropout有更好的性能表现；对于WSOINN- MLP而言，无论节点标注率多少，使用Dropout策略能一直提高其精度。

(3)与现有的人工标注或其他监督学习算法相比，本文所提出的WSOINN-GCN模型有效解决了实际应用时金相图片训练集数据人工标注困难的问题，为金相图片数据标注、分类等提供了新的解决思路。在金相图片标注量仅为VGG等传统深度学习网络的12%时，新模型比传统模型精度高，分类准确度高达91%；在达到相同的分类精度90%时，人工标注量仅为传统模型的5.6%，同时保证了效率优势。WSOINN-GCN具有自动提取数据图结构、实施半监督学习、动态调整网络结构等特性，在图片数据标注、分类等领域有理论研究价值和广阔的应用前景。