A Fusion-based Approach for Cervical Cell Classification Incorporating Personalized Relationships and Background Information
-
摘要: 宫颈细胞分类在宫颈癌辅助诊断中发挥着重要的作用。然而，现有的宫颈细胞分类方法未充分考虑细胞关系和背景信息，也没有模拟病理医生的诊断方式，导致分类性能较低。因此，该文提出了一种融合细胞关系和背景信息的宫颈细胞分类方法，由基于细胞关系的图注意力分支(GAB-CCR)和背景信息注意力分支(BAB-WSI)组成。GAB-CCR采用细胞特征间的余弦相似度，首先构建相似和差异细胞关系图，并利用GATv2增强模型对细胞关系建模。BAB-WSI使用多头注意力模块捕捉涂片背景上的关键信息并反映不同区域的重要性。最后，将增强后的细胞特征和背景特征融合，提升了网络的分类性能。实验表明，相比于基线模型Swin Transformer-L，所提方法在准确率、敏感度、特异性和F1-Score分别提高了15.9%, 30.32%, 8.11%和31.62%。Abstract: Cervical cell classification plays a crucial role in assisting the diagnosis of cervical cancer. However, existing methods for cervical cell classification do not enough consider relationships among cells and background information, and fail to effectively simulate the diagnostic approach of pathology doctors. As a result, their classification performance is limited. In this study, a novel approach that integrates cell relationships and background information for cervical cell classification is proposed. The proposed method consists of a Graph Attention Branching for Cell-Cell Relationships (GAB-CCR) and a Background Attention Branching for Whole Slide Images (BAB-WSI). GAB-CCR utilizes cosine similarity of cell features to construct preliminary graphs representing similar and distinct cell relationships. Additionally, GAB-CCR enhances the ability of models in modeling cell relationships through GATv2. BAB-WSI employs multi-head attention to effectively capture crucial information on the slide background and reflect the importance of different regions. Finally, the enhanced cell and background features are fused to improve the classification performance of the network. Experimental results demonstrate that the proposed method achieves significant improvements over the baseline model, Swin Transformer-L, with improvement in accuracy, sensitivity, specificity, and F1-Score by 15.9%, 30.32%, 8.11%, and 31.62% respectively.
-
1. 引 言
宫颈癌是威胁女性健康的恶性肿瘤之一。据2020年世界卫生组织统计，全球宫颈癌病例约为604 127例，其中有341 831例患者不幸死亡[1]。宫颈癌早期被发现，治愈率高达98%，但若发展到晚期，几乎很难治愈。因此，早期发现和治疗是应对宫颈癌的有效手段。在过去的半个多世纪中，宫颈癌细胞病理诊断通常通过采集宫颈脱落细胞制作巴氏涂片，然后由病理医生在显微镜下寻找病变细胞来完成。然而，在涂片中，细胞数量巨大，在病变初期往往仅有少数病变细胞，因此容易发生漏诊。此外，医生长时间的工作容易疲劳，导致漏检或错检问题经常发生[2]。因此，有必要开发自动化筛查系统协助医生诊断，在自动化筛查系统中，宫颈细胞分类是最重要的关键技术。
在过去的几十年中，提取手工特征并训练传统分类器进行分类是处理宫颈细胞的常见方法。Jusman等人[3]使用灰度共生矩阵提取特征并采用支持向量机(Support Vector Machine, SVM)分类宫颈细胞。Malli等人[4]则基于模糊C均值聚类技术进行核质分割，并使用形状、颜色和纹理特征以及K最近邻方法对宫颈细胞分类。然而，这些方法[3–8]受到分割和特征提取能力的限制，因此分类的性能和鲁棒性有限。随着深度学习技术的发展和硬件算力的提高，深度学习已成为处理医学图像的主流方法，并已广泛应用于宫颈细胞分类。Qin等人[9]提出了一个多任务模型，使用拟合手工特征作为辅助任务，将包含病理知识的特征融入深度学习模型，提高了分类性能。Dong等人[10]提出了一种结合Inception v3[11]和手工特征的细胞分类算法，有效提高了宫颈细胞识别准确率。赵司琦等人[12]使用分割模型对宫颈细胞核进行分割，计算出样本基准值，量化诊断标准，提高了识别效果。虽然这些方法[9,10,13]结合了传统手工特征和卷积神经网络，提高了分类效果并有一定的可解释性，但分割和特征提取能力仍然会影响分类的性能。另外，一些研究通过运用图像增强[14]和设计深度神经网络结构[15–19]等方法，在宫颈细胞分类任务中取得了不错的分类效果。例如，Li等人[20]通过结合全局上下文和注意力机制让网络学习到更多区域的细节特征以提升性能。Rahaman等人[21]提出的DeepCervix框架使用融合深度特征技术来准确分类宫颈细胞。
虽然这些方法在细胞分类方面效果不错，但它们没有充分利用领域知识。根据描述性诊断[22](The Bethesda System, TBS)标准，宫颈细胞可分为未见病变的鳞状上皮细胞(Negative for Intraepithelial Lesion for Malignancy, NIML)、意义不明确的非典型鳞状上皮细胞(Atypical Squamous Cell of Undetermined Significance, ASCUS)、低级别鳞状上皮病变细胞(Low-grade Squamous Intraepithelial Lesion, LSIL)、不排除高级别病变的鳞状上皮细胞(Atypical Squamous Cell Cannot Exclude HSIL, ASCH)和高级别鳞状上皮病变细胞(High-grade Squamous Intraepithelial Lesion, HSIL)五大类别，如图1所示。其中NIML为正常细胞，其余为异常细胞。不同异常细胞的细胞核和细胞质存在不同程度的形态和颜色差异。例如，ASCUS细胞的细胞核轻度深染、核大小为正常细胞核的2.5～3倍、核质比轻度增高；LSIL细胞的细胞核显著增大，通常为正常细胞核大小的3倍以上，出现双细胞核、细胞核深染，细胞质挖空；ASCH细胞的核质比大于1，核大小为正常细胞核的1.5～2.5倍；HSIL细胞的核质比极高，核膜不规则，染色质增粗，染色加深。由于每个人遗传背景、生理状态和生活习惯等因素的不同，细胞核和细胞质增大的标准也因人而异。在临床诊断中，为确定细胞的具体类别，细胞病理学专家通常结合该患者涂片的背景信息，并将其与相似的细胞类型和有差异的细胞类别进行比较，最终做出判断。这表明细胞间的关系和涂片背景对宫颈细胞的分类具有辅助作用。
本文尝试结合领域知识，并模仿病理学专家的诊断行为，以进一步探索细胞间的关系以及涂片背景对宫颈细胞分类的辅助作用。具体而言，本文提出了一种新的宫颈细胞分类方法，其中包含一个细胞关系的图注意力分支(Graph Attention Branching for Cell-Cell Relationships, GAB-CCR)和背景信息的注意力分支(Background Attention Branching for Whole Slide Images, BAB-WSI)。在细胞关系的图注意力分支中，对每个患者的细胞利用预训练网络进行个性化特征提取，并将所提取的特征用作节点，构建反映相似性和差异性的细胞关系图。这两个图使用余弦相似度作为度量指标，用以衡量节点之间的相似度和差异，并据此建立细胞之间的连接。最后，通过图注意力网络增强了其关系表征能力，提高分类网络的性能。此外，为了探究涂片背景对宫颈细胞分类的影响，在涂片背景注意力分支中，随机裁剪两张瓦片图，并利用多头注意力机制有效捕捉涂片背景上的关键信息并反映不同区域的重要性。加强后的特征被融合到分类网络中，提高了其分类性能。
2. 相关工作
早期的宫颈细胞分类方法采用手工特征并结合传统模式识别技术。Dong等人[6]采用分类回归树和粒子群优化技术对SVM进行调优，实现了对宫颈细胞的多分类。Arora等人[7]使用双边滤波器和主成分分析预处理得到图像的非冗余特征。然后用高斯拟合能量驱动的分割模型对图像进行分割。最后，采用SVM实现了对宫颈细胞的分类。Prum等人[8]用方向梯度直方图特征提取，然后用SVM对宫颈细胞分类。但由于细胞样本的复杂性和异质性，传统方法不可避免地受到噪声的干扰，从而限制了其分类性能。
随着深度学习的蓬勃发展，卷积神经网络(Convolutional Neural Networks, CNN)和Transformer在医学图像分析领域得到了广泛的应用[23]，如乳腺结节分类[24]、肺癌检测[25,26]和视网膜疾病的分类[27]。在宫颈细胞分类方面，利用ResNet[28]和VIT[29]等经典的分类网络进行特征提取和分类，已经取得了较好的效果。例如，Tripathi等人[18]采用ResNet-152、Vgg-16等深度学习方法对宫颈细胞分类。DeepPap[14]以细胞核为中心，裁剪出细胞图像单元，利用预训练的CNN进行特征提取和分类，取得了较好的效果。Manna等人[17]采用集成学习技术，融合了3个基于CNN的基本分类器，并考虑了基本学习器的预测置信度以最终对样本进行预测。Shanthi等人[16]使用不同的数据增强方法扩充数据集大小以提高分类性能。Basak等人[19]采用深度学习方法进行特征提取，并借助灰狼优化器最优特征子集来提高分类性能。Liu等人[30]利用CNN和Transformer提取图像的局部和全局特征，再使用多层感知机融合特征进行分类。Deo等人[31]则提出一种基于交叉注意力的Transformer方法，利用交叉注意力技术将输入数据整合到一个潜在空间中以进行分类。Hemalatha等人[32]提出了一种基于移位补丁标记化和局部自注意的方法，融合细胞的局部和全局特征以进行分类。
上述基于深度学习的方法相比于传统机器学习方法，在特征提取和分类方面体现了更加出色的性能，但这些方法没有充分利用领域知识。细胞病理学专家通常会考虑患者涂片的背景信息，并将其与相似的细胞类型和有差异的细胞类型进行比较，以获得最终诊断。这意味着在对宫颈细胞进行分类时，细胞间的关系以及涂片的背景信息都会对分类结果起到辅助作用。
图神经网络因其高效处理元素间关系和强解释性而备受关注。图卷积网络[33](Graph Convolutional Networks, GCN)、图注意力网络[34](Graph Attention Networks, GAT)、图递归网络[35](Gated Relation Network, GRN)等图神经网络已在深度学习任务中取得了突破性的性能[36]，特别是在医学领域，如组织病理学[37]、脑图[38]和生物信息学[39]中已被广泛应用。然而，在宫颈细胞分类领域，利用图神经网络的研究相对较少。Shi等人[15]提出了一种基于GCN的宫颈细胞分类方法，通过聚类将相似的细胞图像建立边，初步构建一个图结构，然后利用GCN扩展节点间的依赖关系，最后将GCN提取的特征与卷积神经网络特征相结合，提高了网络的表征能力。Ou等人[40]提出了一种基于GCN的半监督模型，该模型通过计算有标签和无标签图像特征的相似性来构建图，然后使用GCN对图进行节点分类。尽管这些方法表现出了一定的分类效果，但都仅考虑了细胞间的相似性，而忽略了不同类型的细胞及不相似的细胞之间的关系，以及涂片背景对细胞的影响。此外，这些方法对于图中的每个节点没有使用注意力权重，无法很好地利用局部节点信息来更新当前节点，从而建立更丰富、准确的节点表征。因此，这些方法仍有改进的空间。
3. 本文方法
3.1 总体框架
如图2展示了本文提出的宫颈细胞图像分类方法的总体流程。首先，在私有训练集上微调ImageNet[41]预训练的Swin Transformer[42]，以获得细胞特征提取器。随后，从涂片中裁剪出标注的宫颈细胞图片，输入到GAB-CCR中。在GAB-CCR中，使用微调好的细胞特征提取器提取患者细胞特征作为节点，并计算节点间余弦相似度，选择相似度最高的K个节点连线，初步构建相似细胞关系图。同时，选择相似度最低的K′个节点连线初步构建差异细胞关系图。通过构建这两种图以初步揭示患者细胞间的相似性和异质性。接着，使用图注意网络GATv2[43]扩展相似细胞关系图和差异细胞关系图节点之间的关系，利用注意力权重代替原先非0即1的节点连接关系，即两个节点间的关系可以被优化为连续数值。通过这种方式，可以刻画出单个细胞与相似细胞以及差异细胞间的不同关系从而利用相似细胞和差异细胞更全面地描绘出当前细胞的特征，丰富单个细胞的特征表达。然后，从涂片上随机裁剪出两张同样大小的瓦片图，输入到BAB-WSI中。在BAB-WSI中，涂片背景特征提取器采用Efficientnetv2[44]，用于提取涂片背景区域的特征，并使用多头注意力，将加强的后细胞特征作为查询项q，涂片背景特征作为索引项k和内容项v，使模型能够关注到涂片背景上对判断细胞正常或异常变化的辅助信息，如萎缩细胞、血液、微生物等信息。这种通过结合患者的生理环境信息方法，减少了同一张涂片细胞的假阳性，并缓解不同涂片间巨大的风格差异，提高了模型的泛化性。最后，将两个分支的特征融合，结合全图差异化细胞关系和涂片背景对宫颈细胞精准分类。
3.2 基于细胞关系的图注意力分支
如前所述，细胞病理学专家在宫颈细胞分类时，会将待检细胞与相似和差异的细胞进行比较，并确定其类别。因此，首先计算节点间余弦相似度构建了相似细胞关系图和差异细胞关系图。随后，进一步使用了图注意力网络来提高关系图的表征能力，从而更准确地捕捉节点之间的复杂关系。
3.2.1 构建细胞关系图
本文首先采用ImageNet数据集预训练Swin Transformer，然后在私有训练集上微调Swin Transformer，得到细胞特征提取器，为每个细胞图像生成向量h(0)∈RN×D(0)，作为两个细胞关系图的节点，其中D(0)=1024。然后，我们计算细胞节点间的余弦相似度，选择余弦相似度最高的K个节点作为邻居节点，得到一张相似细胞关系图。同时，选择相似度最低的K′个节点作为邻居节点，得到一张差异细胞关系图。相似细胞关系图Gi=(Vi,Ei)可以用邻接矩阵Ai∈RN×N表示，其中Vi表示关系图中N个节点vj∈Vi(j=1,2,⋯,N)的集合，Ei表示相似细胞关系图中边edges(vj,vk)∈Ei的集合。差异细胞关系图Gi′=(Vi,Ei′)可以用邻接矩阵Ai′∈R′N×N表示，其中Ei′表示差异细胞关系图中边edges(vj,vk)∈Ei的集合。
3.2.2 基于图注意力的细胞关系表征
GAT一种基于注意力的方法，相比于GCN能更好地捕捉节点之间的关系，从而提升模型性能。GATv2在GAT的基础上，引入了动态注意力机制，使得模型能够更好地适应不同的图结构，捕捉不同层之间的信息流动，从而提升模型的性能。因此，本文使用了两个GATv2层来加强相似性和差异化细胞关系表征能力。给定一张涂片的相似性细胞关系图Gi=(Vi,Ei)，经过第l个GATv2层，产生一组维度为D(l)加强后的节点特征向量ˆh(l)j，ˆh(l)j∈RN×D(l)；具体来说，GATv2将构建的差异化细胞关系图作为输入，首先计算第l个GATv2层的细胞节点j和k的注意力分数e(l)i,j,k，表示了细胞节点j的特征对k的重要性，公式为
e(l)i,j,k=aT(l)LeakyReLU(W(l)⋅[hj(l)‖ (1) 其中， {{\boldsymbol{h}}^{(l)}} = \left\{ {{\boldsymbol{h}}_j^{(l)} \in {\mathbb{R}^{{D^{\left( l \right)}}}}\left| {j \in N} \right.} \right\} ， {\boldsymbol{a}} \in {\mathbb{R}^{2{D^{\left( {l + 1} \right)}}}} 和 {\boldsymbol{W}} \in {\mathbb{R}^{{D^{\left( {l + 1} \right)}} \times {D^{\left( l \right)}}}} 是可学习的线性变换， k \in {\mathbb{N}_i} ， {\mathbb{N}_i} = \left\{ {k \in N\left| {(j,k) \in {\text{edges}}} \right.} \right\} ，即节点 j 所有的邻居节点； \left\| {} \right. 表示向量的连接运算；为了使不同节点之间的系数具有可比性，使用 \mathrm{softmax}(\cdot) 函数对注意力得分 e_{i,j,k}^{\left( l \right)} 进行归一化，归一化函数定义为
\alpha _{i,j,k}^{\left( l \right)} = {{\mathrm{softmax}}} \left(e_{i,j,k}^{\left( l \right)}\right) = \frac{{\exp (e_{i,j,k}^{\left( l \right)})}}{{\displaystyle\sum\limits_{k' \in {\mathbb{N}_j}} {\exp \left(e_{j,k'}^{\left( l \right)}\right)} }} (2) 使用归一化后的注意力系数，对各个细胞节点进行加权求和，并使用 M 个注意头进行平均，聚合其他节点的信息并更新边和特征的权值，最后再经过一个非线性变换 \sigma ，得到细胞节点 j 加强后的特征表示：
\hat {\boldsymbol{h}}_j^{(l + 1)} = \sigma \left( {\frac{1}{M}\sum\limits_{m = 1}^M {\sum\limits_{k \in {\mathbb{N}_j}} {{\alpha _{j,k}}^{\left( l \right)} \cdot {{\boldsymbol{W}}^{\left( l \right)}}{{\boldsymbol{h}}_k}^{\left( l \right)}} } } \right) (3) 同理，输入一张涂片的差异细胞关系图 {G'_i} = ({V_i},{E'_i} ) ，经过 l 个GATv2层，得到细胞节点 j 加强后的特征表示 {\hat {\boldsymbol{h}}} _j^{'(l + 1)} 。之后，将 \hat {\boldsymbol{h}}_j^{(l + 1)} 和 {\hat {\boldsymbol{h}}}_j^{'(l + 1)} 相融合
\hat{\boldsymbol{ h}}_{{\text{sumj}}}^{(l + 1)} = \hat {\boldsymbol{h}}_j^{(l + 1)} + \hat {\boldsymbol{h}}_j^{'(l + 1)} (4) 3.3 基于涂片背景的注意力分支
在宫颈细胞分类中，患者涂片的背景对分类结果具有一定的辅助作用。因此，本文设计了一个涂片背景注意力分支，以增强涂片背景上对判断细胞正异常变化的辅助信息。具体来说，本文首先围绕着涂片中心画出一个矩形区域，其大小为涂片长宽的1/2。接着，在其中随机选择两个位置，以两个位置为中心裁剪出大小为 384 \times 384 的瓦片图，确保瓦片图包含到涂片最具代表性的区域，并含有与背景相关的信息。然后，使用在ImageNet数据集上预训练好的Efficientnetv2模型，提取瓦片图的特征向量 {\boldsymbol{P}} 。最后使用多头自注意力层，获得增强后背景的特征表达向量 {\boldsymbol{P}}' 。在多头自注意力层中，首先初始化3个权重矩阵 {{\boldsymbol{W}}_{\boldsymbol{q}}} , {{\boldsymbol{W}}_{\boldsymbol{k}}} , {{\boldsymbol{W}}_{\boldsymbol{v}}} ，它们会随着模型训练优化更新，然后将融合后的细胞特征 \hat {\boldsymbol{h}}_{{\text{sum}}j}^{(l + 1)} 作为查询项 {\boldsymbol{q}} ，将瓦片图特征 {\boldsymbol{P}} 作为索引项{\boldsymbol{ k}} 和内容项 {\boldsymbol{v}} ，将权重矩阵分别与 {\boldsymbol{q}} , {\boldsymbol{k}} , {\boldsymbol{v}} 相乘，计算得到查询矩阵 {\boldsymbol{Q}} ，索引矩阵 {\boldsymbol{K}} ，内容矩阵 {\boldsymbol{V}} ，公式如下：
\;\;{\boldsymbol{q}} = \hat {\boldsymbol{h}}_{{\text{sum}}j}^{(l + 1)},{\boldsymbol{k}} = {\boldsymbol{P}},{\boldsymbol{v}} = {\boldsymbol{P}} (5) {\boldsymbol{Q}} = {\boldsymbol{q}} \times {{\boldsymbol{W}}_q},{\boldsymbol{K}} = {\boldsymbol{k}} \times {{\boldsymbol{W}}_{\boldsymbol{k}}},{\boldsymbol{V}} = {\boldsymbol{v}} \times {{\boldsymbol{W}}_{\boldsymbol{v}}} (6) 然后计算每个头的自注意力输出 {\text{hea}}{{\text{d}}_p} ，其计算公式为
\begin{split} {\text{hea}}{{\text{d}}_p} \,& = {{\mathrm{attention}}} ({{\boldsymbol{Q}}_p},{{\boldsymbol{K}}_p},{{\boldsymbol{V}}_p}) \\ & = {{\mathrm{softmax}}} \left( {\frac{{{{\boldsymbol{Q}}_p}{{\boldsymbol{K}}_p}^{\rm T}}}{{\sqrt {{d_k}} }}} \right){{\boldsymbol{V}}_p} \end{split} (7) 其中， \mathrm{softmax}(\cdot) 是将计算出来的注意力权重进行归一化处理； \sqrt {{d_k}} 为缩放因子，作用是令归一化的结果更加稳定；之后，并行计算 M' 次自注意力，将每个头得到的自注意力矩阵拼接在一起，再乘以权重矩阵 {{\boldsymbol{W}}_{{\boldsymbol{P}}'}} 得到最后增强的特征 {\boldsymbol{P}}' ，其计算公式为
{\boldsymbol{P}}' = \left\| {\left( {{\text{hea}}{{\text{d}}_1},{\text{hea}}{{\text{d}}_2}, \cdots ,{\text{hea}}{{\text{d}}_{M'}}} \right)} \right.{{\boldsymbol{W}}_{{\boldsymbol{P}}'}} (8) 其中， \left\| {} \right. 表示向量的连接运算； {{\boldsymbol{W}}_{{\boldsymbol{P}}'}} 为线性变换矩阵； M' 为多头自注意力层头的个数。
3.4 差异化细胞关系与涂片背景融合的分类方法
给定细胞特征 \hat {\boldsymbol{h}}_j^{(l + 1)} 和背景特征 {\boldsymbol{P}}' ，我们通过相加的方式得到最终融合的特征向量 {\boldsymbol{X}}
{\boldsymbol{X}} = \hat {\boldsymbol{h}}_{{\text{sum}}j}^{(l + 1)} + {\boldsymbol{P}}' (9) 然后，我们通过线性变换、 \mathrm{LeakyReLU}(\cdot) 函数所组合的 l' 个层MLP模块，再通过 \mathrm{softmax}(\cdot) 函数，获得细胞最终的预测分数 {\boldsymbol{s}} = \left( {{s_1},{s_2}, \cdots ,{s_C}} \right)
\quad {{\boldsymbol{z}}^{q'}} = {{\boldsymbol{X}}_{q'}} = {{\mathrm{LeakyReLU}}} \left( {{{\boldsymbol{X}}_{q' - 1}}{{\boldsymbol{W}}_{q'}} + {{\boldsymbol{b}}_{q'}}} \right) (10) \quad {\boldsymbol{s}} = \left( {{s_1},{s_2}, \cdots ,{s_C}} \right) = {{\mathrm{softmax}}} ({{\boldsymbol{z}}^{l'}}) (11) 其中， C 是宫颈细胞的类别数量； q' 表示MLP模块的第 q' 层 \left( {q' = 1,2, \cdots ,l'} \right) ； {{\boldsymbol{W}}_{q'}} \in {\mathbb{R}^{N \times {C_{q'}}}} 是第 q' 层线性变换的权重， {{\boldsymbol{b}}_{q'}} 是第 q' 层的偏差；然后使用交叉熵损失用于训练整个网络
L = - \sum\limits_{c = 1}^C {s_c^{{\mathrm{gt}}}\log \left( {{s_c}} \right)} (12) 其中， {{\boldsymbol{s}}^{{\mathrm{gt}}}} = \left( {s_1^{{\mathrm{gt}}},s_2^{{\mathrm{gt}}}, \cdots ,s_C^{{\mathrm{gt}}}} \right) 表示细胞图像的真实标签。
4. 实验结果与分析
4.1 数据准备
实验中使用的宫颈细胞数据集准备过程如下：首先，使用数字化病理扫描设备对涂片进行扫描，获取宫颈细胞全景数字化切片。接着，挑选100例不同病变等级的样本，并请合作机构的病理学专家对其进行标注。考虑到正常细胞占涂片的大多数且自动化筛查系统主要是对病变细胞进行分级，因此对于每位患者的涂片，最多标注了150个正常细胞，而对所有异常细胞进行了全标注。由于每个患者的细胞形态大小、纹理特征各异，因此对每个患者提取个性化的特征进行分类。将每张涂片的细胞按照类别划分为训练集和测试集，比例分别为8:2。此数据集一共包含
41511 张细胞图像，具体细胞数量分布请参见表1。表 1 不同类别的宫颈细胞数量分布细胞类别 细胞数量 类型 NIML 14516 正常 ASCUS 15897 异常 LSIL 6631 异常 ASCH 2238 异常 HSIL 2229 异常 总计 41511 – 4.2 实验设置
本文的实验基于Ubuntu 22.04操作系统，使用了Pytorch 2.0.0, CUDA 11.7, dgl 1.0.2[45]和timm[46]库作为深度学习框架。使用了一台配置为两个Intel® Xeon® Silver
4310 系列的CPU和NVIDIA GeForce RTX3090 24GB显卡的服务器完成实验。为了保证实验的公平性，我们在训练模型时保持了所有参数一致，具体配置如下：epoch设为100轮，mini-batch size设置为2，模型输入的细胞图片大小为 224 \times 224 ，使用Adamw进行模型优化，初始学习率为 1{\text{e}} - 4 ，并使用余弦退火来动态地调整学习率，使得模型可以更快地收敛并获得更好的性能，避免过拟合问题。同时，设置了数据增强方法为随机翻转和随机水平翻转，以适应宫颈细胞不同的姿态。本文所提出的方法中GATv2采用2层4头结构，多头注意力采用2头结构，并选择余弦相似度最高和最低的10个节点分别构建相似细胞图和差异细胞关系图。4.3 评价指标
本文使用准确率(accuracy)来评估模型对类别的预测是否准确；使用敏感度(sensitivity)来评估模型对阳性细胞的识别能力，其值越高，说明分类模型对阳性细胞的识别能力越强；使用特异性(specificity)来评估模型对阴性细胞的识别能力，其值越高，说明分类模型对阴性细胞的识别能力越强；F1-Score来评价分类模型的精确性和召回率，衡量分类模型的综合表现。
4.4 结果分析
4.4.1 对比实验
本文方法与其他分类方法进行了比较，包含基于CNN的模型(例如Resnet152, DenseNet121[47], Inception v3[11], Efficientnetv2-L[44], VOLO-D2/224[48])、基于Transformer的模型(例如VIT-B, Xcit-s24[49], Swin Transformer-L[42]和Mixer-B/16[50])以及在宫颈细胞分类任务上性能良好的模型(例如DeepCervix, Basak等人[19]和Manna等人[17])。本文在自建数据集上进行了比较，对比实验结果如表2所示。Efficientnetv2[44]通过扩展比例和非均匀缩放策略使神经网络模型能更全面地学习不同特征表示，因此在基于CNN的模型上取得了最优的性能。本文提出的方法在准确率、敏感度、特异性和F1-Score比它高13.77%, 26.39%, 3.73%和23.1%；Swin Transformer-L[42]采用了层次化结构、滑动窗口和交替窗口机制，增加了模型全局上下文建模的能力，扩大了感受野。其在基于Transformer的模型上取得了最优的准确率和F1-Score，而本文提出的方法分别比它高出15.9%和32.8%。Xcit-s[49]将交叉协方差注意力应用在特征通道维度上，并使用相对位置偏置来编码空间位置信息，在数据集上，其在基于Transformer的模型上取得了最优的敏感度和特异性，而本文提出的方法分别比它高出29.46%和7.89%。DeepCervix[21]引入多种数据增强方式并融合多个深度模型的特征进行分类，但其没有自适应数据集，并且没有考虑到差异化细胞关系和涂片背景对宫颈细胞分类的辅助作用。因此，本文提出的方法优于该模型，准确率、特异性、敏感度和F1-Score分别比其高17.42%, 31.12%, 4.85%和29.91%。Houssein等人[24]使用主成分分析降维，最后使用灰狼优化算法选出一个特征子集，用于训练支持SVM以生成最终预测结果。然而，该模型在我们收集的数据集中表现不佳。因为PCA会导致特征的模糊性，减少了原始特征的表达能力。此外，灰狼优化算法在处理大规模问题时容易陷入局部最优解。Manna等人[17]使用了3个CNN分类器的集合对图像进行分类，并使用两个非线性函数生成分类器的秩对图像进行预测。但是由于数据集的复杂性，每个患者的生理和病理状态不同，导致了该模型分类性能不佳。Shi等人[15]和Ou等人[40]采用图神经网络建立更加丰富且准确的特征表征。然而，这些研究仅考虑了细胞间的相似性，却忽略了差异性细胞之间的关联。这些因素共同导致了这些方法在性能上表现不佳。
表 2 对比实验结果(%)方法 准确率 敏感度 特异性 F1-Score Resnet152 78.62 63.25 93.95 65.15 DenseNet121 78.96 63.73 90.93 63.43 Inception v3 78.35 61.45 90.36 58.87 Efficientnetv2-L 80.36 67.95 94.63 68.57 VOLO-D2/224 79.03 64 91 58.87 VIT-B 77.35 59.33 89.83 58.87 Xcit-s24 76.19 61.88 90.47 58.87 Swin Transformer-L 78.23 61.02 90.25 58.87 Mixer-B/16 76.79 59.83 89.95 58.87 DeepCervix 76.71 60.22 93.51 61.76 Basak等人[19] 70.83 42.46 90.87 42.41 Manna等人[17] 72.97 53.13 92.10 55.49 Shi等人[15] 88.48 88.51 97.01 88.33 Ou等人[40] 89.06 89.25 97.15 89.13 本文方法 94.13 91.34 98.36 91.67 4.4.2 消融实验
本文的宫颈细胞分类框架基于Swin Transformer-L模型。因此，将Swin Transformer-L模型作为实验的基线模型。鉴于本文提出的GAB-CCR分支同时考虑了相似细胞和差异细胞的特征，本文进行了消融实验验证该分支的有效性。混淆矩阵如图3所示。在基线模型上分别添加了基于相似细胞关系的图注意力分支(GAB-SCCR)和基于差异细胞关系的图注意力分支(GAB-DCCR)。从表3可以看出，在基线上加入GAB-SCCR和GAB-DCCR分支的效果均优于基线结果，说明细胞关系和图注意力模块可以有效帮助模型提取特征，从而提高分类性能。此外，添加GAB-CCR分支的效果比仅添加GAB-SCCR和GAB-DCCR分支的效果更佳，表明了同时考虑相似和差异细胞关系可以更有效地提取细胞特征，进一步提高分类性能。
表 3 GAB-CCR分支消融实验结果(%)方法 准确率 敏感度 特异性 F1-Score Baseline 78.23 61.02 90.25 60.05 Baseline+GAB-SCCR 92.52 87.77 97.83 89.08 Baseline+GAB-DCCR 92.46 86.70 97.73 88.73 Baseline+GAB-CCR 93.48 88.29 98.02 90.78 本文的宫颈细胞分类框架基于Swin Transformer-L模型。因此，将Swin Transformer-L模型作为实验的基线模型。鉴于本文提出的GAB-CCR分支同时考虑了相似细胞和差异细胞的特征，本文进行了消融实验验证该分支的有效性。在基线模型上分别添加了基于相似细胞关系的图注意力分支(GAB-SCCR)和基于差异细胞关系的图注意力分支(GAB-DCCR)。从表4可以看出，在基线上加入GAB-SCCR和GAB-DCCR分支的效果均优于基线结果，说明细胞关系和图注意力模块可以有效帮助模型提取特征，从而提高分类性能。此外，添加GAB-CCR分支的效果比仅添加GAB-SCCR和GAB-DCCR分支的效果更佳，表明了同时考虑相似和差异细胞关系可以更有效地提取细胞特征，进一步提高分类性能。
表 4 消融实验结果(%)方法 准确率 敏感度 特异性 F1-Score Baseline 78.23 61.02 90.25 60.05 Baseline+GAB-CCR 93.48 88.29 98.02 90.78 Baseline+BFB-WSI 91.91 88.28 97.87 87.17 Baseline+BAB-WSI 93.12 88.34 98.03 89.68 Basline+GAB-CCR+BFB-WSI 93.69 89.50 98.14 91.05 Basline+GAB-CCR+BAB-WSI(Ours) 94.13 91.34 98.36 91.67 5. 结论
本文提出了融合个性化细胞关系和背景信息的宫颈细胞分类方法，该方法由GAB-CCR分支和BAB-WSI分支组成。在GAB-CCR分支中，首先通过细胞特征提取器Swin Transformer来提取细胞特征，然后通过使用余弦相似度来比较节点之间的差异，取相似度高的初步构建相似细胞关系图，同时，取相似度低的初步构建差异细胞关系图。接下来，本文采用图注意力网络，以提高差异化细胞关系的表达能力和网络对语义信息的建模能力。在BAB-WSI分支中，首先在涂片上随机裁剪出两张相同大小的瓦片图。然后，使用预训练的Efficientnetv2模型提取涂片背景特征，并使用多头注意力机制将细胞特征与涂片背景特征进行比较，从而增强有效的涂片背景信息。最后，将增强后的细胞特征和涂片背景特征相融合，以提高分类性能。实验结果表明，本文提出的宫颈细胞分类方法的分类性能优于现有模型，具有高准确率、高敏感度和高特异性。这表明，所提方法可以有效地减轻病理学专家的工作量，提高自动化筛查的发展。
-
表 1 不同类别的宫颈细胞数量分布
细胞类别 细胞数量 类型 NIML 14516 正常 ASCUS 15897 异常 LSIL 6631 异常 ASCH 2238 异常 HSIL 2229 异常 总计 41511 – 
下载: 导出CSV
表 2 对比实验结果(%)
方法 准确率 敏感度 特异性 F1-Score Resnet152 78.62 63.25 93.95 65.15 DenseNet121 78.96 63.73 90.93 63.43 Inception v3 78.35 61.45 90.36 58.87 Efficientnetv2-L 80.36 67.95 94.63 68.57 VOLO-D2/224 79.03 64 91 58.87 VIT-B 77.35 59.33 89.83 58.87 Xcit-s24 76.19 61.88 90.47 58.87 Swin Transformer-L 78.23 61.02 90.25 58.87 Mixer-B/16 76.79 59.83 89.95 58.87 DeepCervix 76.71 60.22 93.51 61.76 Basak等人[19] 70.83 42.46 90.87 42.41 Manna等人[17] 72.97 53.13 92.10 55.49 Shi等人[15] 88.48 88.51 97.01 88.33 Ou等人[40] 89.06 89.25 97.15 89.13 本文方法 94.13 91.34 98.36 91.67
下载: 导出CSV
表 3 GAB-CCR分支消融实验结果(%)
方法 准确率 敏感度 特异性 F1-Score Baseline 78.23 61.02 90.25 60.05 Baseline+GAB-SCCR 92.52 87.77 97.83 89.08 Baseline+GAB-DCCR 92.46 86.70 97.73 88.73 Baseline+GAB-CCR 93.48 88.29 98.02 90.78
下载: 导出CSV
表 4 消融实验结果(%)
方法 准确率 敏感度 特异性 F1-Score Baseline 78.23 61.02 90.25 60.05 Baseline+GAB-CCR 93.48 88.29 98.02 90.78 Baseline+BFB-WSI 91.91 88.28 97.87 87.17 Baseline+BAB-WSI 93.12 88.34 98.03 89.68 Basline+GAB-CCR+BFB-WSI 93.69 89.50 98.14 91.05 Basline+GAB-CCR+BAB-WSI(Ours) 94.13 91.34 98.36 91.67
下载: 导出CSV
-
[1] SINGH D, VIGNAT J, LORENZONI V, et al. Global estimates of incidence and mortality of cervical cancer in 2020: A baseline analysis of the WHO global cervical cancer elimination initiative[J]. The Lancet Global Health, 2023, 11(2): e197–e206. doi: 10.1016/S2214-109X(22)00501-0. [2] KOSS L G. The Papanicolaou test for cervical cancer detection: A triumph and a tragedy[J]. JAMA, 1989, 261(5): 737–743. doi: 10.1001/jama.1989.03420050087046. [3] JUSMAN Y, SARI B P, and RIYADI S. Cervical precancerous classification system based on texture features and support vector machine[C]. 2021 1st International Conference on Electronic and Electrical Engineering and Intelligent System (ICE3IS), Yogyakarta, Indonesia, 2021: 29–33. doi: 10.1109/ICE3IS54102.2021.9649687. [4] MALLI P K and NANDYAL S. Machine learning technique for detection of cervical cancer using k-NN and artificial neural network[J]. International Journal of Emerging Trends & Technology in Computer Science (IJETTCS), 2017, 6(4): 145–149. [5] SUN Guanglu, LI Shaobo, CAO Yanzhen, et al. Cervical cancer diagnosis based on random forest[J]. International Journal of Performability Engineering, 2017, 13(4): 446–457. doi: 10.23940/ijpe.17.04.p12.446457. [6] DONG Na, ZHAI Mengdie, ZHAO Li, et al. Cervical cell classification based on the CART feature selection algorithm[J]. Journal of Ambient Intelligence and Humanized Computing, 2021, 12(2): 1837–1849. doi: 10.1007/s12652-020-02256-9. [7] ARORA A, TRIPATHI A, and BHAN A. Classification of cervical cancer detection using machine learning algorithms[C]. 2021 6th International Conference on Inventive Computation Technologies (ICICT), Coimbatore, India, 2021: 827–835. doi: 10.1109/ICICT50816.2021.9358570. [8] PRUM S, HANDAYANI D O D, and BOURSIER P. Abnormal cervical cell detection using hog descriptor and SVM classifier[C]. 2018 Fourth International Conference on Advances in Computing, Communication & Automation (ICACCA), Subang Jaya, Malaysia, 2018: 1–6. doi: 10.1109/ICACCAF.2018.8776766. [9] QIN Jian, HE Yongjun, GE Jinping, et al. A multi-task feature fusion model for cervical cell classification[J]. IEEE Journal of Biomedical and Health Informatics, 2022, 26(9): 4668–4678. doi: 10.1109/JBHI.2022.3180989. [10] DONG N, ZHAO L, WU C H, et al. Inception v3 based cervical cell classification combined with artificially extracted features[J]. Applied Soft Computing, 2020, 93: 106311. doi: 10.1016/j.asoc.2020.106311. [11] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 2818–2826. doi: 10.1109/CVPR.2016.308. [12] 赵司琦, 梁義钦, 秦健, 等. 基于样本基准值的宫颈异常细胞识别方法[J]. 哈尔滨理工大学学报, 2022, 27(6): 103–114. doi: 10.15938/j.jhust.2022.06.013.ZHAO Siqi, LIANG Yiqin, QIN Jian, et al. A method for identifying cervical abnormal cells based on sample benchmark values[J]. Journal of Harbin University of Science and Technology, 2022, 27(6): 103–114. doi: 10.15938/j.jhust.2022.06.013. [13] LIN Haoming, HU Yuyang, CHEN Siping, et al. Fine-grained classification of cervical cells using morphological and appearance based convolutional neural networks[J]. IEEE Access, 2019, 7: 71541–71549. doi: 10.1109/ACCESS.2019.2919390. [14] ZHANG Ling, LU Le, NOGUES I, et al. DeepPap: Deep convolutional networks for cervical cell classification[J]. IEEE Journal of Biomedical and Health Informatics, 2017, 21(6): 1633–1643. doi: 10.1109/JBHI.2017.2705583. [15] SHI Jun, WANG Ruoyu, ZHENG Yushan, et al. Cervical cell classification with graph convolutional network[J]. Computer Methods and Programs in Biomedicine, 2021, 198: 105807. doi: 10.1016/j.cmpb.2020.105807. [16] SHANTHI P B, FARUQI F, HAREESHA K S, et al. Deep convolution neural network for malignancy detection and classification in microscopic uterine cervix cell images[J]. Asian Pacific Journal of Cancer Prevention, 2019, 20(11): 3447–3456. doi: 10.31557/APJCP.2019.20.11.3447. [17] MANNA A, KUNDU R, KAPLUN D, et al. A fuzzy rank-based ensemble of CNN models for classification of cervical cytology[J]. Scientific Reports, 2021, 11(1): 14538. doi: 10.1038/s41598-021-93783-8. [18] TRIPATHI A, ARORA A, and BHAN A. Classification of cervical cancer using deep learning algorithm[C]. 2021 5th International Conference on Intelligent Computing and Control Systems (ICICCS), Madurai, India, 2021: 1210–1218. doi: 10.1109/ICICCS51141.2021.9432382. [19] BASAK H, KUNDU R, CHAKRABORTY S, et al. Cervical cytology classification using PCA and GWO enhanced deep features selection[J]. SN Computer Science, 2021, 2(5): 369. doi: 10.1007/S42979-021-00741-2. [20] LI Jun, DOU Qiyan, YANG Haima, et al. Cervical cell multi-classification algorithm using global context information and attention mechanism[J]. Tissue and Cell, 2022, 74: 101677. doi: 10.1016/j.tice.2021.101677. [21] RAHAMAN M M, LI Chen, YAO Yudong, et al. DeepCervix: A deep learning-based framework for the classification of cervical cells using hybrid deep feature fusion techniques[J]. Computers in Biology and Medicine, 2021, 136: 104649. doi: 10.1016/j.compbiomed.2021.104649. [22] NAYAR R and WILBUR D C, The Bethesda System for Reporting Cervical Cytology: Definitions, Criteria, and Explanatory Notes[M]. 3rd ed. Cham: Springer, 2015. doi: 10.1007/978-3-319-11074-5. [23] 郑光远, 刘峡壁, 韩光辉. 医学影像计算机辅助检测与诊断系统综述[J]. 软件学报, 2018, 29(5): 1471–1514. doi: 10.13328/j.cnki.jos.005519.ZHENG Guangyuan, LIU Xiabi, and HAN Guanghui. Survey on medical image computer aided detection and diagnosis systems[J]. Journal of Software, 2018, 29(5): 1471–1514. doi: 10.13328/j.cnki.jos.005519. [24] HOUSSEIN E H, EMAM M M, ALI A A, et al. Deep and machine learning techniques for medical imaging-based breast cancer: A comprehensive review[J]. Expert Systems with Applications, 2021, 167: 114161. doi: 10.1016/j.eswa.2020.114161. [25] GUMMA L N, THIRUVENGATANADHAN R, KURAKULA L, et al. A survey on convolutional neural network (deep-learning technique)-based lung cancer detection[J]. SN Computer Science, 2022, 3(1): 66. doi: 10.1007/S42979-021-00887-Z. [26] 陈皓, 段红柏, 郭紫园, 等. 基于CT征象量化分析的肺结节恶性度分级[J]. 电子与信息学报, 2021, 43(5): 1405–1413. doi: 10.11999/JEIT200167.CHEN Hao, DUAN Hongbai, GUO Ziyuan, et al. Malignancy grading of lung nodules based on CT signs quantization analysis[J]. Journal of Electronics & Information Technology, 2021, 43(5): 1405–1413. doi: 10.11999/JEIT200167. [27] SHAMSHAD F, KHAN S, ZAMIR S W, et al. Transformers in medical imaging: A survey[J]. Medical Image Analysis, 2023, 88: 102802. doi: 10.1016/j.media.2023.102802. [28] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770–778. doi: 10.1109/CVPR.2016.90. [29] DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16x16 words: Transformers for image recognition at scale[C]. 9th International Conference on Learning Representations, 2021. [30] LIU Wanli, LI Chen, XU Ning, et al. CVM-Cervix: A hybrid cervical Pap-smear image classification framework using CNN, visual transformer and multilayer perceptron[J]. Pattern Recognition, 2022, 130: 108829. doi: 10.1016/j.patcog.2022.108829. [31] DEO B S, PAL M, PANIGRAHI P K, et al. CerviFormer: A pap smear-based cervical cancer classification method using cross-attention and latent transformer[J]. International Journal of Imaging Systems and Technology, 2024, 34(2): e23043. doi: 10.1002/ima.23043. [32] HEMALATHA K, VETRISELVI V, DHANDAPANI M, et al. CervixFuzzyFusion for cervical cancer cell image classification[J]. Biomedical Signal Processing and Control, 2023, 85: 104920. doi: 10.1016/j.bspc.2023.104920. [33] KIPF T N and WELLING M. Semi-supervised classification with graph convolutional networks[C]. 5th International Conference on Learning Representations, Toulon, France, 2017. [34] VELIČKOVIĆ P, CUCURULL G, CASANOVA A, et al. Graph attention networks[J]. arXiv: 1710.10903, 2017. doi: 10.48550/arXiv.1710.10903. [35] LI Yujia, TARLOW D, BROCKSCHMIDT M, et al. Gated graph sequence neural networks[C]. 4th International Conference on Learning Representations, San Juan, Puerto Rico, 2016. [36] ZHOU Jie, CUI Ganqu, HU Shengding, et al. Graph neural networks: A review of methods and applications[J]. AI Open, 2020, 1: 57–81. doi: 10.1016/j.aiopen.2021.01.001. [37] AHMEDT-ARISTIZABAL D, ARMIN M A, DENMAN S, et al. A survey on graph-based deep learning for computational histopathology[J]. Computerized Medical Imaging and Graphics, 2022, 95: 102027. doi: 10.1016/j.compmedimag.2021.102027. [38] BESSADOK A, MAHJOUB M A, and REKIK I. Graph neural networks in network neuroscience[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(5): 5833–5848. doi: 10.1109/TPAMI.2022.3209686. [39] ZHANG Xiaomeng, LIANG Li, LIU Lin, et al. Graph neural networks and their current applications in bioinformatics[J]. Frontiers in Genetics, 2021, 12: 690049. doi: 10.3389/fgene.2021.690049. [40] OU Yanglan, XUE Yuan, YUAN Ye, et al. Semi-supervised cervical dysplasia classification with learnable graph convolutional network[C]. 2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI), Iowa City, USA, 2020: 1720–1724. doi: 10.1109/ISBI45749.2020.9098507. [41] DENG Jia, DONG Wei, SOCHER R, et al. ImageNet: A large-scale hierarchical image database[C]. 2009 IEEE Conference on Computer Vision and Pattern Recognition, Miami, USA, 2009: 248–255. doi: 10.1109/CVPR.2009.5206848. [42] LIU Ze, LIN Yutong, CAO Yue, et al. Swin transformer: Hierarchical vision transformer using shifted windows[C]. Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, Canada, 2021: 9992–10002. doi: 10.1109/ICCV48922.2021.00986. [43] BRODY S, ALON U, and YAHAV E. How attentive are graph attention networks?[C]. The 10th International Conference on Learning Representations, 2022. [44] TAN Mingxing and LE Q V. EfficientNetV2: Smaller models and faster training[C]. Proceedings of the 38th International Conference on Machine Learning, 2021: 10096–10106. [45] WANG Minjie, ZHENG Da, YE Zihao, et al. Deep graph library: A graph-centric, highly-performant package for graph neural networks[J]. arXiv: 1909.01315, 2019. doi: 10.48550/arXiv.1909.01315. [46] WIGHTMAN R. PyTorch-Image-Models[EB/OL]. https://github.com/rwightman/pytorch-image-models, 2021. [47] HUANG Gao, LIU Zhuang, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 2261–2269. doi: 10.1109/CVPR.2017.243. [48] YUAN Li, HOU Qibin, JIANG Zihang, et al. VOLO: Vision outlooker for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(5): 6575–6586. doi: 10.1109/TPAMI.2022.3206108. [49] EL-NOUBY A, TOUVRON H, CARON M, et al. XCiT: Cross-covariance image transformers[C]. Proceedings of the 35th International Conference on Neural Information Processing Systems, 2021: 1531. [50] TOLSTIKHIN I, HOULSBY N, KOLESNIKOV A, et al. MLP-mixer: An all-MLP architecture for vision[C]. Proceedings of the 35th International Conference on Neural Information Processing Systems, 2021: 1857. 期刊类型引用(0)
其他类型引用(31)
-
计量
- 文章访问数: 206
- HTML全文浏览量: 139
- PDF下载量: 29
- 被引次数: 31
下载:
