基于<i>k</i>-匿名的隐私保护计算卸载方法

赵星; 彭建华; 游伟; 陈璐

doi:10.11999/JEIT191046

基于k-匿名的隐私保护计算卸载方法

doi: 10.11999/JEIT191046

中国人民解放军战略支援部队信息工程大学郑州 450001

基金项目: 国家重点研发计划网络空间安全专项(2016YFB0801605)，国家自然科学基金创新群体项目(61521003)，国家自然科学基金(61801515)

详细信息

作者简介:
赵星：男，1990年生，博士生，研究方向为移动通信网络安全、隐私保护技术

彭建华：男，1966年生，教授，博士生导师，主要研究方向为无线移动通信网络、信息安全

游伟：男，1984年生，博士，讲师，主要研究方向为移动通信网络安全、新一代移动通信网络技术

陈璐：女，1989年生，博士生，研究方向为移动通信网络安全、MEC安全防护技术

通讯作者:
赵星　ndsc_zx@163.com

中图分类号: TP393
计量
- 文章访问数: 2026
- HTML全文浏览量: 828
- PDF下载量: 163
- 被引次数: 0
出版历程
- 收稿日期: 2019-12-30
- 修回日期: 2020-07-27
- 网络出版日期: 2020-08-21
- 刊出日期: 2021-04-20

A Privacy-preserving Computation Offloading Method Based on k-Anonymity

People's Liberation Army Strategic Support Force Information Engineering University, Zhengzhou 450001, China

Funds: The National Key R&D Program Cyberspace Security Special (2016YFB0801605), The National Natural Science Foundation Innovative Groups Project of China (61521003), The National Natural Science Foundation of China(61801515)

摘要

摘要: 针对移动边缘计算(MEC)中用户的卸载任务及卸载频率可能使用户被攻击者锁定的问题，该文提出一种基于k-匿名的隐私保护计算卸载方法。首先，该方法基于用户间卸载任务及其卸载频率的差异性，提出隐私约束并建立基于卸载频率的隐私保护计算卸载模型；然后，提出基于模拟退火的隐私保护计算卸载算法(PCOSA)求得最优的k-匿名分组结果和组内各任务的隐私约束频率；最后，在卸载过程中改变用户原始卸载频率满足隐私约束，最小化终端能耗。仿真结果表明，PCOSA算法能找出用户所处MEC节点下与用户卸载表现最相近的k个用户形成匿名集，有效保护了所有用户隐私。
- 移动边缘计算 /
- 计算卸载 /
- 卸载决策 /
- 隐私保护 /
- k-匿名
Abstract: Users’ offloading tasks and offloading frequencies in Mobile Edge Computing(MEC) may cause users to be locked out. A privacy-preserving computation offloading method based on k-anonymity is proposed in this paper. Firstly, based on the differences between offloading tasks and their frequencies, privacy constraint is proposed to establish a privacy-preserving computation offloading model based on offloading frequency; Then, a Privacy-preserving Computation Offloading algorithm based on Simulated Annealing (PCOSA) is utilized to obtain the optimal k-anonymous groups and the privacy constraint frequency of each task; Finally, the user’s original offloading frequencies are changed to meet the privacy constraint while minimizing terminal energy consumption. Simulation results validate that the PCOSA can find out k users with the closest offloading performance to form anonymous sets, which protects effectively the privacy of all users.
- Mobile Edge Computing(MEC) /
- Computation offloading /
- Offloading decision /
- Privacy protection /
- k-anonymity

HTML全文

1. 引言

肾癌是泌尿系统常见的恶性肿瘤之一，2020年全球肾癌新发病例和新增死亡病例在所有的恶性肿瘤中分别占2.2%和1.8%^[1]。在我国，肾癌的年发病率也呈明显增长的趋势^[2]。肾透明细胞癌(clear cell Renal Cell Carcinoma, ccRCC)是肾癌最常见的病理类型，预后较差^[3]。2016年国际泌尿病理协会(International Society for Urology and Pathology, ISUP)发布的ISUP分级系统中，将ccRCC按照细胞核仁突出的程度分为3个核级，若存在极端多形性和/或肿瘤巨细胞、和/或肉瘤样、和/或横纹肌样分化，则作为4级^[4]。在临床治疗中，如果术前能够对ccRCC进行精确核分级对于治疗方案的制定和患者预后的评估都具有重要意义。然而，精确的核分级高度依赖临床医生的专业知识和经验水平，同一病例的诊断结果在不同的医师之间可能存在较大差异。随着计算机技术的快速发展，计算机辅助诊断系统因速度快、稳定性强、精确度高等优点在医学影像处理领域取得了快速发展^[5]。将计算机辅助诊断系统应用于ccRCC的核分级，可以在节省诊断时间的同时，减少医生因技术或临床经验差异而导致的诊断误判。

增强CT是肾肿瘤早期发现和诊断常用的影像学方法之一，由于不同ISUP等级的ccRCC可能表现出不同的影像学特征，一些学者利用CT图像构建了ccRCC的ISUP等级预测模型。韩冬等人^[6]回顾性地收集了131例患者的CT图像，对患者的性别、是否出现血尿、是否腹痛等一般特征和增强CT图像特征进行降维后用于神经网络模型的训练和验证，在验证集中模型鉴别高、低级别ccRCC的AUC为0.7924，敏感度为75.00%，特异度为86.96%。陈心怡等人^[7]构建了一种基于增强CT动脉期图像的人工智能模型，通过对3D肿瘤的感兴趣区域提取特征建立了逻辑回归模型，在验证集上模型对高、低级别ccRCC的敏感性和特异性分别为81.25%和84.93%，AUC为0.8987。康钦钦等人^[8]提出并验证了一个基于CT影像特征及解剖学RENAL评分的模型，用于无创、个体化预测ccRCC的病理分级，该模型在训练集和测试集上的AUC分别为0.972和0.995，均表现出良好的鉴别能力。Lin等人^[9]基于ResNet卷积神经网络构建了一个CT图像的ccRCC核分级模型，并使用重复测量法比较了图像裁剪、设置注意力级别、选择模型复杂度和应用迁移学习等不同方法对深度模型性能的影响，经过最终测试，该模型在内部验证集上的准确率为73.7±11.6%, AUC为0.82±0.11，在外部验证集上的准确率为77.9±6.2%, AUC为0.81±0.04。Hadjiyski^[10]则利用具有迁移学习的Inception V3深度学习模型对从 3D CT 扫描中裁剪得到肾癌图像进行训练后，经过最终测试，模型在训练集、验证集和测试集上的AUC 分别为0.97, 0.91和0.90。

除CT图像外，基于核磁共振图像的计算机辅助诊断模型也被应用于ccRCC的分级预测。石博文等人^[11]回顾性地分析了63例术前行腹部3.0T MR扫描的ccRCC患者的图像数据，首先采用A.K.软件提取医生在T2序列图像上勾画的感兴区域的影像组学特征，再从中筛选出对术后病理分级最具有诊断价值的特征参数，然后构建随机森林机器学习模型对特征参数进行分类训练和测试，实验结果表明模型的准确度、敏感度、特异度及AUC分别为85%, 100%, 72%, 0.87。张钰等人^[12]则回顾性分析了78例经手术病理确诊为ccRCC患者的术前肾脏MRI图像，在选取横断面图像病灶的最大层面后由医生分别在T2WI及皮髓质期图像上勾画感兴趣区，然后提取图像的纹理特征并筛选出具有统计学意义的特征，据此构建了多因素二元logistic回归模型，经过最终测试，模型在训练集和验证集中AUC分别为0.901和0.820。

尽管上述研究有助于对ccRCC进行分级诊断，但是存在以下问题：(1)病理诊断结果是ccRCC核分级的金标准，然而目前鲜有基于病理图像的ISUP核分级研究；(2)以往研究只粗略将ccRCC划分为低级别和高级别两种等级，并没有以ISUP为标准进行更为精确的核分级。针对以上问题，本文构建了对ccRCC病理图像进行ISUP分级预测的深度学习网络模型。主要贡献包括：(1)基于病理图像实现了ccRCC的ISUP 1-3级的精确核分级；(2)提出了一种新的通道注意力模块sECANet用于提升卷积神经网络性能；(3)通过先对病理图像的每个切块(Patch)进行分类，再使用多数投票法得到图像(Image)级别的病理学分级预测结果。

2. 基于sECANet通道注意力机制的卷积神经网络

2.1 卷积神经网络和通道注意力机制

卷积神经网络是人工智能领域重要的研究成果之一，在图像分类、目标检测、实例分割等领域取得了突破性的成果^[13]。卷积神经网络通常由一系列的卷积层、池化层和非线性激活层组合而成，与之前的全连接神经网络相比，卷积神经网络可以通过权重共享的方式在局部感受野上进行信息聚合，进而能够从全局感受野上捕获图像的特征，有效地减少了参数量。目前，诸如AlexNet^[14], VGGNet^[15]和ResNet^[16]等一系列典型的卷积神经网络已经应用于人脸识别、自动驾驶和医学影像识别等领域。这些卷积神经网络都通过不断堆叠卷积层的个数来提高网络的性能。

近几年的研究发现，在卷积神经网络中引入通道注意力机制对于提高其识别性能有着巨大的潜力^[17]。最早的通道注意力模型SeNet^[18]通过对特征图通道之间的相互依赖关系进行建模，自动获取每个特征通道的重要程度，然后以此为通道权重提升有用的特征并抑制对当前任务用处不大的特征，从而在一定程度上提高了网络的性能。随后，Wang等人^[19]发现SeNet对特征图的降维会降低网络性能，并且获取所有通道之间的依赖关系是低效且不必要的。为此，他们提出了一种局部跨信道交互策略ECANet，可以在不降低维数的通道级全局平均池化之后，通过执行卷积核大小为k的1维卷积来获得特征图每个通道及其k个临近通道之间的局部依赖关系，在避免降维造成的信息损失的同时也有效地获取了跨通道之间的相互依赖关系。

尽管ECANet和SeNet相比有着更好的性能提升，但是ECANet仅仅考虑了特征图当前通道与其若干临近通道之间的局部依赖关系，这样不可避免地丢失当前通道与其他远距离通道之间的全局依赖关系。因此，本文提出了一种新的通道注意力模块sECANet，通过计算特征图中当前通道和临近通道以及当前通道和远距离通道之间的信息交互获取更多有用的特征。

2.2 sECANet通道注意力模块

sECANet通道注意力模块结构如图1所示。改进前的ECANet对特征图进行通道级全局平均池化操作后，通过计算得到了每个通道及其 $k$ 个临近通道之间的局部依赖关系信息(图1中示例 $k = 3$ )。为了得到更多的全局依赖关系，sECANet在此基础上增加了一个新的通道级全局平均池化并打乱的分支(图1中虚线框所示)，该分支在进行通道级的全局平均池化后对特征图的通道顺序进行随机重排，因此打乱前的远距离通道可能成为其邻近通道。在获取新的特征图当前通道及其新的k个临近通道之间的局部依赖关系后，对两个分支进行加权就可以得到更多的通道间的交互信息。

图 1 sECANet通道注意力模块

下载: 全尺寸图片幻灯片

sECANet通道注意力模块具体的计算流程如下：假设输入特征经过卷积操作后的特征向量为 ${\boldsymbol x} \in {\mathbb{R}^{W \times H \times C}}$ ，其中 $W$ , $H$ 和 $C$ 分别表示特征向量的宽度、高度和通道大小。通道维度的全局平均池化可以表示为

${\boldsymbol y} = g\left( {\boldsymbol x} \right) = \frac{1}{{WH}}\sum\limits_{i = 1,j = 1}^{W,H} {{x_{ij}}}$

(1)

则在sECANet中两个分支输入的特征向量可以分别表示为

${{\bf {ys}}} = S\left( {g\left( {\boldsymbol x} \right)} \right) = S\left( {\frac{1}{{WH}}\sum\limits_{i = 1,j = 1}^{W,H} {{x_{ij}}} } \right)$

(2)

${{\bf {yg}}} = g\left( {\boldsymbol x} \right) = \frac{1}{{WH}}\sum\limits_{i = 1,j = 1}^{W,H} {{x_{ij}}}$

(3)

其中，ys表示通过全局平均池化后并打乱通道顺序分支后得到的向量，yg表示通过全局平均池化分支后得到的向量， $S( \cdot )$ 是通道打乱操作^[20]。给定没降维的特征向量为 ${\boldsymbol y} \in {\mathbb{R}^C}$ ，则通道注意力模块对通道间权重的计算可以通过式(4)得到。

${\boldsymbol w} = \sigma \left( {{{{\boldsymbol W}}_k}{\boldsymbol{y}}} \right)$

(4)

其中， $\sigma$ 是Sigmoid激活函数， ${{\boldsymbol W}_k}$ 是ECANet中计算通道注意力的参数矩阵。 $\sigma$ 的计算方法如式(5)， ${{\boldsymbol W}_k}$ 的定义如式(6)

$\sigma \left( {\boldsymbol x} \right) = \frac{1}{{1 + {{\text{e}}^{ - {\boldsymbol x}}}}}$

(5)

${{\boldsymbol W}_k} = \left[ {\begin{array}{*{20}{c}} {{w^{1,1}}}& \cdots &{{w^{1,k}}}& \cdots &0 \\ 0&{{w^{2,2}}}& \cdots & \cdots &0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0& \cdots &0& \cdots &{{w^{C,C}}} \end{array}} \right]$

(6)

根据式(6)可知， ${\boldsymbol y_i}$ 的计算权重只考虑了 ${\boldsymbol y_i}$ 和它邻近的 $k$ 个通道，

${\boldsymbol w_i} = \sigma \left( {\sum\limits_{j = 1}^k {{w^{{j}}}{y^{{j}}}} } \right),{y^{\rm{j}}} \in \varOmega _i^k$

(7)

其中， $\varOmega _i^k$ 表示 ${\boldsymbol y_i}$ 和它 $k$ 个临近通道的集合。这种策略可以通过内核大小为 $k$ 的1维卷积实现。因此，两个分支的特征通道权重分别为

$\boldsymbol {\widetilde w} = \sigma \left( {{C_{1{\rm{D}}}}k\left( {\bf {ys}} \right)} \right)$

(8)

$\boldsymbol{\widehat w} = \sigma \left( {{C_{1{\rm{D}}}}k\left( {\bf {yg}} \right)} \right)$

(9)

其中， ${{{C}}_{{\text{1D}}}}{{k}}$ 表示卷积核大小为 $k$ 的1维卷积。考虑到模型参数的大小和运算速度，所有的1维卷积核大小均为 $k = 3$ 。

通道间权重选择操作(Select)通过式(10)对两个分支进行加权得到^[21]

${\boldsymbol V} = a \cdot \boldsymbol {\widetilde w} + b \cdot \boldsymbol {\widetilde w},a + b = 1$

(10)

其中， $a$ 和 $b$ 是动态参数，在网络训练时会不断调整优化。而注意力模块最终的输出 $\boldsymbol{\tilde x} \in {\mathbb{R}^{W \times H \times C}}$ 由通道间的权重V和输入注意力模块的特征向量 ${\boldsymbol x} \in {\mathbb{R}^{W \times H \times C}}$ 相乘得到，如式(11)所示。

$\boldsymbol{\widetilde x} = {\boldsymbol V} \cdot {\boldsymbol x}$

(11)

2.3 ResNet50+sECANet卷积神经网络结构

本文选择ResNet50网络作为基础网络架构，并通过在ResNet50中添加SeNet, ECANet和sECANet等不同的注意力模块后比较网络的性能表现。

ResNet50的网络结构如图2所示，输入图像首先经过一个7×7的卷积层和一个3×3的池化层提取图像中的浅层特征，然后经过Stage2, Stage3, Stage4和Stage5卷积层提取图像中的深层次特征，随后通过一个全局平均池化层对提取到的特征进行降维操作并将其作为全连接层神经网络的输入，最后提取到的特征通过一个softmax层输出网络的预测结果。在ResNet50中，Stage2, Stage3, Stage4和Stage5卷积层分别由3, 4, 6和3个瓶颈层组成，每一个瓶颈层又由1个1×1卷积层、1个3×3卷积层、1个1×1卷积层和1个输入和输出间残差连接组成。本文将sECANet插入到了Stage2～Stage5的每个瓶颈层中。图2以Stage3为例，这个卷积层中包含4个瓶颈层，在每个瓶颈层的第2个1×1卷积层后都插入1个sECANet模块。

图 2 ResNet50网络的整体结构图以及sECANet模块插入位置示意图

下载: 全尺寸图片幻灯片

3. 实验与结果分析

3.1 数据集

本文从中科光华(西安)智能生物科技有限公司的NO.U090KI01 肾癌组织芯片中收集到了90例患者的病变区域病理切片图像，每例患者有明确的ISUP分级、Stage分期、TNM分期等病理诊断结果。组织芯片所有临床信息的统计结果如表1所示。

表 1 No.U090KI01组织芯片的临床信息

项目	特征	数量
年龄(岁)	≤50	33
	51～70	49
	＞70	8
性别	男性	28
性别	女性	62
ISUP等级	ISUP 1级	38
	ISUP 2级	25
	ISUP 3级	17
	正常	10
Stage分期	Ⅰ期	59
	Ⅱ期	19
	Ⅲ期	2
TNM分期	T1N0M0	59
	T2N0M0	19
	T3N0M0	2
发病位置	左肾癌	10
	右肾癌	8
	未标明	62

下载: 导出CSV

| 显示表格

3.2 数据预处理

由于每个患者的病理图像在40倍放大倍率下的尺寸为5120像素×5120像素，将全片送入到网络中进行训练是不可行的，故对每位患者的原始病理图像进行切分。切分过程如图3中第1个虚线框所示(Image切分为Patch)，先将图像裁成尺寸为320像素×320像素的切块。为了减少信息丢失，取步长为260。再对裁剪得到的切块进行筛选，剔除那些空白区域、组织纤维、出血、血管、囊肿或淋巴病变超过50%区域的Patch，最终得到19978张切块。

图 3 40倍放大倍率下病理图像切分以及图像增强过程

下载: 全尺寸图片幻灯片

数据增强是提高网络性能和降低分类网络模型过拟合风险的重要方法之一^[22]。因此，对筛选后的切块进行增强，具体的操作如图3中第2个虚线框所示(数据增强模块)。首先，将尺寸为320像素×320像素的切块调整为256像素×256像素后，再对图像进行随机水平翻转、随机垂直翻转和随机旋转等一系列的增强操作，并进行归一化处理，最后将得到的张量送入到卷积神经网络模型中。

3.3 实验环境与训练设置

本文实验环境配置如下：CPU为Intel(R) Xeon(R) Gold 6240 CPU @ 2.60 GHz；系统版本为：Ubuntu 18.04.5 LTS PC；GPU为NVIDIA RTX 2080Ti GPU*2，CUDA11.1；Python版本为3.7.11；深度学习框架版本为Pytorch 1.8.1。

考虑到样本的不均衡性，本文引入加权交叉熵损失函数，来抑制样本不平衡对模型性能产生的影响。为了加快模型的训练速度，提高模型的稳定性和泛化能力，本文使用ImageNet数据集上学习到的 ResNet50的权重作为初始网络参数，注意力模块的参数则进行了随机初始化。然后通过随机梯度下降 (Stochastic Gradient Descent, SGD) 算法优化网络参数，权重衰减为 10^–5，学习动量为 0.9，batch size大小为 80。每个模型训练 100 个epoch，其中初始学习率设置为 0.01，并每隔30个epoch学习率乘以0.1。

3.4 系统评价方法

本文采用五折交叉验证来衡量模型的性能。值得注意的是在划分训练集和验证集时以患者为个体单位对不同的类别进行分层采样，从而提高模型对患者进行预测的准确度。由于实验中先将病理图像划分成切块进行训练，因此首先对网络进行Patch级别的分类性能评价。每个病例的分类结果采用多数投票法得到，即统计该病例切块数最多的切块分级作为该病例的最终预测结果，因此进一步进行Image级别的分类性能评价。

评价指标采用分类准确率(Acc、精确率(Pre)、召回率(Rec)、F1分数(F1)、混淆矩阵和梯度加权类激活映射方法(Gradient-weighted Class Activation Mapping, Grad-CAM)。分类准确率、精确率、召回率和F1可以通过式(12)—式(15)得到。

${\rm{Acc}}(\% ) = \frac{{{\rm{TP + TN}}}}{{{\rm{TP + FP + TN + FN}}}} \times 100$

(12)

${{{\rm{Pre}}(\% )}} = \frac{{{\text{TP}}}}{{{\text{TP + FP}}}} \times 100 \quad \quad \quad \quad\;\;$

(13)

${{{\rm{Rec}}(\% )}} = \frac{{{\text{TP}}}}{{{\text{TP + FN}}}} \times 100$

(14)

${\text{F}}1 (\% ) = \frac{{2 \times {\text{Rec}} \times {\text{Pre}}}}{{{\text{Rec}} + {\text{Pre}}}} \times 100$

(15)

其中，TP是真正例的个数，FN是假反例的个数，FP是假正例的个数，TN是真反例的个数。

混淆矩阵表示分类器处理多分类问题时造成的混淆情况，横坐标表示分类器预测的类别，纵坐标表示图像的真实类别，对角线上的值表示每类图像被正确分类的个数，对角线颜色越深则表明分类器的性能越好，本文在绘制时对预测结果进行了归一化处理。

Grad-CAM可以通过生成粗略的定位图，突出图像中用于分类器预测的重要区域，其中红色表示分类器预测时高关注度的区域，而深蓝色区域表示分类器预测时低关注度的区域^[23]。

3.5 验证sECANet有效性的消融实验

为了验证sECANet通道注意力机制的有效性，本文在相同的数据集上对比了ResNet50基础网络和分别融合3种不同的通道注意力模块SeNet, ECANet和sECANet后的性能。融合不同注意力模块的ResNet50模型在Patch级别的评价指标如表2所示(其中加粗字体表示相同评价指标下的最优结果)。通过比较可以发现通道注意力模块SeNet, ECANet和sECANet均可有效地提升网络的性能，且本文提出的sECANet相较于其他两者是最优的。与基础的ResNet50相比，融合了sECANet后网络的Acc、Pre、Rec和F1分别提高了1.91% (78.48% vs. 76.57%), 1.69% (79.95% vs. 78.26%), 2.25% (78.43% vs. 76.18%)和1.84% (78.51% vs. 76.67%)。同时，在五折交叉验证中，ResNet50 + sECANet网络模型的各个分类指标的标准差(Standard Deviation, SD)最小，这表明相较于其他网络，本文提出的算法的分类性能最稳定。

表 2 融合不同注意力模块的ResNet50模型在Patch级别的分类性能(%)对比

方法	Acc	Pre	Rec	F1
ResNet50	76.57±4.38	78.26±5.49	76.18±4.49	76.67±4.46
ResNet50+SeNet	77.64±3.42	78.92±4.74	77.69±3.03	77.39±3.51
ResNet50+ECANet	77.27±3.90	79.78±5.03	77.82±3.76	78.01±3.87
本文ResNet50+sECANet	78.48±3.17	79.95±4.37	78.43±2.44	78.51±3.04

下载: 导出CSV

| 显示表格

进一步地，本文计算了融合不同注意力模块的ResNet50模型在Patch级的分类混淆矩阵，结果如图4所示，主对角线的数值即为各类的召回率。通过比较4个混淆矩阵可以看出，本文提出的sECANet整体性能最好、分类准确率最高(图4(d))。

图 4 融合不同注意力模块的ResNet50模型在Patch级别分类结果混淆矩阵

下载: 全尺寸图片幻灯片

值得注意的是，虽然所有的算法都能够较好地区分ISUP 1级和正常级别的ccRCC病理图像，但在鉴别ISUP 2级、ISUP 3级时的表现性能相对较差。其中分类错误的ISUP 2级主要被鉴别为ISUP 1级或ISUP 3级，且错分为前者的可能性更大；分类错误的ISUP 3级主要被鉴别为ISUP 2级。导致该现象的原因一方面可能是数据集中4种类别的样本数量较少(ISUP 1级有38例，ISUP 2级有25例，ISUP 3级有17例，正常有10例)，还需要进一步地收集典型的ISUP 2级和ISUP 3级的数据；另一方面从组织病理学特征来看，相邻ISUP级别的病理图像中细胞核仁形态特征相近。图5的蓝色圆点区域为HE染色的细胞核，正常的细胞核形态最小(图5(d))，ISUP 1级的细胞核增大(图5(a))，ISUP 3级细胞核更大(图5(c))，且形态有一定的变化，而ISUP 2级(图5(b))的细胞核大小介于ISUP 1级和3级之间。在数据量有限的情况下，模型很难提取足够多的有效区分相邻级别的特征信息，因此导致ISUP 2级可能被错分为ISUP 1级或3级，ISUP 3级和少量ISUP 1级可能被错分成ISUP 2级。此外，对比图4(a)和图4(d)，融合了新的注意力模块的ResNet50提升了对ISUP 1级(0.90 vs. 0.87)和正常级别(0.94 vs. 0.89)的分类能力，但是对ISUP 2级和3级的提升效果不显著。

图 5 数据集中4种不同病理级别的典型示意图

下载: 全尺寸图片幻灯片

通过五折交叉验证，得到90例患者每个Patch的分类结果后，再通过多数投票法得到每个患者Image的分类结果，统计结果如表3所示。从实验结果可知，在ResNet50网络中引入ECANet或sECANet通道注意力模块均可显著提高模型的性能，且sECANet模块对网络分类性能的提升更为显著，sECANet在进行通道选择时能够关注到更多与任务相关的通道信息，相对SeNet和ECANet能够提取更多有用的特征，因此能够更好地在Image级别实现ccRCC病理图像的精确分级。

表 3 融合不同注意力模块的ResNet50模型在Image级别的分类性能(%)对比

方法	Acc	Pre	Rec	F1
ResNet50	85.56	85.7	84.52	84.46
ResNet50+SeNet	85.56	84.72	84.52	84.36
ResNet50+ECANet	86.67	88.59	85.99	86.99
ResNet50+sECANet(Ours)	88.89	89.88	87.65	88.51

下载: 导出CSV

| 显示表格

为了进一步比较融合不同注意力模块的ResNet50模型的分类效果，本文进一步地计算了4种算法在Image级别上的分类结果混淆矩阵，结果如图6所示。

图 6 融合不同注意力模块的ResNet50模型在Image级别分类结果混淆矩阵

下载: 全尺寸图片幻灯片

通过比较4个混淆矩阵可以看出，融合不同注意力模块的ResNet50模型都能够在Image级别对正常的病理图像实现精确的分级，对ISUP 1级的分类精度也较高，但对ISUP 2级、ISUP 3级的预测效果较差。其中， ISUP 2级主要被错误地鉴别为ISUP 1级或ISUP 3级，部分ISUP 3级和极少量ISUP 1级主要被鉴别为ISUP 2级。此外，与基础网络ResNet50相比，本文提出的ResNet50 +sECANet在Image级别上将ISUP 1级的召回率由0.97提升为1.00，同时有效地提升了ISUP 2级(0.80 vs. 0.76)和ISUP 3级(0.71 vs. 0.65)的召回率。

为解决卷积神经网络模型中感兴趣的区域不可见问题，本文分别绘制了融合不同注意力模块的ResNet50模型的Grad-CAM图像，对不同算法在对输入图像进行分类时重点关注的区域在视觉上进行可视化处理，以便于了解模型做出决策时的核心图像区域。由于分类器根据细胞核仁的形态对病理图像进行分级预测，因此网络的感兴趣区域如果更集中在细胞核区域，就能够提取更多有用的分类特征，排除无关区域的干扰，从而使网络的性能更优。对于图7的3张输入图像，sECANet在分类决策时相较于基础网络ResNet50，以及融合其他通道注意力机制的ResNet50+SeNet, ResNet50+ECANet要关注到病理图像中更多的细胞核，因此可以提取更多有用的特征，从而得到最佳的分类性能。

图 7 融合不同注意力模块的ResNet50模型相同输入图像下的Grad-CAM图

下载: 全尺寸图片幻灯片

3.6 和其他网络进行比较

为了进一步验证ResNet50+sECANet模型的分类效果，将本文方法与近几年代表性的ShuffleNet V2, DenseNet121和VGG16等分类方法进行了对比，所有方法均使用本文构建的数据集，实验评价指标采用Acc，Pre，Rec与F1进行定量分析，不同算法在Patch级别的分类性能见表4。本文提出的ResNet50+sECANet模型的准确率为78.48±3.17%，精确率为79.95±4.37%，召回率为78.43±2.44，F1分数为78.51±3.04%，与其他几种网络算法相比均最高，同时各个分类性能指标的标准差最小，表明我们提出的ISUP分级模型整体的预测效果优于其他模型，且具有更好的泛化能力和更高的可靠性。

表 4 不同网络在Patch级别的分类性能(%)对比

方法	Acc	Pre	Rec	F1
ShuffleNet V2^[20]	75.87±5.03	77.78±5.64	75.87±5.34	75.79±5.13
DenseNet121^[24]	76.64±3.81	76.96±5.06	76.42±3.49	75.93±3.72
VGG16^[15]	75.89±3.60	77.20±5.38	74.97±4.88	74.66±4.70
本文ResNet50+sECANet	78.48±3.17	79.95±4.37	78.43±2.44	78.51±3.04

下载: 导出CSV

| 显示表格

表5是本文提出的ResNet50+sECANet 与ShuffleNet V2, DenseNet121, VGG16等不同算法在Image级别上分类性能的对比结果。ResNet50+sECANet预测所有病例的ISUP分级的准确率达到88.89%，精确率达到89.88%，召回率达到87.65%，F1分数达到88.51%，在所有的模型中均表现出最优的性能。

表 5 不同网络在Image级别的分类性能(%)对比

方法	Acc	Pre	Rec	F1
ShuffleNet V2^[20]	85.56	87.6	83.71	84.92
DenseNet121^[24]	86.67	86.46	86.33	86.15
VGG16^[15]	84.44	84.95	82.49	83.38
本文ResNet50+sECANet	88.89	89.88	87.65	88.51

下载: 导出CSV

| 显示表格

4. 结束语

本文针对ECANet通道注意力模块在捕获特征通道间相互依赖关系时只考虑临近通道而忽略远距离通道的不足，提出了一种两者兼顾的通道注意力模块sECANet，并将其应用于ccRCC病理图片的Patch级别的ISUP分级预测。在得到每个患者Patch级别的预测结果后，再通过多数投票法得到相对应患者Image级别的分类结果。最终的实验结果表明，新的注意力模块能够有效地提升网络的分类能力和泛化能力，特别是有效提升了Image级别的预测结果。但是，本文提出的ccRCC ISUP分级模型识别ISUP 2级和ISUP 3级的性能还需改进，因此收集更多的典型数据以及如何利用卷积神经网络提取更有效区分ISUP等级的图像特征是下一步的研究方向之一。此外，本研究采用的数据集是从每个患者的全视野数字切片(Whole Slide Image, WSI)上对病变区域采样后得到的，因此进一步开发针对肾组织WSI图像的病理分级CAD也是未来的主要工作。

图 1 系统模型

下载: 全尺寸图片幻灯片

图 2 各任务卸载频率对比

下载: 全尺寸图片幻灯片

图 3 不同时隙T最小平均能耗对比

下载: 全尺寸图片幻灯片

图 4 各算法卸载结果对比

下载: 全尺寸图片幻灯片

图 5 隐私保护阈值 $\theta$ 的影响

下载: 全尺寸图片幻灯片

图 6 用户数N的影响

下载: 全尺寸图片幻灯片

图 7 分组大小k的影响

下载: 全尺寸图片幻灯片

表 1 PCOSA I 算法流程

输入：用户数N，各任务的卸载概率 ${P_{\rm{U}}}$ ，分组大小k，隐私保护　门限 ${\theta _p}$ ，隐私保护阈值 $\theta$
输出：分组结果及组内各卸载任务的平均频率
(1) 根据式(3)计算所有k个用户分组的代价
(2) 将N个用户随机排列，按顺序每k个为一组作为初始解 ${\rm{now}}$
(3) While $T > {T_{\min}}$
(4)　 ${\rm{new}} \leftarrow$ 随机交换可行解 ${\rm{now}}$ 中两个用户位置
(5)　 $\varDelta \leftarrow {\rm{cost(now)} } - {\rm{cost(new)} }$
(6)　　If $\varDelta \ge 0$
(7)　　　 ${\rm{now}} \leftarrow {\rm{new}}$
(8)　　Else
(9)　　　 ${\rm{now}} \leftarrow$ 以 ${{\rm{e}}^{\varDelta /T} }$ 的概率将 ${\rm{new}}$ 赋值
(10)　 $T = T \cdot \lambda$
(11) End While
(12) 通过将最优解 ${\rm{now}}$ 按顺序每k个为一组得到最优分组 $X$

下载: 导出CSV

表 2 PCOSA II 算法流程

初始化：卸载总次数 ${N_{\rm{O}}}$ =0；
任务累积卸载次数 ${{N} } = 0$
(1) 观察用户当前的 $h_i^2{\rm{(} }t{\rm{)} },i = 1,2, ···, {N_{ {\rm{AP} } } }$ 和 $\xi (t)$ ；
(2) 计算最优的 ${f^}{\rm{(}}t{\rm{)}},\;E_{\rm{L}}^{\rm{(}}t{\rm{)}},\;{p^}{\rm{(}}t{\rm{)}},\;E_{\rm{M}}^{\rm{(}}t{\rm{)}}$ ；
(3) If ${p^*}{\rm{(}}t{\rm{)}} > {p_{{\rm{max}}}}$ 无法卸载
(4)　If ${f^*}{\rm{(}}t{\rm{) > }}{f_{{\rm{max}}}}$ 丢弃任务， $E{\rm{(}}t{\rm{) = }}{E_0}$ ；
(5)　　Else 本地处理， $E{\rm{(}}t{\rm{) = }}E_{\rm{L}}^*{\rm{(}}t{\rm{)}}$ ；
(6) Else
(7)　根据式(4)计算可卸载任务数 $N_m^{\rm{P}}$
(8)　flag初始化为1，根据式(5)为flag赋值0；
(9)　If flag==1
(10)　　执行卸载， $E{\rm{(}}t{\rm{) = }}E_{\rm{M}}^*{\rm{(}}t{\rm{)}}$
(11)　　 $N_{\rm{O}}^{}$ 和 ${N_m}$ 均累加1；
(12)　Else
(13)　　本地处理， $E{\rm{(}}t{\rm{) = }}E_{\rm{L}}^*{\rm{(}}t{\rm{)}}$ ；
(14)　　根据式(6)生成假任务

下载: 导出CSV

表 3 模型参数设置

参数	取值
单位时隙长度 ${l_s}$	1 ms
信道增益 $h_i^2$ 服从指数分布，均值 $\overline {h_i^2}$	–90 dB
信道增益 $h_i^2$ 服从指数分布，量化步长 $\delta _{{h^2}}^i$	$\overline {h_k^2} /1000$
上行链路带宽 ${W_i}$	1 MHz
噪声功率密度 $N_0^i$	${10^{ - 19}}\;{\rm{W/Hz}}$
CPU最大频率 ${f_{\max}}$	2 GHz
能耗系数 $\kappa$	${10^{ - 28}}$
终端天线最大发射功率 ${p_{\max}}$	1 W
任务大小b	${10^3}$ bit
处理1 bit数据所需CPU循环数 $\beta$	${10^3}$
任务截止时间 $\xi {\rm{(}}t{\rm{)}}$ 服从均匀分布	$\left\{ {0.01{l_s},0.02{l_s}, ··· ,{l_s}} \right\}$
任务丢弃代价 ${E_0}$	$10 \cdot \kappa \beta bf_{{\rm{max}}}^2$

下载: 导出CSV

参考文献(18)

NI Jianbing, LIN Xiaodong, and SHEN X S. Toward edge-assisted internet of things: From security and efficiency perspectives[J]. IEEE Network, 2019, 33(2): 50–57. doi: 10.1109/MNET.2019.1800229

YOUSEFPOUR A, FUNG C, NGUYEN T, et al. All one needs to know about fog computing and related edge computing paradigms: A complete survey[J]. Journal of Systems Architecture, 2019, 98: 289–330. doi: 10.1016/j.sysarc.2019.02.009

徐瑨, 吴慧慈, 陶小峰. 5G网络空间安全对抗博弈[J]. 电子与信息学报, 2020, 42(10): 2319–2329. doi: 10.11999/JEIT200058

XU Jin, WU Huici, and TAO Xiaofeng. 5G cyberspace security game[J]. Journal of Electronics &Information Technology, 2020, 42(10): 2319–2329. doi: 10.11999/JEIT200058

MACH P and BECVAR Z. Mobile edge computing: A survey on architecture and computation offloading[J]. IEEE Communications Surveys & Tutorials, 2017, 19(3): 1628–1656. doi: 10.1109/COMST.2017.2682318

张海波, 李虎, 陈善学, 等. 超密集网络中基于移动边缘计算的任务卸载和资源优化[J]. 电子与信息学报, 2019, 41(5): 1194–1201. doi: 10.11999/JEIT180592

ZHANG Haibo, LI Hu, CHEN Shanxue, et al. Computing offloading and resource optimization in ultra-dense networks with mobile edge computation[J]. Journal of Electronics &Information Technology, 2019, 41(5): 1194–1201. doi: 10.11999/JEIT180592

MENG Xianling, WANG Wei, WANG Yitu, et al. Delay-optimal computation offloading for computation-constrained mobile edge networks[C]. 2018 IEEE Global Communications Conference, Abu Dhabi, United Arab Emirates, 2018: 1–7. doi: 10.1109/GLOCOM.2018.8647703.

ZHANG Guanglin, ZHANG Wenqian, CAO Yu, et al. Energy-delay tradeoff for dynamic offloading in mobile-edge computing system with energy harvesting devices[J]. IEEE Transactions on Industrial Informatics, 2018, 14(10): 4642–4655. doi: 10.1109/TII.2018.2843365

ZHANG Peiyun, ZHOU Mengchu, and FORTINO G. Security and trust issues in Fog computing: A survey[J]. Future Generation Computer Systems, 2018, 88: 16–27. doi: 10.1016/j.future.2018.05.008

NI Jianbing, ZHANG Aiqing, LIN Xiaodong, et al. Security, privacy, and fairness in fog-based vehicular crowdsensing[J]. IEEE Communications Magazine, 2017, 55(6): 146–152. doi: 10.1109/MCOM.2017.1600679

HE Xiaofan, LIU Juan, JIN Richeng, et al. Privacy-aware offloading in mobile-edge computing[C]. 2017 IEEE Global Communications Conference, Singapore, 2017: 1–6. doi: 10.1109/GLOCOM.2017.8253985.

MIN Minghui, WAN Xiaoyue, XIAO Liang, et al. Learning-based privacy-aware offloading for healthcare IoT with energy harvesting[J]. IEEE Internet of Things Journal, 2019, 6(3): 4307–4316. doi: 10.1109/JIOT.2018.2875926

HE Xiaofan, JIN Richeng, and DAI Huaiyu. Deep PDS-learning for privacy-aware offloading in MEC-enabled IoT[J]. IEEE Internet of Things Journal, 2019, 6(3): 4547–4555. doi: 10.1109/JIOT.2018.2878718

赵星, 彭建华, 游伟. 基于Lyapunov优化的隐私感知计算卸载方法[J]. 电子与信息学报, 2020, 42(3): 704–711. doi: 10.11999/JEIT190170

ZHAO Xing, PENG Jianhua, and YOU Wei. A privacy-aware computation offloading method based on Lyapunov optimization[J]. Journal of Electronics &Information Technology, 2020, 42(3): 704–711. doi: 10.11999/JEIT190170

WANG Shangguang, ZHAO Yali, XU Jinliang, et al. Edge server placement in mobile edge computing[J]. Journal of Parallel and Distributed Computing, 2019, 127: 160–168. doi: 10.1016/j.jpdc.2018.06.008

LIN Xue, WANG Yanzhi, CHANG N, et al. Concurrent task scheduling and dynamic voltage and frequency scaling in a real-time embedded system with energy harvesting[J]. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, 2016, 35(11): 1890–1902. doi: 10.1109/TCAD.2016.2523450

ZHANG Weiwen, WEN Yonggang, GUAN K, et al. Energy-optimal mobile cloud computing under stochastic wireless channel[J]. IEEE Transactions on Wireless Communications, 2013, 12(9): 4569–4581. doi: 10.1109/TWC.2013.072513.121842

黄开枝, 潘启润, 袁泉, 等. 一种侧信道风险感知的虚拟节点迁移方法[J]. 电子与信息学报, 2019, 41(9): 2164–2171. doi: 10.11999/JEIT180905

HUANG Kaizhi, PAN Qirun, YUAN Quan, et al. A virtual node migration method for sensing side-channel risk[J]. Journal of Electronics &Information Technology, 2019, 41(9): 2164–2171. doi: 10.11999/JEIT180905

SWEENEY L. k-anonymity: A model for protecting privacy[J]. International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, 2002, 10(5): 557–570. doi: 10.1142/S0218488502001648

施引文献

资源附件(0)

访问统计

图(7) / 表(3)

计量

文章访问数: 2026
HTML全文浏览量: 828
PDF下载量: 163
被引次数: 0

1. 引言
2. 基于sECANet通道注意力机制的卷积神经网络
2.1 卷积神经网络和通道注意力机制
2.2 sECANet通道注意力模块
2.3 ResNet50+sECANet卷积神经网络结构
3. 实验与结果分析
3.1 数据集
3.2 数据预处理
3.3 实验环境与训练设置
3.4 系统评价方法
3.5 验证sECANet有效性的消融实验
3.6 和其他网络进行比较
4. 结束语

1. 引言
2. 基于sECANet通道注意力机制的卷积神经网络
2.1 卷积神经网络和通道注意力机制
2.2 sECANet通道注意力模块
2.3 ResNet50+sECANet卷积神经网络结构
3. 实验与结果分析
3.1 数据集
3.2 数据预处理
3.3 实验环境与训练设置
3.4 系统评价方法
3.5 验证sECANet有效性的消融实验
3.6 和其他网络进行比较
4. 结束语

参考文献(18)

施引文献

资源附件(0)

访问统计

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于k-匿名的隐私保护计算卸载方法

doi: 10.11999/JEIT191046

通讯作者:
赵星　ndsc_zx@163.com

计量

A Privacy-preserving Computation Offloading Method Based on k-Anonymity

1. 引言

2. 基于sECANet通道注意力机制的卷积神经网络

2.1 卷积神经网络和通道注意力机制

2.2 sECANet通道注意力模块

2.3 ResNet50+sECANet卷积神经网络结构

3. 实验与结果分析

3.1 数据集

3.2 数据预处理

3.3 实验环境与训练设置

3.4 系统评价方法

3.5 验证sECANet有效性的消融实验

3.6 和其他网络进行比较

4. 结束语

计量

目录

1. 引言

2. 基于sECANet通道注意力机制的卷积神经网络

2.1 卷积神经网络和通道注意力机制

2.2 sECANet通道注意力模块

2.3 ResNet50+sECANet卷积神经网络结构

3. 实验与结果分析

3.1 数据集

3.2 数据预处理

3.3 实验环境与训练设置

3.4 系统评价方法

3.5 验证sECANet有效性的消融实验

3.6 和其他网络进行比较

4. 结束语

留言板

基于k-匿名的隐私保护计算卸载方法

doi: 10.11999/JEIT191046

通讯作者: 赵星 ndsc_zx@163.com

计量

出版历程

A Privacy-preserving Computation Offloading Method Based on k-Anonymity

1. 引言

2. 基于sECANet通道注意力机制的卷积神经网络

2.1 卷积神经网络和通道注意力机制

2.2 sECANet通道注意力模块

2.3 ResNet50+sECANet卷积神经网络结构

3. 实验与结果分析

3.1 数据集

3.2 数据预处理

3.3 实验环境与训练设置

3.4 系统评价方法

3.5 验证sECANet有效性的消融实验

3.6 和其他网络进行比较

4. 结束语

计量

出版历程

目录

1. 引言

2. 基于sECANet通道注意力机制的卷积神经网络

2.1 卷积神经网络和通道注意力机制

2.2 sECANet通道注意力模块

2.3 ResNet50+sECANet卷积神经网络结构

3. 实验与结果分析

3.1 数据集

3.2 数据预处理

3.3 实验环境与训练设置

3.4 系统评价方法

3.5 验证sECANet有效性的消融实验

3.6 和其他网络进行比较

4. 结束语

通讯作者:
赵星　ndsc_zx@163.com