1.   引言

信息化时代的来临使得机器学习技术大放异彩，在诸多领域出现了大量相关应用^[1,2]。然而，由于其计算过程需要大量数据作为支撑，在数据收集、分析、输出等过程中，不可信第三方可以轻松地得到用户的个人隐私数据，这带来了极大的隐私风险。例如，2018年3月，美国社交媒体公司Facebook承认超过5000万的用户信息被非法收集；2022年6月，国内学习软件“超星学习通”疑似发生大规模学生信息泄露事件。伴随着种种隐私事件的发生，人们对隐私保护的需求越来越高，对个人信息的合法利用越来越重视。因此，如何对用户的个人隐私加以保护成为当下研究的热点。

作为一种新型的分布式机器学习技术，联邦学习(Federated Learning, FL)^[3]提供了一种实现隐私计算的有效途径。与传统的服务器统一收集数据并建模不同，联邦学习能够在数据不共享的情况下构建全局模型，极大地保证了每个参与者的数据安全^[4]。然而，已有研究表明非法攻击者可以仅根据参与方上传的部分梯度参数或者模型权重揭示原始训练数据^[5]，因此联邦学习中仍存在隐私泄露风险。此外，参与方可能主动或被动地对数据或者模型进行投毒，导致最终训练的模型偏离正常^[6,7]。同时联邦学习需要服务器与远程客户端之间不断地进行数据传输，大规模的客户端很容易对通信网络造成巨大的带宽负担，如果中心服务器通信开销过大，将无法满足正常的应用需求，这就要求联邦学习下的隐私保护研究需要在保证数据安全的前提下，提高通信效率和模型精度。为此，本文提出了一种基于相似度聚类的可信联邦安全聚合方案(Trusted Federated Secure Aggregation via Similarity Clustering, FSA-SC)。不同于已有联邦安全聚合方法^[8-10]，FSA-SC基于对客户端的综合度量选取候选参与方，基于候选客户端的相似性对其分组并识别恶意参与方。

论文的主要贡献总结如下：

(1) 提出了基于多属性的权重计算方法，根据客户端的数据量、通信距离和状态3个属性综合度量客户端权重，选择优质客户端参与各个轮次的联邦学习，能够加快数据建模的同时减少数据交换中的通信消耗；

(2)提出了基于客户端相似度聚类的可信联邦安全聚合方法，根据候选客户端间相似性将其分类为良性客户端类和异常客户端类，两类客户端分别使用相应的安全聚合算法，保证了数据传递过程的安全性。同时针对客户端掉线和恶意客户端存在的情况，对客户端类中的成员使用类内广播和二次协商，并对异常客户端进行参数替换和记录，检测识别恶意客户端，有效提升联邦学习安全性和可信性；

(3)实验选取联邦推荐场景，以MovieLens 1M, Netflix数据集和Amazon抽样数据集为实验数据集，验证了FSA-SC在不同攻击规模下的有效性和鲁棒性。

2.   相关工作

联邦学习框架中，参数的传递和聚合过程存在安全隐患，为此研究者基于差分隐私、同态加密、多方安全计算等技术提出了不同的安全解决方案。

在隐私保护增强方面，Lin等人^[11]向随机采样的物品以及模拟评分添加扰动值，有效地混淆了服务器，但一定程度上降低了模型的精度；Minto等人^[12]利用本地差分隐私模块以及代理网络实现了更新梯度矩阵的保护，但差分隐私的应用同样影响了模型的效用。为了实现模型的无损性，Tang等人^[13]提出使用加法同态机制进行保护，通过对梯度加密来实现隐私安全，但通信开销太大；Chen等人^[14]针对纵向联邦学习场景，使用乘法同态算法保护了重要参数，但在横向联邦学习下计算开销将大大增加；Jeong等人^[15]结合了降噪差分隐私与加性同态加密，有效地保障了系统的隐私性，但通信效率仍然需要改进。为了平衡模型精度和通信效率之间的关系，Xu等人^[16]将差分隐私和基于功能加密的安全多方计算结合；Zhang等人^[17]提出了一种在可信环境下对客户端分层进行混洗的方案，保护了数据隐私；Sun等人^[18]将本地差分隐私和参数混洗相结合，提高了系统的安全性。综合来看，主流隐私保护技术中同态加密技术虽然保护效果好，但通信开销较大；差分隐私技术虽然轻量化，但会损耗一定的模型精度，影响最终的建模效果；多方安全计算能够实现模型的无损性，并且通信效率较高，相较于其他两种技术更加适合联邦学习的应用场景。现有研究主要针对参数的安全问题引入安全多方计算，确保参数的安全聚合。Bonawitz等人^[8]设计了一种安全聚合加密方案，通过客户端之间协商成对加性掩码并进行混洗操作，保护了真实参数，但因为其协商密钥和秘密分享技术的使用，在大规模客户端的情况下存在巨大通信开销；针对这一问题，Mandal等人^[10]在协商密钥操作的基础之上采用简化密钥储存和交换的流程来降低通信开销，但是没有考虑到恶意客户端带来的隐私风险；Bell等人^[9]通过引入一种数据结构，将本地输入隐藏在某个随机数下，再将所有输入并成一个集合，从而隐藏客户端的位置信息，虽然避免了恶意节点的攻击但通信开销仍然较大。所以现有安全聚合研究要在保证数据隐私安全性的前提下，尽可能减少通信开销，并且需要对潜在的攻击者和随时可能离线的参与者做出防御和应对。

在联邦学习鲁棒性方面，Tolpegin等人^[19]通过对上传的模型参数进行PCA降维，然后聚类找到恶意客户端，但牺牲了一定程度的隐私，并且与安全聚合不兼容；Sun等人^[20]通过裁剪模型更新的方式来削减恶意客户端的影响，但对模型精度有一定的损失；Yin等人^[21]使用局部模型更新中每一维的中值来参与聚合，但是对非独立同分布的数据准确性较低；Gao等人^[22]设计参数来控制客户端模型更新的上传比例，但只是在一定程度上减轻恶意攻击的影响，并不能完全消除。综合来看，现有研究大都针对局部参数进行限制或修改来削弱恶意攻击者的影响，一方面不能完全消除恶意客户端影响，另一方面会影响正常客户端的模型收敛。此外，部分防御方法会牺牲一定程度的隐私，与安全聚合不兼容，无法在联邦学习隐私安全的场景下使用。

在联邦学习通信效率方面，考虑到某些客户端参数更新变化较小，而传输数据所带来的通信消耗却不容忽视，因此Mcmahan等人^[23]提出了著名的FedAvg算法，它选取客户端的策略是随机抽取，虽然大大降低了通信成本，但是会加剧数据异质性的不利影响；Chai等人^[24]提出了基于层级的联邦学习系统，能够自适应地选择每轮训练时间相近的客户端，选取方案更加灵活；Ribero等人^[25]提出了一种策略，即只有当模型更新的范数超过预先确定的通信阈值时，客户端才会将其计算得到的模型权重传送给中央服务器。现有研究的目的是选取更有价值的客户端参与联邦学习，能够在不显著影响模型精度的情况下大大提高通信效率。

3.   FSA-SC

图1给出了本文提出的基于相似度聚类的联邦安全聚合方法FSA-SC的整体流程。

图 1  FSA-SC算法流程

下载: 全尺寸图片 幻灯片

从图1可以看出，FSA-SC每个迭代轮次可概括为以下4个步骤：

(1)中心服务器首先向各个客户端下发全局模型；

(2)客户端使用本地数据训练本地模型，然后将全局模型和本地模型的差值标准化并发送给服务器；

(3)服务器计算客户端相似度并将其划分为良性客户端类和异常客户端类；

(4)两类客户群内分别采用相应的安全聚合算法，各个客户端将茫化后的参数传递给服务器进行聚合。

3.1   基于多属性评估的客户端选择

联邦平均算法中，客户端的权值仅和客户端参与局部训练的数据量大小有关^[25]，这种权重方式尽管简单但不完善。受文献[26,27]启示，本节从数据量大小、通信开销和客户端状态3方面综合设计客户端选取策略。其中，数据量大的客户端对联合建模的贡献也大，对全局模型的更新也更具有效性；通信距离描述的是客户端和服务器之间传递数据的效率，客户端的通信距离小也就意味着服务器率先收到其发来的数据。当某个客户端网络状况不好或者发生了掉线的情况时，它的通信距离就会变大，在后续迭代过程中很难被选取；客户端状态的设置符合恶意客户端检测的要求，避免其在训练过程中对模型产生负面影响。

每个客户端设置3元组$(D,S,E)$，$D$为客户端所持有的数据量，$S$为客户端这一时刻与服务器间的通信距离，$E$表明客户端的状态。若客户端被服务器认定为恶意的，则$E$设置为0，否则为1。所有客户端的3元组由服务器来维护，服务器在初始阶段会对每个3元组进行加权求和得到评估值。令${\theta _i}$为第$i$个客户端的评估值，${E_i}$为其状态，${D_i}$和${S_i}$分别为数据量和通信距离，${D_{\max }}$和${D_{\min }}$分别表示所有客户端中的最大和最小数据量，${S_{\max }}$和${S_{\min }}$分别表示服务器与所有客户端间的最大和最小通信距离，则${\theta _i}$的计算公式为

其中，$\alpha$和$\beta$为权重，当客户端数量较少时，客户端数据量的影响更大，$\alpha$所占比重更大，反之客户端数量较多时，通信距离影响更大，$\beta$所占比重更大。服务器对所有的客户端评估值${\theta _1},{\theta _2}, \cdots ,{\theta _k}$从高到低进行排序，选择评估值较高的客户端参与当前轮次的通信。

3.2   基于相似度的客户端聚类

选取参与参数聚合的客户端，有利于减少通信资源开销的同时加快全局模型收敛。然而被选中的客户端有可能是恶意参与方，为此需进一步对这些客户端进行过滤筛选。对于恶意客户端，无论是数据中毒还是模型中毒，在参数聚合过程中均能够改变全局模型收敛的方向，这将导致上传的本地模型相较于其他正常客户端存在较大差距，因此可基于客户端间的相似度进行聚类，识别恶意参与方。在每个迭代轮次中，令${W_{\rm{{global}},i}}$和${W_{{\rm{local}},i}}$分别表示客户端$i$对应的全局模型和本地模型参数，二者之间的差值${W_i}' = {W_{{\rm{global}},i}} - {W_{{\rm{local}},i}}$代表模型的变化程度和变化趋势。正常客户端模型具有相似的收敛方向，全局模型和本地模型参数差值也会更加相近。客户端$i$计算${W_i}'$，$Z - {\rm{score}}$标准化后得到$N{W_i}$传递给服务器。其中，$Z - {\rm{score}}$标准化不会改变原数据参数的分布，不仅能够保持原有的参数收敛方向还可以防止服务器通过参数明文直接推导出原始数据。

服务器收到任意客户端$i$的$N{W_i}$后，使用余弦相似度计算不同客户端之间的相似值，由于模型参数是高维数据，因此需降维成1维数据。令$S_{\rm{u}}^1$和$S_{\rm{v}}^1$代表客户端${\rm{u}}$和${\rm{v}}$的1维参数数据，则二者余弦相似度为

基于客户端间的相似度，服务器利用$k - {\rm{means}}$聚类将参与聚合的客户端分为两类，规模较大的类称为良性客户端类，规模较小的类称为异常客户端类。本文认为良性客户端类中包含的都是正常客户端，能够直接执行安全聚合，而在异常客户端类中，异常客户端需分为两种情况：一种是因为数据异构或者初次参与联邦学习过程而导致模型参数变化较大的正常客户端，这种客户端在初始阶段不可避免地会被选入异常客户端类，但其本地模型与全局模型的差异会随着不断更新越来越小，逐渐被划分为良性客户端类。而另外一种就是恶意客户端，它会在任意迭代轮次中更改本地模型参数从而影响全局模型，其模型更新不会随着迭代的进行而逐渐趋于正常。所以服务器每轮都要对异常客户端类中的客户端进行记录，当某个异常客户端被记录的次数超过设定的阈值时，认为其是恶意客户端，将其3元组中$E$的值设置为0，无法参与后续的联邦过程。

3.3   安全聚合协议

本文安全聚合协议的核心操作是协商交换掩码，所以只支持服务器在参数聚合阶段进行加法参数平均。服务器在当前轮次将来自良性客户端类和异常客户端类中的参数相加，除以参与聚合的客户端数量，得到的模型参数作为下一轮的全局模型。良性和异常客户端类执行不同的参数安全聚合操作。

良性客户端类中，协商掩码交换会使茫化后的模型参数难以分辨，客户端之间无法通过参数交换获取隐私，同时服务器只能得到类内参数之和，无法通过单一参数重构出私人数据，有利于提高隐私的安全性；异常客户端类中，大概率存在恶意客户端，所以削弱异常客户端对全局模型更新的贡献，在安全聚合的基础之上进行参数替换，以此来避免恶意攻击的威胁。茫化过程如图2所示，其中图2(a)表示客户端聚类，绿色标识为良性客户端，红色标识为异常客户端，图2(b)表示参数茫化过程，同一类群内的客户端建立环形连接，各个客户端与前后邻居节点进行掩码交换，最终所有客户端的本地参数都实现了茫化(图2(b)中红色标识)。

图 2  茫化过程

下载: 全尺寸图片 幻灯片

3.3.1   良性客户端类安全聚合

良性客户端类中，在完成参数安全聚合的基础之上考虑到通信资源消耗和客户端掉线问题，保证协议实现安全性、高效性和强鲁棒性。在同一类内，客户端按照相似度大小依次排列形成环形关系图，每个客户端只和前后邻居节点进行协商掩码操作，相较于Bonawitz等人^[8-10]设计的客户端交互流程，本文的环形结构只需要客户端和邻居节点交互，大大减少了通信开销和资源消耗。协商掩码是通过客户端之间进行ECDHE密钥交换得到共同的会话密钥，并作为随机数种子来产生随机数进行交换和茫化。各个客户端都完成了与邻居节点的交互后，服务器就无法通过上传的参数还原出某个客户端的本地数据，实现了类群内的安全聚合。

针对客户端掉线的情况，本文要求同一类群中的每个客户端完成与前后邻居节点的掩码交换后，随即向类群广播自己茫化后的参数，这样当某个客户端收到了其他所有客户端的参数时，会将所有参数相加上传给服务器。这种情况下，某些客户端在后续过程中的突然掉线不会影响类群内参数的传输，只要服务器收到某个类群中传输最快的客户端的数据就可以完整得到整个类群内所有客户端的数据，不需要等待其他客户端，避免类群内网络状况不好的客户端对通信流程的影响，提高了安全聚合的鲁棒性。相较于客户端将茫化后的参数数据直接传递给服务器，本文所提方案减少了服务器的通信负担，避免了参数聚合时缺少数据的情况。

若类群中客户端一直收不到某个客户端广播的参数数据，超过一定时间阈值后则认为这个客户端在广播时发生了掉线或宕机，这种情况下类群会针对掉线客户端的前后邻居节点重复新一轮的协商掩码交换。由于掉线客户端及其邻居节点的参数数据已经经过掩码交换，所以二次协商掩码交换之前需要消除掉线客户端产生的随机数的影响。交换流程如图3所示，以环形关系中相邻的3个客户端${\rm{Client}}0$，${\rm{Client}}1$和${\rm{Client}}2$为例，客户端之间通过交换${S}_{\mathrm{0,1}}$和${S}_{\mathrm{1,2}}$完成本地参数的茫化，从图中可以发现每个客户端的参数都发生了改变。在后续过程中${\rm{Client}}1$发生了掉线(图中虚线所示)，${\rm{Client}}0$和${\rm{Client}}2$首先保留本地茫化后的参数，将与${\rm{Client}}1$交换的掩码还原到本地参数，然后${\rm{Client}}0$与${\rm{Client}}2$进行二次协商掩码，交换${S}_{\mathrm{0,2}}$再次实现茫化。

图 3  二次协商

下载: 全尺寸图片 幻灯片

如果广播过程中出现客户端掉线的情况，其前客户端会消除掉线客户端与之交换的掩码，后客户端会恢复其传递给掉线客户端的掩码，完成之后前后客户端建立连接并协商掩码交换，重新传递新的随机数。当某个客户端网络状况不好或传输距离较远，广播的数据需要较长时间才能达到类内其他客户端，这种情况下很容易被误判断为掉线，如果将后客户端产生的掩码直接发送给前客户端，那么随后被误判断掉线的客户端的数据到达其他客户端时，会带来参数数据泄露的风险。所以通过前客户端和后客户端重新协商掩码的方式来避免上述问题的发生，由于新的掩码只有前后邻居节点知道，类群内的其他客户端无法还原出其本地数据。

3.3.2   异常客户端类安全聚合

异常客户端类中，同样对客户端构建环形关系图进行协商掩码交换，茫化后的各个客户端向类群内广播自己的参数。与良性客户端类不同的是，异常类中可能存在恶意客户端，所以对异常类的参数聚合过程进行修改，削弱异常类中恶意更新对全局模型收敛的影响。服务器在收到异常客户端类上传的参数时，随机将参数中比例为$d$的部分修改为当前轮次全局模型的参数，即将客户端本地训练后的模型参数中一部分数据更改为未训练的模型参数，弱化异常类中客户端对全局模型更新的贡献，其中$d$的值较大，一般设置为大于70%。

由于异常客户端类中的客户端数量较少，特定数量的客户端无法完成上述的安全聚合过程。当类中只有两个客户端时，双方进行协商掩码交换后不再进行参数广播，而是直接将参数上传给服务器。当其中某个客户端掉线时，这个异常客户端类就不再参与全局模型的更新；当类内只有一个客户端时，认为其有很大概率是恶意客户端，所以服务器不使用它的参数进行聚合操作。

4.   安全聚合性能评估

4.1   安全性分析

本小节主要针对客户端聚类过程和类内安全聚合过程，从服务器和恶意客户端的角度分析可能存在的威胁和框架的安全性。在客户端聚类过程中，客户端将本地模型和全局模型的差值标准化后传递给服务器，不可信服务器在只知道本轮次全局模型参数的情况下无法通过标准化后的数据反推出模型差值，避免了数据泄露风险。若存在恶意客户端，其模型差值与正常客户端有着不同的特征分布，而标准化并不改变数据的特征分布，所以恶意客户端的模型差值经过标准化后可以通过相似度聚类分辨出来。若恶意客户端想要通过更改上传值从而被划分到良性客户端类，那么需要获取其他客户端的模型收敛方向并更改自己的模型参数，这种操作在安全聚合框架下是难以实现的，所以所提安全聚合协议在客户端聚类过程中具有良好的安全性。

在参数安全聚合过程中，使用交换协商掩码作为核心操作从而实现数据保护，其安全性已经被Bonawitz等人^[8]证明，本文不再赘述。客户端之间协商密钥和交换掩码的过程中，第三方无法从中窃取数据。不可信服务器进行参数聚合时，无法获取某个客户端的真实参数，只能得到共同聚合后的参数数据。在异常客户端类中，选择牺牲部分模型精度来削弱恶意客户端对全局模型的负面影响，从而提高了协议的安全性。

4.2   高效性分析

为验证所提方法高效性，与Bonawitz等人^[8]提出的安全聚合算法SMPC进行对比，结果如表1所示。其中$：m$为客户端数量，$n$为传输数据的位数，$r$为传输数据的维度，$\gamma$为DH密钥占用的位数，${\gamma }'$为ECDHE密钥占用的位数，$c\left(r,n\right)$为产生伪随机数的成本，$\vartheta$为掉线客户端数量，$\mu$为伪随机数。

表 1  FSA-SC和SMPC性能对比

	通信	计算	存储	方法
用户	$O(m\gamma +nr)$	$O({m}^{2}+\left(m-1\right)c\left(r,n\right))$	$O(\left(\gamma +2\mu \right)m+nr)$	SMPC
	$O(m{\gamma }'+(1+m\left)nr\right)$	$O\left(\right(m+1)m+c\left(r,n\right))$	$O(\gamma +2\mu +mnr)$	FSA-SC
服务器	$O({m}^{2}\gamma +nmr)$	$O({m}^{2}+(m-\vartheta \left)\right(m-1\left)c\right(r,n\left)\right)$	$O({m}^{2}\mu +mnr)$	SMPC
	$O(m\gamma +nr)$	$O(m+(m-\vartheta \left)c\right(r,n\left)\right)$	$O(m\mu +mnr)$	FSA-SC

下载: 导出CSV 

| 显示表格

5.   实验评估

为验证所提方案的有效性，以联邦推荐应用场景为例，在MovieLens 1M, Netflix和Amazon 3个数据集下进行实验对比，推荐算法为神经协同过滤(Neural Collaborative Filtering, NCF)模型^[28]。

5.1   实验数据集和参数设置

MovieLens 1M包含6 040个用户对3 952部电影的1 000 209个评分和评分时间；Netflix数据集包含了2 431个用户对3 984部电影的231 442个评分和评分时间；Amazon抽样数据集^[29]包含5 055个标记用户对17 610个项目共53 777个历史评分和评分时间戳。

在数据预处理阶段，为了降低数据集的稀疏程度，删除了数据集中交互次数少于5的用户，并按照推荐数据集中的常见做法，将五分制的评分转化为隐式反馈^[30]，将评过分的用户项目交互标签设置为1。数据集的划分采用${\rm{leave}}$-${\rm{one}}$-${\rm{out}}$方法^[31]，将数据集中每个用户最后一次的评分数据作为验证集，剩余的评分数据作为训练集，同时将验证集中每个用户项目交互与99个随机抽样的未交互(标签为0)相混合构成测试集。将训练集根据用户数量平均分发到各个客户端，保证各客户端拥有等用户数量的数据。实验中，各个客户端在本地使用神经协同过滤模型训练数据，客户端模型参数和联邦学习参数设置如表2所示。

表 2  参数设置

	客户端数量	通信次数	本地迭代次数	批次大小	学习率
MovieLens 1M	20	50	50	256	0.001
Netflix	20	30	50	256	0.001
Amazon	10	30	40	256	0.001

下载: 导出CSV 

| 显示表格

为验证本文所提FSA-SC方案的有效性，实验模拟联邦学习中后门攻击的发生，设置恶意客户端所占比例分别为10%, 20%和40%。恶意客户端在第6次通信时开启后门触发器，对本地模型参数注入中毒数据从而进行后门攻击。攻击持续到服务器与客户端结束通信，中毒数据是由本地数据重新随机修改和排序产生。异常客户端被认定为恶意客户端的记录次数为5，异常客户端上传的参数被替换的比例$d$为90%。在3个不同的数据集上部署NCF模型，注入恶意客户端进行比对训练并观察结果。然后在NCF的基础之上部署PartFedAvg^[22]和FSA-SC算法，并向其注入恶意客户端进行比对训练。

5.2   对比方法与评估指标

本文选用NCF和PartFedAvg作为对比方法，PartFedAvg是基于限制模型更新上传比例的聚合算法，通过上传部分更新参数来降低恶意模型的毒性。恶意客户端无法在短时间内上传完整的恶意参数，且每一轮聚合都会使全局模型倾向于良性客户端，抵消恶意参数的影响。选用命中率(${\text{HR@K}}$)作为评估模型好坏程度的指标。${\text{HR@K}}$即预测结果列表中预测正确的样本占所有样本的比例，强调预测的准确性。公式为

其中，$N$表示测试集合中目标项目的个数，${\text{hits}}(i)$表示第$i$个用户的交互项是否在推荐列表中，若是则该值为1，否则为0。

5.3   实验结果及分析

图4—图6分别给出了NCF, PartFedAvg和FSA-SC 3种方法在MovieLens 1M, Netflix和Amazon数据集上不同攻击比例下的命中率对比效果。

图 4  3种方法在MovieLens 1M数据集上的命中率对比

下载: 全尺寸图片 幻灯片

图 5  3种方法在Netflix数据集上的命中率对比

下载: 全尺寸图片 幻灯片

图 6  3种方法在Amazon数据集上的命中率对比

下载: 全尺寸图片 幻灯片

由图4(a)可以得到：在MovieLens 1M中没有恶意客户端介入的情况下，NCF模型的准确率可以达到0.58，PartFedAvg下的准确率出现一定程度的下降但不明显，但是由于每轮参数聚合时只有部分参数参与，所以模型收敛的轮数有所增加。FSA-SC下的准确率同样略有损失，对结果的影响可以忽略不计。同时FSA-SC模型收敛的通信次数要少于NCF，这说明FSA-SC中对异常客户端参数比例替换的操作能够加快全局模型的收敛。综合来看，FSA-SC能够加快模型的正常收敛且没有显著降低模型精度，保证了模型的有效性。

由图4(b), 4(c), 4(d)可以得到：NCF模型中注入恶意客户端后，模型精度发生显著下降。在第6轮次时，后门触发器开始工作，不同比例数量的恶意客户端造成不同程度的影响。在MovieLens 1M中，10%的恶意客户端使模型精度骤降为0.10左右；20%的恶意客户端使模型精度骤降为0.04左右；40%的恶意客户端使模型精度骤降为0.01左右。恶意客户端的出现使模型精度大幅下降且在后续过程中不会提升，导致联邦学习过程无法正常进行。在PartFedAvg中，因为MovieLens 1M数据量较大，模型收敛较慢，在第5轮次准确度为0.10左右，10%, 20%和40%的恶意客户端使准确度在第6轮次分别降低为0.09, 0.08, 0.07左右，这说明恶意客户端的出现并不会对其模型精度造成大幅下降。在FSA-SC中，第5轮次准确度为0.16左右，10%, 20%和40%的恶意客户端使准确度在第6轮次分别降低为0.14, 0.12, 0.11左右。因为后门攻击在恶意客户端生成的中毒数据经过聚类分类后能够被检测出，会将恶意客户端归入异常客户端类群内，所以中毒数据在安全聚合阶段会被当前全局模型高比例替换，因此对参数聚合和模型精度的负面影响大大降低。在恶意客户端被归入异常客户端类群后，如果被多次记录就会被服务器认定为恶意的，不再参与后续过程，所以在11轮次及以后的迭代过程中，恶意客户端被依次检测出来，脱离联邦学习过程。因此模型精度在11轮次后有显著提升，相比于6至10轮次模型收敛更快，这说明注入的恶意客户端被有效地检测出来，不再参与参数聚合操作。而PartFedAvg在第5轮次后模型收敛速度较为平稳，但是远远低于FSA-SC。

FSA-SC在开始排除恶意客户端的影响后大约20轮次，模型完成了收敛。收敛后的模型精度相较于无恶意客户端的正常情况有着略微降低，10%, 20%和40%的恶意客户端使得模型精度分别降低了0.03, 0.04, 0.07左右。而PartFedAvg由于只是削弱了恶意客户端的影响，没有检测出恶意客户端并排除，所以最终的模型效果相对较差，10%, 20%和40%的恶意客户端使得模型收敛轮数分别为44, 45, 48，模型精度分别降低了0.03, 0.08, 0.15左右。通过实验数据可以看出PartFedAvg对于高比例数量的恶意客户端的防御能力较差，同时模型收敛也需要更多轮次。相比来讲，FSA-SC对于后门攻击的鲁棒性更强，效率更高，因为恶意客户端不再参与后续联邦学习过程，所以最终的模型效果更优，建模水平的下降程度也在可控范围之内。

由图5(a)可以得到：Netflix数据集中没有恶意客户端时NCF与FSA-SC的模型收敛情况大致相同，PartFedAvg则收敛较慢。最终3种方法的模型准确率都达到了0.57左右，说明PartFedAvg和FSA-SC都能够达到正常的模型精度。由图5(b), 5(c), 5(d)可以得到：在Netflix数据集的第6轮次时，10%, 20%和40%的恶意客户端使NCF模型精度骤降到0.08, 0.02, 0.01左右且在后续迭代中不会提升。因为Netflix数据集相较于MovieLens 1M拥有更少的数据量，所以模型收敛较快。PartFedAvg在第5轮次时准确度达到了0.20左右，10%, 20%和40%的恶意客户端使准确度分别降低为0.18, 0.16, 0.11左右。FSA-SC在第5轮次时准确度达到了0.25左右，10%, 20%和40%的恶意客户端使准确度分别降低为0.18, 0.16, 0.10左右。FSA-SC在11轮次后大约10轮次就完成了收敛，在10%, 20%和40%的恶意客户端情况下，模型精度相较于正常情况分别降低了0.01, 0.03, 0.04左右。PartFedAvg在10%, 20%和40%的恶意客户端情况下的模型收敛轮数分别为20, 22, 22，模型精度分别降低了0.05, 0.10, 0.16左右。

由图6(a)可以得到：Amazon抽样数据集在没有恶意客户端时3种方法最终的模型准确率大致相同，但是相较于其他两种数据集，FSA-SC的收敛速度变慢，可能是因为Amazon抽样数据集的稀疏度较高，联邦学习初始有较多的良性参数更新被归为异常类群中，导致正常参数没有完全参与聚合。由图6(b)，图6(c)，图6(d)可以得到：在Amazon抽样数据集的第6轮次时，10%, 20%和40%的恶意客户端使NCF模型精度从0.57左右骤降到0.07, 0.03, 0.01左右且在后续迭代中不会提升。PartFedAvg在第5轮次的准确度达到了0.18左右，10%, 20%和40%的恶意客户端使准确度分别降低为0.16, 0.14, 0.11左右。FSA-SC在第5轮次的准确度达到了0.32左右，10%, 20%和40%的恶意客户端使准确度分别降低为0.29, 0.26, 0.21左右。

对比3种数据集中模型精度的变化可以发现，FSA-SC缓和恶意客户端对模型精度的瞬时影响更适用于高数据量和低客户端量，因为数据量的增多导致不同客户端本地模型之间的差异更明显，更有利于相似度聚类，同时较少的客户端数量使得恶意客户端更容易被划分到异常客户端类中，从而削弱其负面影响。与PartFedAvg相比，虽然恶意客户端的出现使得准确率变化较大，但是模型效果仍然优于PartFedAvg，适用性更广，效率更高。在Amazon抽样数据集中，FSA-SC在11轮次后大约10轮次就完成了收敛，在10%, 20%和40%的恶意客户端情况下，模型精度相较于正常情况分别降低了0.01, 0.02, 0.04左右。PartFedAvg在10%, 20%和40%恶意客户端情况下的模型收敛轮数分别为27, 29, 25，模型精度分别降低了0.05, 0.10, 0.15左右。作为小数据量的Netflix数据集和Amazon抽样数据集，与MovieLens 1M相比较可以发现FSA-SC在恶意客户端全部被检测出来的情况下，高数据量，高客户端数量使得恶意客户端离开前后数据的分散程度更小，所以模型精度变化更小，更加适用于真实的联邦学习场景。

综合来说，对于大规模数据量、高比例恶意客户端数量的联邦学习场景，FSA-SC能够在实现隐私安全的情况下，对于恶意攻击具有高效性和高鲁棒性。

6.   结束语

多方安全计算技术是联邦学习中隐私保护领域的热点，参数的安全聚合又是解决模型无损性的有效方案，因此本文从参数的安全聚合出发，考虑到模型的通信开销和恶意客户端的攻击，提出了基于相似度聚类的可信联邦安全聚合算法FSA-SC。基于客户端数据集大小以及与服务器间的通信距离进行综合评估，选取优质候选客户端参与聚合，能够有效降低联邦学习中的通信开销；根据候选客户端间的相似度，利用聚类将其划分为良性客户端和异常客户端，对不同类的参与方分别选用相应的安全聚合方法，在实现安全聚合的同时确保了聚合结果的可信性。仿真实验结果表明，与已有联邦安全聚合算法相比，本文所提FSA-SC方法能够降低联邦学习中的通信开销，在实现安全聚合的同时具有更强的鲁棒性。由于攻击技术不断发展，恶意客户端在攻击过程中更加侧重模拟正常用户的参数变化，利用更小的变化量或者其他方式来越过基于参数相似度的检测，或者客户端之间相互勾结，传递虚假参数从而破坏安全聚合的过程。因此在未来的工作中，我们将设计出更加健全完善的可信安全聚合算法，提高模型对于新型攻击的有效性和鲁棒性。