高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

面向6G工业物联网的联邦学习:从需求、愿景到挑战、机遇

刘淼 夏雨虹 赵海涛 郭亮 施政 朱洪波

刘淼, 夏雨虹, 赵海涛, 郭亮, 施政, 朱洪波. 面向6G工业物联网的联邦学习:从需求、愿景到挑战、机遇[J]. 电子与信息学报, 2024, 46(12): 4335-4353. doi: 10.11999/JEIT240574
引用本文: 刘淼, 夏雨虹, 赵海涛, 郭亮, 施政, 朱洪波. 面向6G工业物联网的联邦学习:从需求、愿景到挑战、机遇[J]. 电子与信息学报, 2024, 46(12): 4335-4353. doi: 10.11999/JEIT240574
LIU Miao, XIA Yuhong, ZHAO Haitao, GUO Liang, SHI Zheng, ZHU Hongbo. Federated Learning Technologies for 6G Industrial Internet of Things: From Requirements, Vision to Challenges, Opportunities[J]. Journal of Electronics & Information Technology, 2024, 46(12): 4335-4353. doi: 10.11999/JEIT240574
Citation: LIU Miao, XIA Yuhong, ZHAO Haitao, GUO Liang, SHI Zheng, ZHU Hongbo. Federated Learning Technologies for 6G Industrial Internet of Things: From Requirements, Vision to Challenges, Opportunities[J]. Journal of Electronics & Information Technology, 2024, 46(12): 4335-4353. doi: 10.11999/JEIT240574

面向6G工业物联网的联邦学习:从需求、愿景到挑战、机遇

doi: 10.11999/JEIT240574
基金项目: 新一代人工智能国家科技重大专项(2021ZD0113003)
详细信息
    作者简介:

    刘淼:男,博士,讲师,硕导,研究方向为认知无线网络、智能车联网、异构物联网、雾无线接入网、非正交多址技术、无人机通信、B5G/6G理论、基于模型驱动的深度学习技术等

    夏雨虹:男,硕士生,研究方向为联邦学习、工业物联网、边缘计算等

    赵海涛:男,博士,教授,博导,研究方向为智能网络技术、多信道建模技术、物联网、边缘计算等

    郭亮:男,博士,正高级工程师,研究方向为网络、计算和存储等算力相关的研究和支撑工作

    施政:男,博士,副教授,硕导,研究方向为可见光通信、半导体信息器件等

    朱洪波:男,博士,教授,博导,研究方向为移动通信与宽带无线技术、无线通信与电磁兼容

    通讯作者:

    赵海涛 zhaoht@njupt.edu.cn

  • 中图分类号: TN92

Federated Learning Technologies for 6G Industrial Internet of Things: From Requirements, Vision to Challenges, Opportunities

Funds: The National Science and Technology Major Project(2021ZD0113003)
  • 摘要: 随着6G技术的蓬勃发展和工业物联网的不断演进,联邦学习在工业领域的应用备受关注。因此,该文专注于探讨6G推动下工业物联网中联邦学习的发展与应用潜力,分析6G在工业物联网的应用前景,探索如何结合6G特性利用联邦学习技术满足数据隐私保护、资源优化和智能决策需求。首先,调研总结了现有相关工作,提出了联邦学习技术面向6G工业物联网应用场景的发展需求与愿景。在此基础上,构建了一种基于分层跨域架构的工业联邦学习新范式,旨在融合6G与数字孪生技术赋能实现泛在、灵活、层次化的联邦学习,以支撑典型工业物联网场景中按需、可靠的分布式智能业务,实现运营信息通信技术(OCIT)的融合。其次,分析归纳了面向6G工业物联网的联邦学习(6G IIoT-FL)可能面临的研究挑战,并提出了潜在的解决方案或建议。最后,指出了该技术未来值得关注的相关方向,旨在一定程度上为后续研究开拓思路。
  • 第5代移动通信技术(5th Generation Mobile Communication Technology, 5G)以其在增强型移动宽带、大规模机器类型通信和超可靠低延迟通信等领域的卓越性能,为工业物联网系统提供了全面而多样化的应用与服务[1]。然而,随着工业环境的复杂变迁、应用类型的持续增加以及用户与数据量的指数级增长,现有通信技术的性能仍需进一步提升,以满足工业物联网场景对超大规模连接和超低延迟的传输需求[2]。幸运的是,第六代移动通信技术(6th Generation Mobile Communication Technology, 6G)的研究已如火如荼地展开,预计将在未来十年内蓬勃发展,通过突破5G技术的瓶颈,进一步提升无线通信与网络技术在速率、时延、可靠性等方面的性能[3]。多项研究表明[24],未来的6G网络将成为一个高度智能化、高效、安全、可靠的综合服务平台。它将具备分布式的人工智能(Artificial Intelligence, AI)服务能力,实现通信、感知、计算、存储、认知、控制等多功能的一体化。这一变革将有力支持各种复杂的工业物联网应用场景,为工业界带来前所未有的机遇。

    工业物联网的核心在于以数据为驱动的智能分析和决策优化,AI在这一过程中发挥着举足轻重的作用[5]。通过全方位的感知、泛在的连接、深层次的融合和高效的处理,AI利用其强大的算法能力,实现了从人工干预到机器自主建模、决策和反馈的转变[6],赋能工业物联网精确决策和动态优化。然而,在工业物联网场景中传统AI服务的部署方式面临着诸多挑战:将实时工业数据通过无线方式传输到远程服务器进行模型训练,不仅带来巨大的通信开销和能耗代价,还可能导致时延问题[7];此外,依赖于中央服务器或第三方机构进行模型训练还可能引发用户隐私泄露的风险,进而威胁企业的生产安全和运营管理[8]

    与传统的机器学习方案相比,联邦学习无需将数据从终端设备迁移到集中的边缘云服务器进行训练,降低了通信开销并有效保护了用户数据的隐私[9]。此外,这种方法还能降低数据传输成本,减轻负载压力,吸引更多资源受限的工业物联网设备参与训练,共同提升AI模型的训练准确性[10]。本研究专注于探讨在6G推动下的工业物联网中联邦学习的发展趋势和应用潜力,分析6G技术在工业物联网领域的应用前景、联邦学习技术在工业物联网中的潜力,探索如何利用联邦学习技术,结合6G的高速率、低时延和高可靠性特点,来满足工业物联网在数据隐私保护、资源优化以及智能化决策等方面的需求。

    (1) 相关工作调研

    经过前期调研,相关交叉领域的研究者从不同视角分别探讨了关于6G在工业物联网领域的应用[11]、面向工业物联网的联邦学习[12,13],或是面向6G的联邦学习[14]。在面向6G的工业物联网研究与应用方面,Basu等人[11]介绍了6G在工业5.0领域的潜力,剖析了6G在信息物理系统中的机遇、挑战与解决方案,展现了6G在工业物联网中的前景,然而其对联邦学习在工业物联网中的具体应用及发展缺乏深入探讨。Nguyen等人[12]则针对当前工业物联网所面临的挑战,提出了联邦学习作为解决方案在未来工业物联网中的应用,并通过案例验证了可行性,为工业物联网的智能化发展提供了新思路,但他们没有考虑到工业物联网场景的多样性和复杂性,以及不同行业应用中可能出现的特殊问题。Boobalan等人[13]从隐私、资源和数据管理等多个角度概述了联邦学习与工业物联网的集成方式,总结了二者结合的动机,并探讨了如何在工业物联网框架中集成联邦学习、机器学习和深度学习模型,以提供不同安全机制的方法,不过在具体实现面向6G的工业物联网场景中,可能缺乏对技术细节和实际部署难度的深入分析。Berghout等人[14]对联邦学习在工业物联网状态监测中的应用进行了全面的综述,特别是在故障诊断方法、挑战和未来前景方面,提出了FL在智能工业基础设施中解决数据孤岛问题的潜力。然而,本文未涉及6G网络的发展及其对联邦学习和工业过程状态监测的潜在影响。Liu等人[15]则专注于面向6G的联邦学习技术,详细剖析了联邦学习使能6G所面临的挑战与解决方案,有力支撑6G的智能化和安全性,然而其对工业物联网场景的针对性不够强,没有充分探讨联邦学习在工业物联网特定场景下的独特需求和挑战。这些研究为我们提供了宝贵的参考,详细调研结果整理在表1中。

    表 1  相关工作调研
    参考文献 主题 贡献 尚未考虑
    [11] 面向6G通信技术的工业5.0和
    信息物理系统
    分析了6G技术在工业物联网和智能信息物理系统中存在的挑战与机遇,提出了相关解决方案 没有讨论联邦学习在其中的应用
    [12] 面向联邦学习的工业物联网 具体介绍了无线联邦学习在工业物联网中的应用场景和方法,并分析了其优势和局限性 没有涉及6G技术部分的探讨
    [13] 面向联邦学习的工业物联网 讨论了无线联邦学习和工业物联网的融合应用,包括架构、算法和安全等方面,为实现6G无线联邦学习
    技术提供基础
    没有重点讨论6G无线联邦学习技术
    [14] 面向联邦学习的工业物联网 对联邦学习在工业物联网状态监测中的应用进行了
    全面的综述
    未涉及6G网络的发展及其对联邦学习和工业过程状态监测的潜在影响
    [15] 面向6G通信技术的联邦学习 分析了在6G通信场景下,如何利用无线联邦学习解决数据隐私和安全等问题,并探讨了未来发展方向 缺少讨论具体工业物联网应用场景
    下载: 导出CSV 
    | 显示表格

    综上所示,现有研究仅关注面向6G的工业物联网技术研究,或聚焦于联邦学习技术在工业物联网中的应用,或仅综述了面向6G的一般性联邦学习技术,尚未有工作专门探讨随着6G研究的推动,联邦学习在工业物联网场景中将得到怎样的发展与应用。此外,对于如何运用面向6G工业物联网的联邦学习(Federated Learning technologies towards 6G Industrial Internet of Things, 6G IIoT-FL)技术满足多元化、分布式、智能化和强安全的工业场景服务需求,现有文献鲜有深入探讨。

    (2) 工作总结

    为挖掘联邦学习在工业场景的应用潜力,本文探讨了将联邦学习与6G技术相融合,充分发挥分布式智能化、高可靠低时延、强安全隐私性的技术优势,赋能工业物联网实现按需高效的网络服务与灵活自治的网络管理。本文首先探讨了6G IIoT-FL技术发展愿景。其次,引入了一种基于分层跨域架构的工业联邦学习新范式来实现与6G工业物联网的内生融合;再次,基于所构建的新架构选取了典型工业场景进行简要应用说明,并讨论了推动6G IIoT-FL研究与应用面临的主要挑战。最后,通过对潜在解决方案与未来研究方向的分析和讨论,力图为6G时代智能工业物联网的技术演进提供一定的思考见解,助力技术创新和应用发展。

    本文的主要贡献包括以下4点:

    ① 针对6G IIoT-FL的国内外研究进展进行了全面的分析,通过总结归纳相关研究填补该技术的调研空缺。

    ② 结合6G技术的发展趋势,提出一种数字孪生驱动的6G IIoT与FL融合新范式,旨在利用6G超高速率、超低时延、全域覆盖以及智慧内生的互联能力,在工业物联网中部署更加高效、安全、个性化的分层跨域联邦学习,赋能实现典型工业场景中按需、可靠的分布式智能业务。

    ③ 针对在6G工业物联网中部署联邦学习可能面临的通信开销大、终端安全隐私弱、设备异构性强以及灾难性遗忘等问题,提出了针对性的解决策略和建议。

    ④ 展望了未来值得关注的研究方向,包括与生成式AI、人在回路、量子计算等前沿技术的融合应用,为相关领域发展提供一定的前瞻启发。

    (3) 文章结构

    本文后续部分的组织结构如图1所示。第2章阐述了面向6G工业物联网的联邦学习技术的发展愿景,包括其在提升工业物联网智能化、自动化水平中的关键作用。进一步提出了一种数字孪生驱动的工业联邦学习架构,旨在赋能面向6G的工业物联网,并基于这一架构针对智能制造、智能电网两大典型应用场景进行具体分析,为后续相关研究和部署应用提供思路。第3章分析了在推进6G IIoT-FL技术研究过程中可能遇到的技术挑战,包括设备异构、安全和隐私保护等方面的问题,并提出了针对性的解决方案或建议。第4章从技术创新和应用扩展等方面展望了面向6G工业物联网的联邦学习未来研究方向。第5章对全文进行了总结。

    图 1  本文组织结构

    在工业场景下,现有通信网络因底层与Web信息网分离、缺乏交互,需引入信息和控制技术实现紧密耦合,提升服务效率和质量。同时,智能应用的兴起对大规模存储和计算资源产生了迫切需求,需强化控制和通信技术提升智能化和自动化能力。传统控制技术也正经历着去中心化和多闭环的转型,需依赖通信和计算技术,满足分布式系统的复杂需求。

    鉴于上述挑战与需求,推动工业制造领域中信息技术(Information Technology, IT)、运营技术(Operation Technology, OT)与通信技术(Communication Technology, CT)的深度融合显得尤为迫切。通过运营信息通信技术融合,可以实现工业系统的数字化转型,从而提高工业系统的运行效率、可靠性和灵活性,更好地满足现代工业场景中的各种复杂需求。在此背景下,面向6G的工业物联网旨在将下一代通信技术与工业自动化和智能制造相融合:一方面,6G将以超高速率、极低时延、广泛覆盖、智能化和强安全性能保障工业设备间的实时数据传输和即时决策,使得自动化系统能够在更复杂、更动态的工业环境中实施[16];另一方面,6G向着通感算存智控一体化的趋势发展[17],相应的网络功能虚拟化技术将能为不同的应用服务按需配置异构网络资源切片,实现工业系统计算、通信和控制技术的融合,强化工业物联网设备的数据采集、传输及处理能力,并使AI模型的训练和部署更加高效,从而提升智能制造的产品质量和生产效率[18]

    然而,这一交叉领域也面临着特定的需求和限制:工业系统的数据通常涉及各类敏感信息,因此安全性和隐私保护需要重点关注;此外,工业物联网涉及海量的异构设备和复杂的网络环境,不同设备的通信协议、感知能力和计算能力各不相同,会导致智能制造服务的数据难整合、模型难训练、质量难保证。

    为了满足上述需求,联邦学习能够在不直接共享原始数据的前提下,通过局部更新模型参数来保护数据隐私和安全。这不仅满足了工业系统对高安全性的要求,还能突破工业物联网复杂环境的限制,并充分利用工业应用数据密集的特点[19]。具体来说,联邦学习通过减少对中心化数据处理的依赖,降低了工业系统中数据泄露和滥用的风险。同时,这种方法还能减少复杂网络环境对数据传输质量和模型训练性能的影响。通过将数据保留在本地设备上,并仅共享模型更新,联邦学习确保了数据隐私的同时,也优化了系统的整体性能[20];此外,工业物联网中各类设备所产生的多源异构海量数据为联邦学习提供了丰富的模型训练素材,多元化的制造业务和工业场景也对联邦学习的架构设计提出了更高的要求[21],如何通过架构设计实现运营、信息、通信技术(Operation Information Communication Technology, OICT)的深度融合,为工业界带来分布式多样化、高可靠低时延、强安全隐私性的智能物联网服务,已成为业界和学术界共同关注的焦点。

    值得关注的是,数字孪生技术将在未来的6G网络中得到广泛应用,推动网络的全面数字化。借助数字孪生,每个网络组件和用户服务都能通过实时数据采集实现数字化,这将使实时状态监控、轨迹预测以及早期故障和服务恶化的预防成为可能,从而提高整个网络的运行效率[22]。数字孪生还可以在新功能部署前进行验证,加速新功能的改进和优化,实现其快速、自动化引入,推动网络的自我进化。6G网络本身也需要依赖数字孪生技术来探索超越物理网络的解决方案[23]。数字孪生将不再是单一的技术,而是多种数字技术的集成和创新应用,未来的数字孪生技术将进一步与OT, IT和CT深度融合,并促进这些相关领域的发展。

    因此,在寻求解决工业物联网面临的隐私保护、数据整合及计算效率等关键问题的过程中,联邦学习作为一种创新方法脱颖而出,它在保持数据分散于设备端的同时促进了模型的协作训练。而数字孪生技术的崛起,则进一步推动了这一进程,不仅通过数字化映射实体世界加速了系统优化与创新,还与联邦学习相互赋能,共同构筑起一个更加智慧、高效且安全的工业物联网生态[24]。一方面,鉴于工业物联网客户端计算能力有限,联邦学习的引入有效地解决了计算资源分配的问题,减少了边缘设备的数据传输量,并增强了数字孪生的实时响应能力[25]。另一方面,通过模拟异常和故障场景,数字孪生丰富了训练数据,提高了联邦学习模型的泛化能力。此外,数字孪生还有助于构建纵向和迁移联邦学习。在物理域中收集的实际数据可以在孪生域中用于创建新任务、场景或模型,从而实现多任务或多模型的生成[26]。使用数字孪生技术能够在虚拟环境中开发、测试和完善大规模分布式实时联邦学习系统,然后将其应用于工业基础设施中,节省了大量时间和成本。通过在孪生空间中的互动,开发人员可以训练AI模型来应对复杂或不可预测的事件。此外,数字孪生技术在工业场景中更好地应用于多模态数据,如图像、温度和振动数据,通过在虚拟环境中的转换和集成,提供更全面的分析和决策支持[27]

    通过利用各种来源的实时数据,数字孪生技术能够创造全新的工业物联网解决方案,并结合AI和数据分析,赋予网络高级认知功能。Ramu等人[28]对智慧城市中基于联邦学习模型的各种应用进行了调查,并提出了未来实现FL-DT集成所面临的主要挑战和发展方向。Guo等人[29]提出了一个用于数字孪生移动网络的联邦学习框架,旨在通过联邦学习构建虚拟孪生模型。He等人[30]则提出了一种结合数字孪生、边缘计算和联邦学习的架构,该架构通过DT网络感知上传的错误数据并自适应调整调节因子,从而降低联邦学习模型训练的失败率,减少总成本,并提升通信性能。由此可见,设计6G IIoT-FL架构时,数字孪生有望成为其中的关键技术,推动联邦学习在工业物联网领域的应用与发展。然而,现有研究大多集中于物理域的联邦学习应用,未能充分考虑联邦学习本身的数字孪生技术,这使得它们仅实现了相互赋能,却未达到真正的融合。同时,面向工业物联网的整体融合方式仍然存在不足,要实现这种融合,还需要对联邦学习的数字孪生进行进一步研究。

    面向6G的工业物联网需应对数据处理效率、实时性、安全及隐私保护等多重要求,并解决异构设备、网络复杂性等问题[31]。因此,该技术应用的首要条件是考虑工业物联网架构与联邦学习架构的融合设计,并利用6G技术在超高速、低时延、广覆盖、分布式、一体化方面的优势,强化联邦学习的灵活性与服务能力,提升工业物联网的内生安全性与内生智能化,为工业场景提供可靠的智能服务基座[32]。在此过程中,数字孪生技术的融入将进一步加深这一体系的效能:它不仅使实体状态与历史数据在数字领域得到精准映射与分析,还将实现基于联邦学习模型优化成果向实体的即时反馈,促成物理与数字世界的紧密互动与实时同步[33]。这一深度融合不仅体现在技术实施层面,也要求在系统架构设计上的全面整合,从而推动6G工业物联网迈向更高层次的智能化与安全防护。因此,本文在上述可行性分析的基础上提出了数字孪生驱动的6G IIoT-FL融合新范式,如图2所示,具体说明如下。

    图 2  数字孪生驱动的6G IIoT-FL融合新范式

    在物理域方面,6G网络的分布式泛在智联技术能够助力多种IIoT设备,如卫星、无人机等,构建起无缝覆盖空、天、地的6G工业物理域网络,将工厂内的生产设备、人员、原料等紧密相连。其多模态感知技术使设备可持续监测并收集数据,但这些真实数据常分散形成孤岛,既增加了整合难度,又限制了有效利用[34]。联邦学习能在保护数据隐私的前提下,充分利用分布式数据进行AI模型训练与部署。6G网络凭借分布式算存和高性能通信能力,可精准赋能联邦学习,提升网络智能化水平,同时引入语义处理与传输技术实现网络智简化[35]。在模型训练架构设计中,需根据具体场景灵活选用异构联邦学习框架。对于常规工业生产环境,可部署层次化联邦学习[36],云层中心设备负责集中处理与高层次策略制定,边缘层进行实时数据处理和局部优化,终端设备承担现场数据采集和预处理工作;而在对通信服务质量要求严格的核心生产控制场景,推荐采用去中心化联邦学习方案,以减少通信交互频次,降低通算延迟,提升智能化工业系统的响应速度与效能[37]

    然而,现有工业联邦学习的研究大多局限在物理域范畴,侧重于利用实体设备、真实采集数据及实际任务目标来构建联邦学习,缺乏对面向孪生域的工业联邦学习做出构想,无法实现OICT深度融合的6G IIoT-FL愿景。在现有研究中,已有策略旨在通过基于物理域模型训练的孪生联邦学习框架来增强用户的信任度[28],但这些研究往往是孤立且分割的用于数字孪生的联邦学习(Federated Learning for Digital Twin, FL for DT)技术以及用于联邦学习的数字孪生(Digital Twin for Federated Learning, DT for FL)技术,未曾构建起联邦学习与数字孪生技术的有机耦合。因此,本文进一步将传统物理域联邦学习跨域重构,以分布式孪生平台为客户端、仿真模拟任务中的 AI模型作为训练对象,提出了孪生域联邦学习的概念,旨在提升孪生系统智能化和安全性的同时,实现与物理域联邦学习的融合增强。

    在孪生域中,实际的工业操作将通过高级计算模拟和实时仿真技术被精确复制到数字环境。同时各类物理实体转化为其数字孪生实体,从而构建出相应的环境、节点、资源和任务模型。这些模型能够根据需求灵活组织,形成众多独立的数字孪生系统。在传统制造业中,人类的知识和经验通常难以直接或迅速地应用于实际操作。数字孪生技术使得我们可以在虚拟环境中引入并测试这些知识,实现人、机、物在不同任务和环境中的有效协同。

    目前,许多数字孪生系统的部署是将所有虚拟孪生系统集中托管于云服务器。在这种模式下,物理对象的实时数据首先传输到托管虚拟孪生系统的云计算平台,然后由集中部署的AI算法进行孪生建模和仿真分析[38]。这种做法充分发挥了云服务器的高性能计算力和资源整合优势,确保了对大规模数据的高效处理和复杂模型的快速构建。然而,这也可能导致大量实时数据传输和孪生信息反馈中出现因通信资源限制而造成的不可接受延迟,难以实现物理实体与其数字孪生的实时同步。此外,将孪生模型和数据集中存储在云端,还可能引起安全与隐私问题,需要采取额外的安全措施来保护敏感信息。

    本文认为,面向分布式孪生系统的联邦学习能够有效解决上述挑战。首先,是对孪生系统的分布式部署:工业物联网将按需生成的不同孪生系统部署在不同的孪生平台或计算设备上。这种方式使得每个孪生系统都可以在其所在的平台上独立运行,并与其他孪生系统跨平台协作。借助边缘计算,数字孪生系统可进一步部署至边缘端。作为边缘侧技术,数字孪生能够有效连接设备层和网络层,充当工业物联网平台的知识提取工具。它不断将工业系统中的分散知识传递至工业物联网平台,并利用不同成熟度的数字孪生体,借助联邦学习,重新整合不同细度的工业知识,供工业APP调用;其次,是对联邦学习的跨域重构:通过对网络物理域通感算资源的调配及云边端设备的组织,能够面向分布式平台上所运行的孪生系统及其虚拟业务进行联邦学习,赋能孪生系统的本地知识共享和全局模型优化。在这种模式下,每个孪生系统不仅能够利用本地的真实以及仿真数据进行训练和更新,还能基于孪生域联邦学习以少量通算资源开销实现各孪生系统中本地AI模型的高效训练与智能增强。在建模能力或知识不足时,可以利用神经网络的万能逼近能力来拟合孪生系统中的模型。然而,边缘侧数据有限或分布不均容易导致孤岛效应,联邦学习通过模型参数共享,不仅能增强各孪生系统中神经网络的建模精准性,还能保障孪生域信息的隐私安全。

    因此如图3所示,在物理域,将工业孪生系统分布式部署在各云平台,并基于异构联邦学习消除孤岛效应,可以增强各个孪生系统本地的智能化分析能力;在孪生域,通过部署在中心服务器上的中心孪生体按需调度孪生系统参与真实联邦学习的模拟过程,借助仿真数据构成的大样本库,通过在孪生域部署联邦学习模拟分析出物理域联邦学习过程中难以直接测量的指标。由此实现对当前状态的评估、对过去发生问题的诊断,以及对未来趋势的预测,并给予分析的结果,模拟各种可能性,为物理域联邦学习部署提供更全面的决策支持。通过物理域和孪生域联邦学习的相互促进,实现了联邦学习与数字孪生技术的有机耦合,所形成的面向工业物联网的跨域联邦学习将成为连接物理与数字世界的纽带,在6G技术的驱动下更高效地实现工业系统的OCIT融合。

    图 3  物理域联邦学习与孪生域联邦学习的跨域融合机制

    6G技术将构建高度自治和确定性的下一代工业物联网环境,实现设备的全面连接与智能感知,推动智能制造和工业数字化转型。在此过程中,AI技术如机器学习和深度学习,将通过自我监控、诊断和分析等功能,显著提升生产效率和品质。本节将详细探讨数字孪生驱动的工业联邦学习架构在6G工业物联网中的应用场景,以及如何通过这种架构促进工业数据的隐私保护和智能化处理。

    2.3.1   场景1:智能制造

    在智能制造领域,流水线无人制造的实施标志着工业自动化的高级阶段。该阶段利用机器人和自动化设备,实现从原材料加工至成品组装的全流程自动化。在此场景中,工业物联网的核心目标是提升生产流程的精度与效率,同时对生产过程进行复杂性管理,以确保各个工序的精确协调[39]。此外,智能制造系统需实时监控生产状态,并进行动态调整,以维持生产效率和产品质量。然而,该领域面临设备维护、故障预测、能源优化和数据安全等挑战。

    为了应对这些挑战,可以采用联邦学习技术以增强工业物联网的数据处理能力。该技术通过在本地进行数据预处理,仅上传模型参数,从而减少通信延迟,提升数据隐私性,并实现制造系统的分布式智能化。Tsai等人[40]提出一种基于云边协同以及联邦学习的工业物联网机器监测框架,在生产过程中进行信息捕获、事件检测和自适应学习。Guo等人[41]提出了一种基于个性化联邦学习的故障诊断方案,基于联邦深度学习构建多任务的故障诊断模型,融合了振动信号的时间和频率特征,可以同时诊断多个故障并提高故障诊断的准确率。考虑到群体协同和通信延迟在工业制造中的重要性,边缘服务器应作为数据处理的中心,以减轻云服务器的负担[42]。此外,结合6G赋能的数字孪生技术,可以在边缘服务器上构建制造设备的智能数字孪生模型。在联邦学习框架的辅助下,这些模型能够进行分布式训练,从而实现对设备的实时监控以及产品质量的深入分析,确保工业制造设备运行的稳定性和效率[43]。进一步地,终端生产设备可结合6G技术赋能的区块链等技术,构建点对点的联邦学习模型参数交换机制,以实现更高级的设备智能协同和更加个性化的生产[44]。可以想象,终端设备应与边缘服务器实时通信,以获得生产策略的实时更新和算力支持,并与相邻设备交互以提升策略的协同效率。同时终端设备应定期向云服务报告,以更新全局生产管理的知识。

    2.3.2   场景2:智能电网

    智能电网是工业4.0的重要组成部分,它为智能制造提供关键的基础设施支持,确保能源供应的连续性和优化。6G技术以其高速度、低延迟和高连接密度的特点,为智能电网的进一步发展提供了技术基础。这些特性使得智能电网能够实现更快速的数据传输和处理,以及更广泛的设备连接[45]。在6G的支持下,智能电网将能够更有效地管理分布式能源资源,如太阳能、风能等,同时提高电网的可靠性和弹性。分布式智能化是智能电网发展的未来趋势,通过将智能控制节点部署在电网的各个部分,可以实现对电网的局部优化和自我修复[46]。在此背景下,工业物联网的目标是实现全面的能源管理和优化,包括能源效率的最大化、可再生能源的集成、需求侧管理以及电网的可靠性和弹性[47]。然而,在提供各种能源服务、管理大量数据以及从云计算中卸载计算工作负载时,出现了几个突出的问题。其中,数据隐私是一个主要问题,因为客户数据经常用于训练数据驱动模型,例如用于检测IoE中的恶意节点。因此,它必须访问私人客户信息,如消费概况和习惯,以训练模型。

    为了实现智能电网的全面能源管理和优化,基于数字孪生的6G IIoT-FL架构将发挥其关键作用[48]。实体电网将通过与数字孪生技术的深度融合,实现对能源系统的全面感知、实时监测和精确控制。实体电网用以发挥其基本供电功能,虚拟电网用来智慧解析、智能决策、实时全角度监测电网运行的状态以及预测电网未来发展趋势。通过6G 技术的高速传输和低延迟特性,数字孪生模型可以及时获取实体电网的实时数据,并将分析结果迅速反馈给实体电网,实现智能调控。Xiao等人[49]提出了一种基于数字孪生电网模拟的高效数据处理算法TS-DP,用于解决智能电网中数据激增导致的系统风险问题,并通过实验证明该算法在时间序列预测和分类任务中具有较好的性能,对保障电网稳定运行具有重要意义。此外,联邦学习技术能够在保护用户数据隐私的前提下,实现各节点之间以及不同孪生系统之间的协同学习和优化。事实上,FL被用于在边缘数据中心网络中建立联邦预测功率方案,该网络在本地运行循环神经网络,根据历史客户能源使用数据集估计未来的能源需求,然后在云服务器上聚合以构建全局预测模型[50]。这样,用户的能源偏好、家庭住址等信息不会泄露给云,以保护隐私。此外,与单个服务器上的集中式学习解决方案相比,通过不同城市区域的数据中心合作,预测模型可以获得更高的学习性能和更高的准确率[51]。文献[52]还设计了另一种FL算法,用于电力供应商和物联网用户组成的电力物联网网络中的电力学习,旨在解决资源消耗、用户效用和本地差异隐私之间的权衡。同时,联邦学习技术有望与 6G 技术赋能的区块链相互结合,这会使社区内居民之间的点对点电力交易得以实现,进一步推动电力资源的优化再分配[53]

    在6G工业物联网中部署面向OICT融合的联邦学习,虽然前景广阔,但也面临着一系列有待解决的技术挑战,例如如何优化通信协议以降低交互通信开销,如何设计有效的安全机制以保障数据隐私,如何应对工业设备的异构性,以及如何避免或减轻联邦学习中的灾难性遗忘来确保模型的长期稳定性和可靠性。关键挑战及相应对策如图4所示,以下将分别进行具体论述和分析。

    图 4  6G IIoT-FL的关键挑战及相应对策

    在工业领域的联邦学习中,最为关键且迫切需要解决的问题是通信成本高昂的问题,主要表现在参与联邦学习的众多工业设备之间需要进行频繁的数据交换与模型更新,伴随着日益增加的通信成本[54]。具体而言,工业联邦学习涉及众多的参与主体,这些主体可能包括不同的工厂、机器、传感器网络以及智能设备等,每个主体都掌握着各自的数据集和模型。这些数据集可能包含了生产效率、设备状态、能耗情况等关键的工业运行信息。为了实现全局模型的优化,这些工业主体必须不断地进行通信,以便共享模型参数和梯度信息。然而,尽管可以通过参数量化、稀疏化等现有技术手段来缓解传统联邦学习中的通信成本问题,但随着参与主体数量的增加,通信的复杂性和成本呈指数级增长[55,56]。在工业物联网环境中,这种挑战尤为突出,因为工业物联网通常包含大量的设备和传感器,它们产生的数据量巨大,且需要实时处理。同时,工业设备还需承担其他的计算和存储任务,这限制了能够分配给通信任务的资源量,从而可能导致通信延迟的增加[57]。此外,考虑到联邦学习对数据的隐私和安全性要求,通信过程中还需实施加密和认证措施,这进一步加剧了实际应用的通信成本。

    为了通过提高通信效率解决上述挑战,可以采用模型压缩和剪枝技术来优化数据通信和处理流程。通过模型压缩和剪枝技术来进一步减小模型的大小和复杂度,从而减少通信过程中的数据传输量。例如,在自动化生产线上,控制系统需要快速响应多变的生产条件。通过模型剪枝技术,可以去除控制算法中冗余的参数,从而减轻模型的存储和计算负担,加快决策过程[58]。此外,在工业物联网设备广泛应用的环境中,知识蒸馏技术也发挥着重要作用。这项技术允许我们将大型复杂模型的知识转移到更小、更高效的模型中。例如,在远程监控和维护场景中,通过知识蒸馏,可以在不牺牲性能的前提下,将先进的故障预测模型部署到边缘设备上,使得实时监控更加高效和经济[59]。与此同时,语义通信通过提取和传输与联邦学习模型更新和系统状态相关的关键语义信息,可以有效避免冗余的数据传输,进一步提升通信效率。而空中计算可以通过利用无线波形叠加功能来实现无线联邦学习的快速模型聚合。同时,结合生成式AI技术,可以构建更加灵活的通信协议,甚至能够在网络条件差或带宽有限的情况下,自适应调整通信内容和频率,从而保证模型更新的连续性和准确性。

    工业物联网中的每个设备在网络中的计算和通信能力并非一成不变,而是受到多种因素的共同影响,比如算力性能、网络性能以及供能储能的波动。这些因素共同作用,使得设备之间呈现出明显的异质性[60]。这种异质性不仅影响了设备本身的性能和稳定性,也会对联邦学习和工业物联网的稳定运行造成混乱和故障影响。例如,由于硬件算力性能的限制,一些设备可能无法跟上模型训练速度,导致全局模型收敛缓慢或训练失败;由于网络连接性能的波动,联邦学习过程中的数据传输可能出现中断或延迟,影响模型的同步和更新;而能量供应的不足则可能导致设备在运行过程中突然关机,造成数据丢失[20]

    除此之外,工业环境中的设备可能由于硬件老化、操作不当、环境因素等导致性能不稳定或不可靠。在6G的高速网络中,这些不稳定因素可能会被放大,因为数据的传输和处理速度更快,任何小的故障都可能迅速影响到联邦学习的稳定性。例如,网络的短暂中断或硬件的意外故障,都可能在分布式学习过程中引发数据同步的问题。这不仅会导致模型更新的不一致,还可能降低联邦学习的训练性能和应用效果。更为严重的是,随着工业设备的智能化程度提升,攻击者可能会针对这些异构设备发起各种攻击,如中毒攻击和后门攻击等。通过篡改模型参数或插入恶意代码,攻击者可以直接破坏FL系统的正常运行,从而对工业生产造成严重影响[61]

    为了解决上述问题,实现联邦学习在工业物联网中的大规模部署,研究者正致力于探索面向多元化模型训练的策略,包括异步联邦学习、自适应客户端选择以及个性化联邦学习等。异步联邦学习的优势在于允许设备在无需严格同步的情况下独立更新模型,有效缓解网络延迟和设备性能差异所带来的影响[62]。例如,Sun等人[63]提出了一种基于聚类的异步联邦学习框架,通过自适应调整聚合频率来减轻工业物联网中异构设备的影响;此外,自适应客户端选择策略则根据设备的性能和网络状况灵活调整参与训练的设备,实现资源的最优分配,并显著提高训练效率[64]。例如,Cao等人[65]提出了一种基于类别感知的客户端选择聚合方案 FedC2S,通过根据数据类别对客户端分组,并在组内加权平均参数、组间传递参数,以提高联邦学习对 Non-IID 数据的聚合效果,尤其在数据分布极不平衡和模型复杂时优势明显;最后,个性化联邦学习更进一步地允许设备根据其独特的数据特性和计算能力定制本地模型更新策略,进而全面提升整体模型的性能[66]。例如,Deng等人[67]通过资源感知和数据导向的模型修剪、缩放的模型聚合以及服务器辅助的模型调优等技术,为设备定制个性化子模型,以解决联邦学习中的系统和数据异构性问题,并提高个性化性能和资源效率。

    此外,6G的泛在连接和全域覆盖有助于将不同来源、不同类型、不同格式的海量工业数据实时整合,形成统一的、多层次的知识表示。通过与知识图谱的交互与整合,异构设备得以获取并共享有价值的信息,这对于工业场景中的数据共享至关重要[68]。而知识图谱的智能推理和连接能力使得异构设备能够在模型更新和聚合过程中共享特定领域的知识与规则,从而提升工业场景联邦学习的推理和决策能力[69]。例如,在工业任务中,一台设备可能积累了大量关于特定生产过程的经验知识,通过知识图谱和模型共享,这些知识可以被智能地传播和利用,为其他设备提供决策方案[70]

    在传统联邦学习中,模型通常针对一组固定且相对静态的数据和标签进行训练与优化。这种训练方式的前提是假设不同客户端要维持数据分布在时空维度上的稳定,即模型在训练过程中遇到的数据类型在实际应用中保持不变[71]。然而,在工业物联网场景中,设备不断地收集着来自生产线、传感器网络以及各种操作过程中的数据。这些数据不仅数量庞大,而且类型多样,它们可能会随着时间、环境变化或生产流程的更新而发生变化。这要求联邦学习的模型训练不仅要能够处理现有的数据类型,还要能够适应不断变化的数据分布,从而保持其在不断变化的数据分布中的有效性和准确性[72]

    灾难性遗忘(catastrophic forgetting)是指当模型在持续学习新类别数据时,对先前学习类别的记忆和性能出现显著下降的现象。在资源受限的工业物联网设备上,这一问题尤为突出,因为设备的存储和计算能力有限,无法存储和处理所有历史数据。这导致模型在追求新知识的同时,可能会遗忘旧的知识,从而影响其在实际应用中的性能和可靠性。尤其是随着6G技术的引入,工业物联网设备的感知能力和数据处理能力将得到显著提升,能够以更高的速度和更大的规模采集、处理和分析各种类型的数据。然而,如何在保持对旧类别数据的记忆的同时,有效地学习和适应新类别数据的出现成为一个新的难题。

    针对工业联邦学习的灾难性遗忘问题,可以通过结合下列技术加以改善:(1) 增量学习允许模型逐步更新,而不是在新数据到来时完全重新训练,这有助于减少对旧知识的影响[73];(2) 结合正则化技术,如弹性权重整合(Elastic Weight Consolidation, EWC),可以在训练新类别时保护旧知识的权重[74];(3) 知识蒸馏[75]则通过将大模型的知识迁移到小模型,以及利用已有知识加速新任务的学习,来减轻灾难性遗忘的影响;(4) 数据和模型压缩技术进一步减轻了存储和计算负担,使得设备能够在有限的空间内保留更多的历史数据;(5) 多任务学习[76]和元学习[77]使模型能够学习如何学习新任务,提高对新类别的适应速度和效率。

    此外,可以引入自适应学习率调整策略,通过结合数字孪生技术,在虚拟世界中对模型的训练过程进行高精度模拟。这一策略能够利用虚拟环境中的丰富数据和逼真的物理仿真,为物理世界中的模型训练提供精确的指导。当系统检测到训练过程中模型的收敛速度或性能出现异常时,数字孪生技术能够立即启动新的模拟实验,测试不同的学习率方案,并将最佳的调整策略反馈到物理世界中。这样一来,不仅能够显著提高模型的训练效率,还可以有效避免过拟合或欠拟合等常见问题。

    尽管联邦学习通过传输模型参数而非直接分享原始数据以提高设备隐私安全性,但设备与云端交互的过程中,本地数据的泄露风险仍难以消除。文献[8]指出,在设备与云端进行通信的环节中,用户的隐私数据仍可能面临着被窃取的风险。攻击者可能基于成员推理攻击[78]或梯度泄露攻击[79],通过深入分析所窃取的模型参数,从设备上成功恢复设备的本地数据。

    随着6G智能化向网络边缘的迁移,工业设备将能够执行更为复杂的应用,这相应地提高了遭受攻击的可能性。此外,6G网络的高频段通信可能会增加信号的脆弱性,使其更容易受到干扰和拦截[80]。因此,在6G和工业物联网的时代背景下,如何加强联邦学习的隐私保护能力,确保设备和云端之间的交互安全,成为亟待解决的问题。

    为了应对这一挑战,研究人员探索了多种方法来增强联邦学习的隐私保护机制。其中,安全多方计算[81]、差分隐私[82]和同态加密[83]等技术已得到广泛的认可和应用。然而,尽管这些现有措施在某种程度上提升了隐私保护水平,但它们也存在一些局限性。例如,安全多方计算虽然能够保护数据隐私,但其计算效率相对较低,可能不适用于在大规模工业互联网中部署联邦学习。差分隐私引入的噪声可能会影响模型的准确性,尤其是在数据稀疏或维度较高的情况下。同态加密虽然提供了强大的隐私保护,但其计算和存储开销较大,对资源受限的设备来说可能是一个挑战[84]

    为了进一步地保护终端安全隐私,可以加强数据加密技术的研究和应用。例如,应用前沿的量子加密技术,如量子密钥分发,能够在数据传输过程中提供几乎无法破解的安全保障,特别适用于保护工业控制系统和自动化生产线之间的关键通信[85]。此外,结合联邦学习和AI算法实施的实时行为监控和异常检测可以有效地识别和预防潜在的安全威胁,及时响应工业设备的异常操作或数据泄露[86]。此外,加强身份认证和访问控制措施,如要求用户提供多种身份验证方式,如密码、智能卡等,这大大增加了非法访问的难度。同时,实施最小权限原则,确保用户和设备仅获得完成其工作所必需的最小访问权限,可以减少数据泄露的风险[87]

    本章将探讨在6G IIoT-FL中,有待重点关注未来研究的潜在方向,如图5所示。

    图 5  基于融合新范式的6G IIoT-FL未来研究方向

    (1)生成式AI:人工智能生成内容(AI-Generated Content, AIGC)是运用诸如生成对抗网络(Generative Adversarial Networks, GAN)及大型预训练模型等人工智能技术的方法,通过对现有数据的学习与模式识别,生成具备一定泛化能力的相关内容。在这一领域,代表性的模型包括聊天生成预训练转换器(Chat Generative Pre-trained Transformer, ChatGPT)[88]和文心一言[89]等。与传统AI模型相比,这些大模型能主动理解语言和事物,依托庞大的数据特征及海量模型压缩算法,实现多维逻辑交互,输出概率最高的结果[90]。大模型的优势在于其通用性和泛化能力。相对于传统机器学习模型仅限于特定任务,大模型通过在大规模无标注数据上的预训练,学习到更广泛的知识表示,使得它们能够灵活适应多种应用场景和任务[91]。因此,大模型将成为实现跨域联邦学习的关键技术,驱动跨域联邦学习技术向更加智能、更加高效的边界拓展。

    一方面,大模型与数字孪生技术的结合,将形成关键能力的互补,实现闭环的共同迭代。大模型可以显著提升数字孪生的能力,帮助建立数字孪生与业务之间的互动规则,模拟物理对象的状态和行为,进行试验和预测分析,并通过大模型的泛化能力实现自然语言的指令交互,再凭借大模型能力为业务决策、优化改进提供高效的支撑[92]。同时,结合数字孪生技术,大模型的自然语言理解和意图识别功能可以以更生动友好的方式与用户互动,用户可以通过语音或文本输入,进行数据操作、查询和分析,并通过数字孪生模型的视觉表现形式,使数据解读更加直观。数字孪生模型还能提供实时或近实时反馈,使大模型能够不断优化和改进其生成的内容和模型结构[93]

    另一方面,大模型与跨域联邦学习的结合,也是目前研究的前沿方向。面对现实世界中的数据类别不平衡问题,大模型和数字孪生可以通过生成数据来辅助模型训练,提高模型对少数类别数据的表征能力,从而提升模型的总体性能[94]。在汽车制造工厂中,不同生产线上的设备传感器数据可以通过联邦学习的方式进行共享和分析,同时利用大模型的强大计算能力和泛化能力,对生产过程中的数据进行深入学习和分析,以优化生产流程。例如,大模型可以根据设备的运行数据和生产工艺参数,预测设备可能出现的故障,并提前通知维护人员进行维修,减少设备停机时间。数字孪生技术可以构建汽车生产车间的虚拟模型,实时反映生产线上的实际情况。通过将联邦学习和大模型的分析结果应用到数字孪生模型中,可以实现对生产过程的实时监控和优化。例如,根据大模型的预测结果,数字孪生模型可以调整生产计划,优化资源配置,提高生产效率。

    (2)人在回路技术(Human-in-the-Loop):人在回路技术,作为一种使模型适应持续变化环境的关键策略,特别强调人的智能在增强机器智能化方面的作用[95]。该技术的精髓在于融合人类的直观判断与实践经验于工业自动化流程之中,提升了系统的灵活性、智能水平及对外界变化的适应能力。这不仅是一个技术与自动决策的结合,更是人类智慧的直接嵌入,形成了人机协同的新型控制模式。操作员得以实时监控系统运作,依据个人经验与直觉做出适时决策,确保在复杂多变的工业场景下,能有效应对各类挑战。特别是在与工业物联网和联邦学习相结合的背景下,人在回路技术的潜力得到了进一步释放[96]。联邦学习机制允许跨多个设备和用户安全地共享模型参数,而不过多暴露原始数据,这与人在回路的理念相辅相成,共同促进了一个更加个性化、安全且高效的学习环境。操作人员通过人机界面提供的直观反馈,不仅可以直接参与并优化模型在特定工业应用场景下的表现,还能促使联邦学习模型根据这些富含人类经验的反馈进行迭代,从而提供更加精准、个性化的服务体验[97]

    (1)拆分学习:拆分学习(Split Learning, SL),也称为分裂学习或分割学习,其核心理念在于将机器学习模型的训练和推断过程分解为多个独立的部分,这些部分可以在不共享原始数据的情况下进行协同工作。在训练过程中,各设备负责对其本地子网络执行前向或反向计算,然后将计算结果传递给下一个设备。通过设备间的合作计算和与主节点的反馈,最终完成整个模型的训练,直至达到收敛[98]

    与传统的联邦学习相比,拆分学习提供了更高的模型隐私性,并且对于资源受限的工业物联网设备非常友好。然而,拆分学习主要面临着建立模型所需的通信开销方面的挑战[99]。为了克服这一问题,分离联邦学习在拆分学习的基础上结合了联邦学习的概念。它采用了联邦学习的并行模型更新范式,从而节省了训练时间并进一步优化了模型性能[100]。这种结合了拆分学习和联邦学习的方法被认为是未来的发展方向,为实现更高效、隐私保护的模型训练提供了希望。

    (2)量子联邦学习:量子联邦学习作为新兴的跨学科领域,融合了量子计算的前沿进展与联邦学习的核心理念,旨在克服传统计算范式在处理联邦学习任务中遭遇的种种障碍[101]。面对诸如优化算法中频繁遭遇的局部最优化陷阱及高维数据的“维数灾难”等挑战,量子计算凭借其叠加态与纠缠态的独特属性,为这些难题的破解带来了新的曙光,有望实现算法性能与效率的跨越式提升。

    通过将联邦学习的框架与逻辑巧妙映射到量子计算平台,利用量子比特的超级位置态实现数据的高效编码与处理,量子联邦学习理论上能够在指数级并行运算的支持下,解决那些在经典计算框架内计算成本高昂乃至不可行的问题,大幅度削减联邦学习中的通信开销与时间延迟[102],为该领域带来革新性的影响。目前,尽管量子机器学习仍处于研究和发展阶段,但已经取得了一些重要的理论和实验成果,这些成果验证了量子计算在某些联邦学习任务上的潜在优势[103,104]

    在工业物联网环境中,量子联邦学习能够成为连接海量异构设备、保障数据隐私与安全、并驱动即时智能化决策的关键技术。它不仅能够加速模型在分布式网络中的迭代与优化过程,同时在保护各参与节点数据隐私的前提下,有效驾驭工业物联网生成的高维度、强噪声数据,促进预测性维护、智能制造、资源调度等方面的深度优化。

    (3)基于空中计算的联邦学习:在工业物联网时代,大量的设备将被连接到网络。一旦数据采集完成,就需要经过传感器的处理和计算。然而,由于传感器的计算能力有限,不得不将数据传输到中心节点,以充分利用其强大的计算能力。这种过程意味着在进行计算之前必须进行数据传输,引起了不可接受的延迟。

    在大规模连接的环境中,传统的数据处理方式显然变得低效。为了解决这个问题,空中计算的概念应运而生。它将通信和计算巧妙结合,引入了“通信计算一体化”的概念,旨在解决大规模连接时的延迟问题[105]。空中计算充分利用了信号在无线多址信道传输中的波形叠加属性,实现了数据的快速聚合和处理。这意味着数据在传输过程中可以立即进行处理,而无需等待它们到达中心节点[106]。这种方法有望显著减少数据处理和分析的延迟,更有效地支持工业物联网中的大规模设备连接。

    因此,空中计算与联邦学习的结合成为一种有前途的可能。通过充分利用空中计算的强大特性,可以在数据传输的同时完成本地模型的训练,从而极大地减少模型聚合的时间,提高联邦学习的通信效率[107]。这不仅提高了效率,同时也更好地保护了数据隐私。在这个充满创新的领域里,空中计算与联邦学习的结合为实现更智能、更高效的工业物联网连接提供了前所未有的可能性。

    (4)基于类脑智能的联邦学习:面对当前大型AI模型遭遇的高能耗困境,科研界正积极从脑科学中汲取灵感,寻求构建低功耗通用智能的新路径。类脑智能,作为这一探索的前沿,旨在模仿人脑高效节能的运作机制,为解决模型能耗问题提供创新视角。在此背景下,脉冲神经网络(Spiking Neural Network, SNN)脱颖而出,成为构建类脑智能的核心技术工具[108]。SNN深入借鉴了生物神经系统中神经元的脉冲发放模式,通过模拟这一自然过程,不仅在原理上更加贴合生物现实,而且在实践中显现出对低能耗运算的高度适配性。其独特的信息传递机制——利用时间间隔的脉冲序列,相较于传统方法,尤其擅长处理时序数据和对事件驱动任务的高频响应[109]

    特别是在联邦学习的框架下,SNN低功耗的特性可以进一步地减少联邦学习的通信开销和能耗,使其可以部署在由大量低功耗设备组成的工业物联网环境中[110]。与此同时,在工业物联网的环境中通常有大量的传感器和设备,这些设备持续生成大量的时间序列数据。而这些数据的处理和分析对于实现智能化工业控制和管理至关重要。SNN能够以一种更为直观且高效的方式,对这些动态变化、事件触发的数据实施编码与解析,从而在维护数据处理时效性的同时,优化了系统能效,并增强了联邦学习对多样化工业环境的适应能力[111]

    (1)智能反射表面辅助的太赫兹通信技术:IRS是一种能够动态调节电磁波传播路径的智能表面,通过在通信环境中部署IRS,可以有效地增强信号强度、扩展覆盖范围,并减少多路径衰落对通信的影响[112]。太赫兹通信以其超高带宽和低时延的特性为联邦学习提供了快速、高效的数据交换渠道。在工业物联网环境中,设备之间的数据传输面临着多种挑战,包括信号干扰、遮挡和多路径效应。太赫兹通信IRS的结合可以进一步优化数据传输和处理能力增强信号质量[113],从而减少通信中的延迟和数据丢包率,这对于联邦学习中多个设备间的模型更新和数据交换至关重要:联邦学习可以通过太赫兹IRS技术动态调控反射面的特性,优化通算资源的分配和管理,不仅有助于提高模型训练的效率和准确性,还能实时适应不同用户的通信需求和网络负载状况[114]。最后,通过调整IRS的反射模式,可以有效防止信号被恶意截取或窃听,从而增强通信的隐私和安全性,这对于保护联邦学习中的敏感数据尤为关键[115]

    (2)无小区大规模MIMO:传统无线通信网络基于蜂窝架构,地面覆盖区域被划分为众多小区,每个小区由单一基站提供服务[116]。然而,工业物联网的愿景是实现设备间的广泛互联,这要求无线网络能够应对数十亿设备的同时接入,并具备强大的数据吞吐能力,以支持语音通话、实时视频流和高清影片传输等多种应用[117]。在面对前所未有的连接密度和数据洪流时,传统蜂窝网络显得捉襟见肘,且小区边缘的用户终端常遭遇严重干扰问题。

    鉴于此,研究者提出了一种创新思路:采用去中心化的无小区网络架构,从而颠覆传统布局。无小区网络通过分布式技术,能够灵活服务于众多用户终端,并借助大规模多输入多输出技术简化并增强信号处理过程,催生出无小区大规模MIMO(cell-free massive MIMO)这一新兴概念[118]

    可以预见,未来的工业联邦学习系统将包括多个联邦学习集群,不同学习目标的多个用户设备群体将参与到多联邦学习进程中,并在短时间内得到学习结果[119]。为了支持多联邦学习集群,一个无线网络需要同时向所有联邦学习集群的所有UE提供高速率和高可靠性的服务能力。Cell-Free Massive MIMO技术在这一转变中扮演关键角色,不仅提高了现有蜂窝频谱资源的利用率,还积极探索与毫米波频段的整合策略,以此消除传统小区结构及其边界限制,通过革新的信号处理技术,引领联邦学习迈入一个效能更高、适应性更强的新纪元[120]

    本文调研总结了现有相关工作,提出了联邦学习技术面向6G工业物联网应用场景的发展需求与愿景。在此基础上,构建了一种基于分层跨域架构的工业联邦学习新范式,旨在融合6G与数字孪生技术赋能实现泛在、灵活的分层联邦学习,以支撑典型工业物联网场景中按需、可靠的分布式智能业务。其次,阐述了在典型场景中该架构的应用方式,并分析了在通信开销的优化、安全隐私的强化、设备异构性的处理以及灾难性遗忘的预防等方面的潜在挑战与应对方案。此外,还探讨了生成式AI、人在回路技术以及量子计算等前沿技术在本领域的融合,这些技术的引入将有望进一步推动面向6G工业物联网的联邦学习向更加智能、灵活、高效、可信和实时的方向发展,为面向OICT融合的智能制造的发展注入新动力。

  • 图  1  本文组织结构

    图  2  数字孪生驱动的6G IIoT-FL融合新范式

    图  3  物理域联邦学习与孪生域联邦学习的跨域融合机制

    图  4  6G IIoT-FL的关键挑战及相应对策

    图  5  基于融合新范式的6G IIoT-FL未来研究方向

    表  1  相关工作调研

    参考文献 主题 贡献 尚未考虑
    [11] 面向6G通信技术的工业5.0和
    信息物理系统
    分析了6G技术在工业物联网和智能信息物理系统中存在的挑战与机遇,提出了相关解决方案 没有讨论联邦学习在其中的应用
    [12] 面向联邦学习的工业物联网 具体介绍了无线联邦学习在工业物联网中的应用场景和方法,并分析了其优势和局限性 没有涉及6G技术部分的探讨
    [13] 面向联邦学习的工业物联网 讨论了无线联邦学习和工业物联网的融合应用,包括架构、算法和安全等方面,为实现6G无线联邦学习
    技术提供基础
    没有重点讨论6G无线联邦学习技术
    [14] 面向联邦学习的工业物联网 对联邦学习在工业物联网状态监测中的应用进行了
    全面的综述
    未涉及6G网络的发展及其对联邦学习和工业过程状态监测的潜在影响
    [15] 面向6G通信技术的联邦学习 分析了在6G通信场景下,如何利用无线联邦学习解决数据隐私和安全等问题,并探讨了未来发展方向 缺少讨论具体工业物联网应用场景
    下载: 导出CSV
  • [1] MUMTAZ S, BO A, AL-DULAIMI A, et al. Guest editorial 5G and beyond mobile technologies and applications for industrial IoT (IIoT)[J]. IEEE Transactions on Industrial Informatics, 2018, 14(6): 2588–2591. doi: 10.1109/TII.2018.2823311.
    [2] LU Yang and ZHENG Xianrong. 6G: A survey on technologies, scenarios, challenges, and the related issues[J]. Journal of Industrial Information Integration, 2020, 19: 100158. doi: 10.1016/j.jii.2020.100158.
    [3] GUI Guan, LIU Miao, TANG Fengxiao, et al. 6G: Opening new horizons for integration of comfort, security, and intelligence[J]. IEEE Wireless Communications, 2020, 27(5): 126–132. doi: 10.1109/MWC.001.1900516.
    [4] LETAIEF K B, CHEN Wei, SHI Yuanming, et al. The roadmap to 6G: AI empowered wireless networks[J]. IEEE Communications Magazine, 2019, 57(8): 84–90. doi: 10.1109/MCOM.2019.1900271.
    [5] AMBIKA P. Machine learning and deep learning algorithms on the Industrial Internet of Things (IIoT)[J]. Advances in Computers, 2020, 117(1): 321–338. doi: 10.1016/BS.ADCOM.2019.10.007.
    [6] QVIST-SØRENSEN P. Applying IIoT and AI–Opportunities, requirements and challenges for industrial machine and equipment manufacturers to expand their services[J]. Central European Business Review, 2020, 9(2): 46–77. doi: 10.18267/j.cebr.234.
    [7] MAO Yuyi, YU Xianghao, HUANG Kaibin, et al. Green edge AI: A contemporary survey[J]. Proceedings of the IEEE, 2024, 112(7): 880–911. doi: 10.1109/JPROC.2024.3437365.
    [8] ZHU Ligeng, LIU Zhijian, and HAN Song. Deep leakage from gradients[C]. The 33rd International Conference on Neural Information Processing Systems, Vancouver, Canada, 2019: 1323.
    [9] ZHOU Tailin, ZHANG Jun, and TSANG D H K. FedFA: Federated learning with feature anchors to align features and classifiers for heterogeneous data[J]. IEEE Transactions on Mobile Computing, 2024, 23(6): 6731–6742. doi: 10.1109/TMC.2023.3325366.
    [10] 范绍帅, 吴剑波, 田辉. 面向能量受限工业物联网设备的联邦学习资源管理[J]. 通信学报, 2022, 43(8): 65–77. doi: 10.11959/j.issn.1000−436x.2022126.

    FAN Shaoshuai, WU Jianbo, and TIAN Hui. Federated learning resource management for energy-constrained industrial IoT devices[J]. Journal on Communications, 2022, 43(8): 65–77. doi: 10.11959/j.issn.1000−436x.2022126.
    [11] BASU D, GHOSH U, and DATTA R. 6G for industry 5.0 and smart CPS: A journey from challenging hindrance to opportunistic future[C]. 2022 IEEE Silchar Subsection Conference, Silchar, India, 2022: 1–6. doi: 10.1109/SILCON55242.2022.10028927.
    [12] NGUYEN D C, DING M, PATHIRANA P N, et al. Federated learning for industrial internet of things in future industries[J]. IEEE Wireless Communications, 2021, 28(6): 192–199. doi: 10.1109/MWC.001.2100102.
    [13] BOOBALAN P, RAMU S P, PHAM Q V, et al. Fusion of federated learning and industrial internet of things: A survey[J]. Computer Networks, 2022, 212: 109048. doi: 10.1016/j.comnet.2022.109048.
    [14] BERGHOUT T, BENBOUZID M, BENTRCIA T, et al. Federated learning for condition monitoring of industrial processes: A review on fault diagnosis methods, challenges, and prospects[J]. Electronics, 2022, 12(1): 158. doi: 10.3390/electronics12010158.
    [15] LIU Yi, YUAN Xingliang, XIONG Zehui, et al. Federated learning for 6G communications: Challenges, methods, and future directions[J]. China Communications, 2020, 17(9): 105–118. doi: 10.23919/JCC.2020.09.009.
    [16] GHILDIYAL Y, SINGH R, ALKHAYYAT A, et al. An imperative role of 6G communication with perspective of industry 4.0: Challenges and research directions[J]. Sustainable Energy Technologies and Assessments, 2023, 56: 103047. doi: 10.1016/j.seta.2023.103047.
    [17] ZHU Guangxu, LYU Zhonghao, JIAO Xiang, et al. Pushing AI to wireless network edge: An overview on integrated sensing, communication, and computation towards 6G[J]. Science China Information Sciences, 2023, 66(3): 130301. doi: 10.1007/s11432-022-3652-2.
    [18] GONG Yongkang, YAO Haipeng, WANG Jingjing, et al. Edge intelligence-driven joint offloading and resource allocation for future 6G industrial internet of things[J]. IEEE Transactions on Network Science and Engineering, 2024, 11(6): 5644–5655. doi 10.1109/TNSE.2022.3141728.
    [19] HIESSL T, SCHALL D, KEMNITZ J, et al. Industrial federated learning–requirements and system design[C]. The International Conference on Practical Applications of Agents and Multi-Agent Systems, L’Aquila, Italy, 2020: 42–53. doi: 10.1007/978-3-030-51999-5_4.
    [20] MAKKAR A, KIM T W, SINGH A K, et al. SecureIIoT environment: Federated learning empowered approach for securing IIoT from data breach[J]. IEEE Transactions on Industrial Informatics, 2022, 18(9): 6406–6414. doi: 10.1109/TII.2022.3149902.
    [21] YE Mang, FANG Xiuwen, DU Bo, et al. Heterogeneous federated learning: State-of-the-art and research challenges[J]. ACM Computing Surveys, 2024, 56(3): 79. doi: 10.1145/3625558.
    [22] TANG Fengxiao, CHEN Xuehan, RODRIGUES T K, et al. Survey on Digital Twin Edge Networks (DITEN) toward 6G[J]. IEEE Open Journal of the Communications Society, 2022, 3: 1360–1381. doi: 10.1109/OJCOMS.2022.3197811.
    [23] LIN Xingqin, KUNDU L, DICK C, et al. 6G digital twin networks: From theory to practice[J]. IEEE Communications Magazine, 2023, 61(11): 72–78. doi: 10.1109/MCOM.001.2200830.
    [24] LU Yunlong, HUANG Xiaohong, ZHANG Ke, et al. Communication-efficient federated learning for digital twin edge networks in industrial IoT[J]. IEEE Transactions on Industrial Informatics, 2021, 17(8): 5709–5718. doi: 10.1109/tii.2020.3010798.
    [25] LU Yunlong, HUANG Xiaohong, ZHANG Ke, et al. Communication-efficient federated learning and permissioned blockchain for digital twin edge networks[J]. IEEE Internet of Things Journal, 2021, 8(4): 2276–2288. doi: 10.1109/JIOT.2020.3015772.
    [26] PRAHARAJ L, GUPTA M, and GUPTA D. Hierarchical federated transfer learning and digital twin enhanced secure cooperative smart farming[C]. 2023 IEEE International Conference on Big Data, Sorrento, Italy, 2023: 3304–3313. doi: 10.1109/BigData59044.2023.10386345.
    [27] TAO Fei, ZHANG He, and ZHANG Chenyuan. Advancements and challenges of digital twins in industry[J]. Nature Computational Science, 2024, 4(3): 169–177. doi: 10.1038/s43588-024-00603-w.
    [28] RAMU S P, BOOPALAN P, PHAM Q V, et al. Federated learning enabled digital twins for smart cities: Concepts, recent advances, and future directions[J]. Sustainable Cities and Society, 2022, 79: 103663. doi: 10.1016/j.scs.2021.103663.
    [29] GUO Jingjing, LIU Zhiquan, TIAN Siyi, et al. TFL-DT: A trust evaluation scheme for federated learning in digital twin for mobile networks[J]. IEEE Journal on Selected Areas in Communications, 2023, 41(11): 3548–3560. doi: 10.1109/JSAC.2023.3310094.
    [30] HE Yejun, YANG Mengna, ZHOU He, et al. Computation offloading and resource allocation based on DT-MEC-assisted federated learning framework[J]. IEEE Transactions on Cognitive Communications and Networking, 2023, 9(6): 1707–1720. doi: 10.1109/TCCN.2023.3298926.
    [31] QADIR Z, LE K N, SAEED N, et al. Towards 6G Internet of Things: Recent advances, use cases, and open challenges[J]. ICT Express, 2023, 9(3): 296–312. doi: 10.1016/j.icte.2022.06.006.
    [32] QUY V K, NGUYEN D C, VAN ANH D, et al. Federated learning for green and sustainable 6G IIoT applications[J]. Internet of Things, 2024, 25: 101061. doi: 10.1016/j.iot.2024.101061.
    [33] YANG Wei, XIANG Wei, YANG Yuan, et al. Optimizing Federated Learning With Deep Reinforcement Learning for Digital Twin Empowered Industrial IoT [J]. IEEE Transactions on Industrial Informatics, 2023, 19(2): 1884-1893. doi: 10.1109/TII.2022.3183465.
    [34] FARAHANI B and MONSEFI A K. Smart and collaborative industrial IoT: A federated learning and data space approach[J]. Digital Communications and Networks, 2023, 9(2): 436–447. doi: 10.1016/j.dcan.2023.01.022.
    [35] CHEN Jianrui, WANG Jingjing, JIANG Chunxiao, et al. Trustworthy semantic communications for the metaverse relying on federated learning[J]. IEEE Wireless Communications, 2023, 30(4): 18–25. doi: 10.1109/MWC.001.2200587.
    [36] OOI M P L, SOHAIL S, HUANG V G, et al. Measurement and applications: Exploring the challenges and opportunities of hierarchical federated learning in sensor applications[J]. IEEE Instrumentation & Measurement Magazine, 2023, 26(9): 21–31. doi: 10.1109/MIM.2023.10328671.
    [37] ZHU Juncen, CAO Jiannong, SAXENA D, et al. Blockchain-empowered federated learning: Challenges, solutions, and future directions[J]. ACM Computing Surveys, 2023, 55(11): 240. doi: 10.1145/3570953.
    [38] LIU Shimin, LU Yuqian, SHEN Xingwang, et al. A digital thread-driven distributed collaboration mechanism between digital twin manufacturing units[J]. Journal of Manufacturing Systems, 2023, 68: 145–159. doi: 10.1016/j.jmsy.2023.02.014.
    [39] CRONIN C, CONWAY A, and WALSH J. Flexible manufacturing systems using IIoT in the automotive sector[J]. Procedia Manufacturing, 2019, 38: 1652–1659. doi: 10.1016/j.promfg.2020.01.119.
    [40] TSAI Y H, CHANG D M, and HSU T C. Edge computing based on federated learning for machine monitoring[J]. Applied Sciences, 2022, 12(10): 5178. doi: 10.3390/app12105178.
    [41] GUO Sheng, LI Zengxiang, LIU Hui, et al. Personalized federated learning for multi-task fault diagnosis of rotating machinery[J]. arXiv preprint arXiv: 2211.09406, 2022.
    [42] CHEN Baotong, WAN Jiafu, LAN Yanting, et al. Improving cognitive ability of edge intelligent IIoT through machine learning[J]. IEEE Network, 2019, 33(5): 61–67. doi: 10.1109/MNET.001.1800505.
    [43] GUO Qi, TANG Fengxiao, and KATO N. Federated reinforcement learning-based resource allocation for D2D-aided digital twin edge networks in 6G industrial IoT[J]. IEEE Transactions on Industrial Informatics, 2023, 19(5): 7228–7236. doi: 10.1109/TII.2022.3227655.
    [44] SUN Fanglei and DIAO Zhifeng. Federated learning and blockchain-enabled intelligent manufacturing for sustainable energy production in industry 4.0[J]. Processes, 2023, 11(5): 1482. doi: 10.3390/pr11051482.
    [45] TARIQ M, ALI M, NAEEM F, et al. Vulnerability assessment of 6G-enabled smart grid cyber–physical systems[J]. IEEE Internet of Things Journal, 2021, 8(7): 5468–5475. doi: 10.1109/JIOT.2020.3042090.
    [46] BOUZINIS P S, DIAMANTOULAKIS P D, and KARAGIANNIDIS G K. Wireless federated learning (WFL) for 6G networks Part I: Research challenges and future trends[J]. IEEE Communications Letters, 2022, 26(1): 3–7. doi: 10.1109/LCOMM.2021.3121071.
    [47] CHAUDHARY R, AUJLA G S, GARG S, et al. SDN-enabled multi-attribute-based secure communication for smart grid in IIoT environment[J]. IEEE Transactions on Industrial Informatics, 2018, 14(6): 2629–2640. doi: 10.1109/TII.2018.2789442.
    [48] WEN Mi, XIE Rong, LU Kejie, et al. FedDetect: A novel privacy-preserving federated learning framework for energy theft detection in smart grid[J]. IEEE Internet of Things Journal, 2022, 9(8): 6069–6080. doi: 10.1109/JIOT.2021.3110784.
    [49] XIAO Lijun, HAN Dezhi, YANG Ce, et al. TS-DP: An efficient data processing algorithm for distribution digital twin grid for industry 5.0[J]. IEEE Transactions on Consumer Electronics, 2024, 70(1): 1983–1994. doi: 10.1109/TCE.2023.3332099.
    [50] PÉREZ S, PÉREZ J, ARROBA P, et al. Predictive GPU-based ADAS management in energy-conscious smart cities[C]. 2019 IEEE International Smart Cities Conference, Casablanca, Morocco, 2019: 349–354. doi: 10.1109/ISC246665.2019.9071685.
    [51] TAÏK A and CHERKAOUI S. Electrical load forecasting using edge computing and federated learning[C]. The IEEE International Conference on Communications, Dublin, Ireland, 2020: 1–6. doi: 10.1109/ICC40277.2020.9148937.
    [52] CAO Hui, LIU Shubo, ZHAO Renfang, et al. IFed: A novel federated learning framework for local differential privacy in power internet of things[J]. International Journal of Distributed Sensor Networks, 2020, 16(5): 1550147720919698. doi: 10.1177/1550147720919698.
    [53] BOUACHIR O, ALOQAILY M, ÖZKASAP Ö, et al. FederatedGrids: Federated learning and blockchain-assisted P2P energy sharing[J]. IEEE Transactions on Green Communications and Networking, 2022, 6(1): 424–436. doi: 10.1109/TGCN.2022.3140978.
    [54] SHAHID O, POURIYEH S, PARIZI R M, et al. Communication efficiency in federated learning: Achievements and challenges[J]. arXiv preprint arXiv: 2107.10996, 2021.
    [55] SHLEZINGER N, CHEN Mingzhe, ELDAR Y C, et al. Federated learning with quantization constraints[C]. 2020 IEEE International Conference on Acoustics, Speech and Signal Processing, Barcelona, Spain, 2020: 8851–8855. doi: 10.1109/ICASSP40776.2020.9054168.
    [56] HUANG Anbu, CHEN Yuanyuan, LIU Yang, et al. RPN: A residual pooling network for efficient federated learning[C]. Proceedings of the 24th European Conference on Artificial Intelligence, Santiago de Compostela, Spain, 2020: 1223–1229.
    [57] IMTEAJ A, THAKKER U, WANG Shiqiang, et al. A survey on federated learning for resource-constrained IoT devices[J]. IEEE Internet of Things Journal, 2022, 9(1): 1–24. doi: 10.1109/JIOT.2021.3095077.
    [58] JIANG Yuang, WANG Shiqiang, VALLS V, et al. Model pruning enables efficient federated learning on edge devices[J]. IEEE Transactions on Neural Networks and Learning Systems, 2023, 34(12): 10374–10386. doi: 10.1109/TNNLS.2022.3166101.
    [59] WU Chuhan, WU Fengzhao, LYU Lingjuan, et al. Communication-efficient federated learning via knowledge distillation[J]. Nature Communications, 2022, 13(1): 2032. doi: 10.1038/s41467-022-29763-x.
    [60] XIA Dan, JIANG Chun, WAN Jiafu, et al. Heterogeneous network access and fusion in smart factory: A survey[J]. ACM Computing Surveys, 2023, 55(6): 113. doi: 10.1145/3530815.
    [61] PRAKASH S and AVESTIMEHR A S. Mitigating byzantine attacks in federated learning[J]. arXiv preprint arXiv: 2010.07541, 2020.
    [62] XU Chenhao, QU Youyang, XIANG Yong, et al. Asynchronous federated learning on heterogeneous devices: A survey[J]. Computer Science Review, 2023, 50: 100595. doi: 10.1016/j.cosrev.2023.100595.
    [63] SUN Wen, LEI Shiyu, WANG Lu, et al. Adaptive federated learning and digital twin for industrial internet of things[J]. IEEE Transactions on Industrial Informatics, 2021, 17(8): 5605–5614. doi: 10.1109/TII.2020.3034674.
    [64] ABDELMONIEM A M, SAHU A N, CANINI M, et al. REFL: Resource-efficient federated learning[C]. The Eighteenth European Conference on Computer Systems, Rome Italy, 2023: 215–232. doi: 10.1145/3552326.3567485.
    [65] CAO Mei, ZHANG Yujie, MA Zezhong, et al. C2S: Class-aware client selection for effective aggregation in federated learning[J]. High-Confidence Computing, 2022, 2(3): 100068. doi: 10.1016/j.hcc.2022.100068.
    [66] TAN A Z, HAN Yu, CUI Lizhen, et al. Towards personalized federated learning[J]. IEEE Transactions on Neural Networks and Learning Systems, 2023, 34(12): 9587–9603. doi: 10.1109/TNNLS.2022.3160699.
    [67] DENG Yongheng, CHEN Weining, REN Ju, et al. TailorFL: Dual-personalized federated learning under system and data heterogeneity[C]. The 20th ACM Conference on Embedded Networked Sensor Systems, Boston, USA, 2022: 592–606. doi: 10.1145/3560905.3568503.
    [68] REN Lei, LI Yingjie, WANG Xiaokang, et al. An ABGE-aided manufacturing knowledge graph construction approach for heterogeneous IIoT data integration[J]. International Journal of Production Research, 2023, 61(12): 4102–4116. doi: 10.1080/00207543.2022.2042416.
    [69] ZHANG Kai, WANG Yu, WANG Hongyi, et al. Efficient federated learning on knowledge graphs via privacy-preserving relation embedding aggregation[C]. The Findings of the Association for Computational Linguistics, Abu Dhabi, United Arab Emirates, 2022: 613–621. doi: 10.18653/v1/2022.findings-emnlp.43.
    [70] ZHU Xiangrong, LI Guangyao, and HU Wei. Heterogeneous federated knowledge graph embedding learning and unlearning[C]. The ACM Web Conference 2023, Austin, USA, 2023: 2444–2454. doi: 10.1145/3543507.3583305.
    [71] EK K, PORTET F, LALANDA P, et al. A federated learning aggregation algorithm for pervasive computing: Evaluation and comparison[C]. 2021 IEEE International Conference on Pervasive Computing and Communications, Kassel, Germany, 2021: 1–10. doi: 10.1109/PERCOM50583.2021.9439129.
    [72] SEN S, NIELSEN S M, HUSOM E J, et al. Replay-driven continual learning for the industrial internet of things[C]. The 2023 IEEE/ACM 2nd International Conference on AI Engineering–Software Engineering for AI, Melbourne, Australia, 2023: 43–55. doi: 10.1109/CAIN58948.2023.00014.
    [73] LIU Yongxin, WANG Jian, LI Jianqiang, et al. Class-incremental learning for wireless device identification in IoT[J]. IEEE Internet of Things Journal, 2021, 8(23): 17227–17235. doi: 10.1109/JIOT.2021.3078407.
    [74] JIN Zhigang, ZHOU Junyi, LI Bing, et al. FL-IIDS: A novel federated learning-based incremental intrusion detection system[J]. Future Generation Computer Systems, 2024, 151: 57–70. doi: 10.1016/j.future.2023.09.019.
    [75] JIN Hai, BAI Dongshan, YAO Dezhong, et al. Personalized edge intelligence via federated self-knowledge distillation[J]. IEEE Transactions on Parallel and Distributed Systems, 2023, 34(2): 567–580. doi: 10.1109/TPDS.2022.3225185.
    [76] ZHANG Yu and YANG Qiang. A survey on multi-task learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2022, 34(12): 5586–5609. doi: 10.1109/TKDE.2021.3070203.
    [77] WANG Bokun, YUAN Zhuoning, YING Yiming, et al. Memory-based optimization methods for model-agnostic meta-learning and personalized federated learning[J]. The Journal of Machine Learning Research, 2023, 24(1): 145.
    [78] RAO Bosen, ZHANG Jiale, WU Di, et al. Privacy inference attack and defense in centralized and federated learning: A comprehensive survey[J]. IEEE Transactions on Artificial Intelligence, 2024. doi: 10.1109/TAI.2024.3363670.
    [79] ZHAO Bin, FAN Kai, YANG Kan, et al. Anonymous and Privacy-Preserving Federated Learning With Industrial Big Data[J]. IEEE Transactions on Industrial Informatics, 2021, 17(9): 6314-6323. doi: 10.1109/TII.2021.3052183.
    [80] NGUYEN V L, LIN P C, CHENG Bochao, et al. Security and privacy for 6G: A survey on prospective technologies and challenges[J]. IEEE Communications Surveys & Tutorials, 2021, 23(4): 2384–2428. doi: 10.1109/COMST.2021.3108618.
    [81] KADHE S, RAJARAMAN N, KOYLUOGLU O O, et al. FastSecAgg: Scalable secure aggregation for privacy-preserving federated learning[J]. arXiv preprint arXiv: 2009.11248, 2020.
    [82] EL OUADRHIRI A and ABDELHADI A. Differential privacy for deep and federated learning: A survey[J]. IEEE Access, 2022, 10: 22359–22380. doi: 10.1109/ACCESS.2022.3151670.
    [83] HARDY S, HENECKA W, IVEY-LAW H, et al. Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption[J]. arXiv preprint arXiv: 1711.10677, 2017.
    [84] ZHAO Ping, CAO Zhikui, JIANG Jin, et al. Practical private aggregation in federated learning against inference attack[J]. IEEE Internet of Things Journal, 2023, 10(1): 318–329. doi: 10.1109/JIOT.2022.3201231.
    [85] REN Chao, YAN Rudai, XU Minrui, et al. QFDSA: A quantum-secured federated learning system for smart grid dynamic security assessment[J]. IEEE Internet of Things Journal, 2024, 11(5): 8414–8426. doi: 10.1109/JIOT.2023.3321793.
    [86] WANG Xiaoding, GARG S, LIN Hui, et al. Toward accurate anomaly detection in industrial internet of things using hierarchical federated learning[J]. IEEE Internet of Things Journal, 2022, 9(10): 7110–7119. doi: 10.1109/JIOT.2021.3074382.
    [87] XIONG Hu, WU Yan, JIN Chuanjie, et al. Efficient and privacy-preserving authentication protocol for heterogeneous systems in IIoT[J]. IEEE Internet of Things Journal, 2020, 7(12): 11713–11724. doi: 10.1109/JIOT.2020.2999510.
    [88] WU Tianyu, HE Shizhu, LIU Jingping, et al. A brief overview of ChatGPT: The history, status quo and potential future development[J]. IEEE/CAA Journal of Automatica Sinica, 2023, 10(5): 1122–1136. doi: 10.1109/JAS.2023.123618.
    [89] SUN Yu, WANG Shuohuan, FENG Shikun, et al. ERNIE 3.0: Large-scale knowledge enhanced pre-training for language understanding and generation[J]. arXiv preprint arXiv: 2107.02137, 2021.
    [90] ZHOU Ce, LI Qian, LI Chen, et al. A comprehensive survey on pretrained foundation models: A history from BERT to ChatGPT[J]. International Journal of Machine Learning and Cybernetics, 2024.
    [91] KASNECI E, SESSLER K, KÜCHEMANN S, et al. ChatGPT for good? On opportunities and challenges of large language models for education[J]. Learning and Individual Differences, 2023, 103: 102274. doi: 10.1016/j.lindif.2023.102274.
    [92] YANG Hanqing, SIEW M, and JOE-WONG C. An LLM-based digital twin for optimizing human-in-the loop systems[C]. 2024 IEEE International Workshop on Foundation Models for Cyber-Physical Systems & Internet of Things, Hong Kong, China, 2024. doi: 10.1109/FMSys62467.2024.00009.
    [93] CHEN Jiayuan, YI Changyan, DU Hongyang, et al. A revolution of personalized healthcare: Enabling human digital twin with mobile AIGC[J]. IEEE Network, 2024, 38(6): 234–242. doi: 10.1109/MNET.2024.3366560.
    [94] CHEN Xuehan, LUO Linfeng, TANG Fengxiao, et al. AIGC-based evolvable digital twin networks: A road to the intelligent metaverse[J]. IEEE Network, 2024, 38(6): 370–379. doi: 10.1109/MNET.2024.3411008.
    [95] WU Xingjiao, XIAO Luwei, SUN Yixuan, et al. A survey of human-in-the-loop for machine learning[J]. Future Generation Computer Systems, 2022, 135: 364–381. doi: 10.1016/j.future.2022.05.014.
    [96] TURNER C J, MA Ruidong, CHEN Jingyu, et al. Human in the loop: Industry 4.0 technologies and scenarios for worker mediation of automated manufacturing[J]. IEEE Access, 2021, 9: 103950–103966. doi: 10.1109/ACCESS.2021.3099311.
    [97] HIRAI R, SAITO Y, and SARUWATARI H. Federated learning for human-in-the-loop many-to-many voice conversion[C]. The 12th ISCA Speech Synthesis Workshop, Grenoble, France, 2023.
    [98] WU Wen, LI Mushu, QU Kaige, et al. Split learning over wireless networks: Parallel design and resource management[J]. IEEE Journal on Selected Areas in Communications, 2023, 41(4): 1051–1066. doi: 10.1109/JSAC.2023.3242704.
    [99] HAFI H, BRIK B, FRANGOUDIS P A, et al. Split federated learning for 6G enabled-networks: Requirements, challenges, and future directions[J]. IEEE Access, 2024, 12: 9890–9930. doi: 10.1109/ACCESS.2024.3351600.
    [100] THAPA C, CHAMIKARA M A P, and CAMTEPE S A. Advancements of federated learning towards privacy preservation: From federated learning to split learning[M]. UR REHMAN M H and GABER M M. Federated Learning Systems: Towards Next-Generation AI. Cham: Springer, 2021: 79–109. doi: 10.1007/978-3-030-70604-3_4.
    [101] LI Weikang, LU Sirui, and DENG Dongling. Quantum federated learning through blind quantum computing[J]. Science China Physics, Mechanics & Astronomy, 2021, 64(10): 100312. doi: 10.1007/s11433-021-1753-3.
    [102] CHEN S Y C and YOO S. Federated quantum machine learning[J]. Entropy, 2021, 23(4): 460. doi: 10.3390/e23040460.
    [103] YUN W J, KIM J P, JUNG S, et al. Slimmable quantum federated learning[J]. arXiv preprint arXiv: 2207.10221, 2022.
    [104] XIA Qi and LI Qun. QuantumFed: A federated learning framework for collaborative quantum training[C]. 2021 IEEE Global Communications Conference, Madrid, Spain, 2021: 1–6. doi: 10.1109/GLOBECOM46510.2021.9685012.
    [105] ŞAHIN A and YANG Rui. A Survey on over-the-air computation[J]. IEEE Communications Surveys & Tutorials, 2023, 25(3): 1877–1908. doi: 10.1109/COMST.2023.3264649.
    [106] ZHANG Deyou, XIAO Ming, PANG Zhibo, et al. Broadband over-the-air computation for federated learning in industrial IoT[C]. The 48th Annual Conference of the IEEE Industrial Electronics Society, Brussels, Belgium, 2022: 1–6. doi: 10.1109/IECON49645.2022.9968873.
    [107] YANG Kai, JIANG Tao, SHI Yuanming, et al. Federated learning via over-the-air computation[J]. IEEE Transactions on Wireless Communications, 2020, 19(3): 2022–2035. doi: 10.1109/TWC.2019.2961673.
    [108] RATHI N, CHAKRABORTY I, KOSTA A, et al. Exploring neuromorphic computing based on spiking neural networks: Algorithms to hardware[J]. ACM Computing Surveys, 2023, 55(12): 243. doi: 10.1145/3571155.
    [109] NUNES J D, CARVALHO M, CARNEIRO D, et al. Spiking neural networks: A survey[J]. IEEE Access, 2022, 10: 60738–60764. doi: 10.1109/ACCESS.2022.3179968.
    [110] SKATCHKOVSKY N, JANG H, and SIMEONE O. Federated neuromorphic learning of spiking neural networks for low-power edge intelligence[C]. 2020 IEEE International Conference on Acoustics, Speech and Signal Processing, Barcelona, Spain, 2020: 8524–8528. doi: 10.1109/ICASSP40776.2020.9053861.
    [111] WANG Huan, LI Yanfu, and GRYLLIAS K. Brain-inspired spiking neural networks for industrial fault diagnosis: A survey, challenges, and opportunities[J]. arXiv preprint arXiv: 2401.02429, 2023.
    [112] ZHU Zhengyu, LI Zheng, CHU Zheng, et al. Intelligent reflecting surface-assisted wireless powered heterogeneous networks[J]. IEEE Transactions on Wireless Communications, 2023, 22(12): 9881–9892. doi: 10.1109/TWC.2023.3274220.
    [113] ZHU Zhengyu, XU Jinlei, SUN Gangcan, et al. Robust beamforming design for IRS-aided secure SWIPT terahertz systems with non-linear EH model[J]. IEEE Wireless Communications Letters, 2022, 11(4): 746–750. doi: 10.1109/LWC.2022.3142098.
    [114] 王平, 杨志伟, 李贺举. 智能反射面赋能的联邦边缘学习及其在车联网中的应用[J]. 通信学报, 2023, 44(10): 46–57. doi: 10.11959/j.issn.1000-436x.2023192.

    WANG Ping, YANG Zhiwei, and LI Heju. Federated edge learning with reconfigurable intelligent surface and its application in internet of vehicles[J]. Journal on Communications, 2023, 44(10): 46–57. doi: 10.11959/j.issn.1000-436x.2023192.
    [115] ZHENG Jie, ZHANG Haijun, KANG Jiawen, et al. Covert federated learning via intelligent reflecting surfaces[J]. IEEE Transactions on Communications, 2023, 71(8): 4591–4604. doi: 10.1109/TCOMM.2023.3281880.
    [116] ZHANG Yutong, DI Boya, ZHANG Hongliang, et al. Meta-wall: Intelligent omni-surfaces aided multi-cell MIMO communications[J]. IEEE Transactions on Wireless Communications, 2022, 21(9): 7026–7039. doi: 10.1109/TWC.2022.3154041.
    [117] MAHMOOD A, BELTRAMELLI L, ABEDIN S F, et al. Industrial IoT in 5G-and-beyond networks: Vision, architecture, and design trends[J]. IEEE Transactions on Industrial Informatics, 2022, 18(6): 4122–4137. doi: 10.1109/TII.2021.3115697.
    [118] ELHOUSHY S, IBRAHIM M, and HAMOUDA W. Cell-free massive MIMO: A survey[J]. IEEE Communications Surveys & Tutorials, 2022, 24(1): 492–523. doi: 10.1109/COMST.2021.3123267.
    [119] ZHAO Chen, GAO Zhipeng, WANG Qian, et al. AFL: An adaptively federated multitask learning for model sharing in industrial IoT[J]. IEEE Internet of Things Journal, 2022, 9(18): 17080–17088. doi: 10.1109/JIOT.2021.3125989.
    [120] VU T T, NGO D T, TRAN N H, et al. Cell-free massive MIMO for wireless federated learning[J]. IEEE Transactions on Wireless Communications, 2020, 19(10): 6377–6392. doi: 10.1109/TWC.2020.3002988.
  • 期刊类型引用(2)

    1. 李冰,潘晓萌. 计算机产业集群潜在风险优化控制模型. 科技通报. 2016(02): 167-171 . 百度学术
    2. 陆兴华,罗文俊,刘仁秋. 基于多线程交互的Android动态视点随动技术. 智能计算机与应用. 2015(06): 18-21 . 百度学术

    其他类型引用(4)

  • 加载中
图(5) / 表(1)
计量
  • 文章访问数:  522
  • HTML全文浏览量:  199
  • PDF下载量:  116
  • 被引次数: 6
出版历程
  • 收稿日期:  2024-07-08
  • 修回日期:  2024-11-12
  • 网络出版日期:  2024-11-29
  • 刊出日期:  2025-12-01

目录

/

返回文章
返回