当前状态:
, 最新更新时间: ,
doi: 10.11999/JEIT260218
摘要:
在网络边缘部署大语言模型(Large Language Models, LLMs)对泛在人工智能(Artificial Intelligence, AI)至关重要。与单一LLM相比,多LLM协同推理可以显著提高系统的稳健性,但严格的资源约束对可靠推理提出了挑战。本文提出了门控自适应重复查询(Gating Adaptive Repeat Query, G-ARQ)框架,将协同推理转化为语义驱动的闭环过程,增强了系统的健壮性。在G-ARQ中,语义空间对齐和错误引导重传(Semantic-Space Alignment and Error-Guided Retransmission, SEMAR)机制将不同类型的LLM输出对齐到一个统一的语义空间,并使用推理错误信息来指导下一次重复查询LLM的选择,而轨迹优化器在不需要显式系统动态的情况下联合优化LLM门控和资源分配。在SQuAD和TriviaQA混合数据集上的实验表明,在严格的时延和能耗约束下,G-ARQ相比基线方案的准确率最大提高2.2%。G-ARQ框架建立了一个帕累托边界来表征准确率和时延之间的权衡,为可靠的第六代(Sixth-Generation, 6G)边缘智能提供了一条实用的路径。