当前状态:
, 最新更新时间: ,
doi: 10.11999/JEIT251254
摘要:
分割一切模型(Segment Anything Model, SAM)作为通用分割大模型,在多类二维视觉任务中展现出强大迁移能力,但原生SAM主要针对2D平面图像设计,缺乏对360°全景图像球面几何特性的建模能力,难以直接应用于360°全景图像显著目标检测(360° SOD)。为了将SAM应用于360° SOD并解决其不足,本文提出一种采用球面几何引导和频率增强SAM的360° SOD网络,具体包括多认知适配器(Multi-Cognitive Adapter, MCA),受人类视觉感知机制的启发,通过引入多尺度、多路径特征建模提升全景图像的上下文感知能力;球面几何引导注意力(Spherical Geometry-Guided Attention, SGGA),利用球面几何先验缓解等矩形投影中的畸变与边界不连续性;以及空频域联合感知模块(Spatial-Frequency Joint Perception Module, SFJPM),结合多尺度空洞卷积与频域注意力,增强全局与局部信息的协同建模,提升360° SOD性能。本文在现有的两个公开360° SOD数据集(360-SOD,360-SSOD)上进行了大量实验,结果表明,本文方法在客观指标和主观结果上的表现均优于现有的7种代表性2D SOD方法和7种360° SOD方法。