海上船只目标多源数据集(可见光图像部分)

姓名
邮箱
手机号码
标题
留言内容
验证码

发布日期: 2025-12-02 阅读次数：

分享到:

用微信扫码二维码

分享至好友和朋友圈

原文刊载于《电子与信息学报》2025年预发表文章

阅读原文免费下载丨评论转发抽赠纸刊

海军航空大学熊伟教授、崔亚奇副教授及哈尔滨工程大学烟台研究院合作团队在《电子与信息学报》发表最新数据集论文《海上船只目标多源数据集可见光图像部分》。

为适应海上船只目标智能感知发展趋势，针对现有海上船只目标感知数据集信源单一、船只目标类别少、场景简单等问题，团队研制了由多种传感器构成的海上目标集成采集设备，开展约2个月船载观测，获取约90 TB多源原始数据。通过自动标注与人工校验相结合的流程，目前已构建海上船只目标多源数据集的可见光图像部分(MSMS-VF)。该数据集涵盖客船、货船、快艇、帆船、渔船、浮标、漂浮物及海上平台等9种目标类别，包含265,233张图像，1,097,268个边界标注框，小目标占比达到55.88%。该数据集可用于海上目标检测、识别与跟踪等研究。为方便研究者体验与验证，我们现公开MSMS‑VF的一个示例子集(demo)。该子集从完整版数据中抽取，保留了主要场景特征与标注格式。

原文：崔亚奇, 周天, 熊伟, 许赛飞, 林传齐, 夏沭涛, 王子玲, 顾祥岐, 孙炜玮, 李浩然, 孔战, 唐浩, 徐平亮, 张杰, 但波, 郭恒光, 董凯, 于洪波, 陆源, 陈威, 何少炜. 海上船只目标多源数据集可见光图像部分[J]. 电子与信息学报, 预发表. Doi: 10.11999/JEIT250138.

数据集下载 (科学数据银行):

https://www.scidb.cn/detail?dataSetId=8d2d2a8c121e49e7aa8b402a24643adb

说明：本示例集仅供学术交流、算法测试与格式示例使用。

▌一数据采集

团队研制了由雷达、可见光、红外、激光、AIS、GPS等传感器构成的海上目标集成采集设备，实物图如图1所示。摄像系统由1台双光自稳云台摄像机和2台双目广角摄像机构成，部署位置与视场覆盖范围详见图2。

▐ 图1 船端海上观测单元实物图

▐ 图2 采集设备配置示意图

图3展示了同一时刻采集到的数据可视化结果。图3(a)为GPS数据与AIS信息在卫星地图上的叠加。3(b)展示了安置在实验船尾部的摄像头拍摄的视频图像。图3(c)与图3(d)分别为安装在实验船行驶方向右侧与左侧的双目广角相机拍摄的视频画面。图3(e)展示了由X波段雷达采集的雷达P显图，量程设定为1公里。蓝色圆圈表示雷达探测到的目标，红色三角形则表示AIS位置信息在雷达图中的对应位置。

▐ 图3 采集数据可视化图

▌二数据集格式

1. 存储路径层级

标注数据存储路径层级，如图4所示。文件路径下为各次视频采集片段文件夹。每个片段目录下包含三个主要部分：images文件夹存放按序号命名的图像帧；labels文件夹保存对应帧的YOLO格式标注文本；此外还提供gt.txt(用于多目标跟踪的 MOT 格式标注)与annotations.xml(XML 结构标注信息)，方便根据任务需求选择合适的标注格式进行训练或评测。

▐ 图4 存储路径层级

2. 船舶分类

据烟台海洋环境的实际情况，本数据集将海上的船舶分为五类：客船、货船、快艇、帆船和渔船。同时，还标注了海面上的其他目标，如浮标、漂浮物和海上平台。这8种类别涵盖了视频画面中所有船舶和漂浮物体，能够全面反映海面航行状况。图5展示了各类别的示意图像，表1对各目标分类进行了详细描述。

▐ 图5 各目标类别图例

▐ 表1 海上目标分类及详细描述

编号	目标类别	描述
0	客船	客船、游船、渡轮等中大型船舶
1	货船	货船、工程船、拖船等多种大型船舶
2	快艇	快艇、摩托艇、皮划艇等小型船舶
3	渔船	渔船、钓鱼船等中小型船舶
4	帆船	帆船等利用风力航行的船舶
5	浮标	航标等航道标志物
6	漂浮物	浮球等海面漂浮物
7	海上平台	光伏平台、海洋牧场等海上作业平台
8	其它	管道型浮排、养殖区等其他目标

3. XML格式标注数据

在XML格式标注数据中，每一个节点对应视频序列中某一目标实例的多帧轨迹记录，其含该目标在不同视频帧的位置信息及相关属性。XML存储结构如图6所示。

▐图6 XML格式标注数据

每个内包含多个，用于记录标注框的附加属性。定义的属性如表2所示。

▐表2 标注属性

属性	值	说明
part	True/False	目标是否是部分可见
overlap	True/False	该框是否与其他目标有遮挡重叠
size	extra_small; small; medium_small; medium; large	根据框面积对标注框尺寸进行分类

本数据集根据标注框的像素面积，将标注框的大小划分为大、中、小3个尺度。为了进一步探讨目标检测模型在小目标检测方面的能力，将小目标再细分为3个等级：极小尺寸、相对小尺寸和一般小尺寸。各等级对应的像素面积如表3所示。

▐表3 目标尺寸等级

尺寸等级	小尺寸			中尺寸	大尺寸
	极小尺寸	相对小尺寸	一般小尺寸
像素面积范围	0~144	144~400	400~1024	1024~2048	>2048

4. MOT标注格式

本数据集中的MOT标注格式遵循多目标跟踪任务通用的文本结构。在gt.txt文件中，每1行表示1帧中的1个目标，字段如图7所示。

▐ 图7 MOT标注格式字段

字段说明如表4所示。

▐ 表4 字段说明

字段	说明
frame_id	帧序号
object_id	目标唯一ID
bbox_left/bbox_top	边界框左上角坐标
bbox_width/bbox_height	边界框宽高
class	目标类别编号

5. 视频属性

本数据集的每个视频片段都附带详细的属性信息，用于描述拍摄环境与数据特征。视频属性与具体描述如表5所示。

▐表5 视频属性与具体描述

属性名称		说明	属性名称	说明
视频片段名称	用于唯一标识该段数据		isTouristPier	拍摄场景是否为游客码头
frameRate	表示采集帧率		isFoggyWeather	否是雾天
seqLength	为帧总数		isSunnyWeather	否是晴天
imWidth/imHeight	图像分辨率		isExtremeLighting	是否为极端光照情况
isMoving	标明采集平台是否移动		isBackgroundClustering	目标与背景是否混叠
isHarbor	拍摄场景是否为港口		isBridInterference	是否有鸟类干扰
isSea	拍摄场景是否为外海		isShoreBased	是否为岸基拍摄

▌三 数据集示例

该部分展示了数据集中典型的视频片段示例，画面中可视化了跟踪标注结果，可直观体现不同类型海上目标在真实场景下的分布与标注效果。

【崔亚奇团队丨海上船只目标多源数据集（可见光图像部分）】

https://www.bilibili.com/video/BV1vwStBbEq8/?share_source=copy_web&vd_source=b017d4aef14a44dbecd2adb5f63dcfe3

作者介绍

崔亚奇 (一作)：男，博士，副教授，研究方向为多源信息融合、人工智能交叉应用等；

周天 (通信)：男，博士生，研究方向为人工智能、信息融合等；

熊伟：男，博士，教授，研究方向为为多传感器信息融合、指挥自动化等；

许赛飞：男，硕士生，研究方向为深度学习、计算机视觉等；

林传齐：男，硕士生，研究方向为深度学习、航迹预测等。

▌团队近期成果

团队在海面目标识别与跟踪领域持续开展深入研究，致力于推动复杂海面环境中智能感知与目标跟踪技术的发展。团队参加了第三届信息融合挑战赛——“杰瑞杯”海面RGB-T目标跟踪竞赛，聚焦于多模态数据融合及复杂场景目标跟踪，提出了一种改进的多目标跟踪算法，该算法在海上目标跟踪场景下提升目标跟踪身份一致性方面表现突出，同时在实时性上效果最佳，最终荣获决赛特等奖。