《电子与信息学报》“数据集”No.12 

▌一 数据集介绍

随着遥感应用不断从静态图像分析迈向智能化认知决策任务，构建覆盖多任务、多模态的信息融合数据体系已成为推动遥感基础模型发展的关键前提。本文围绕遥感智能体中的感知、认知需求，构建了一个面向多任务图文指令的遥感多模态数据集，系统组织图像、文本指令、空间坐标与行为轨迹等多模态信息，统一支撑多阶段任务链路的训练与评估。

▌二 数据集描述

该数据集涵盖9类核心任务，包括关系推理、指令分解、任务调度、定位描述与多模态感知等，共计21个子数据集，覆盖光学、SAR与红外三类遥感模态，总体数据规模超过2百万样本。在数据构建过程中，本文针对遥感图像的特性设计了标准化的指令格式，提出统一的输入输出范式，确保不同任务间的互通性与可迁移性。

表1 数据集整体统计

▌三 数据集示例

每个子数据集对应一个独立文件夹，文件夹内的数据以JSON格式存储，图像文件为JPG或PNG格式。每个JSON文件包含四类标签信息：“image”表示图像路径，“text_input”为指令输入，“text_output”为模型输出答案，“image_id”为每条数据的唯一标识。

图1 关系推理任务问答对示例

图2 关系检测任务问答对示例

图3 指令分解任务问答对示例

图4 任务调度任务问答对示例

图5 定位描述任务问答对示例

图6 多模态感知任务问答对示例