竞赛课目与评分规则


本次大赛面向可见光、SAR、高光谱、红外等数据源,在图像质量改善、目标提取、分类和检测识别等关键技术方面共设置5 大方向共 14 项课目。课目覆盖数据预处理、分析挖掘、综合应用等高分地面处理和应用的整个流程。竞赛课目及评分规则如下:

1、目标识别方向

课目说明:

对高分辨率遥感图像中存在的多个目标(如:飞机、舰船和车辆)进行自动定位,并赋予相应的标签类别。具体包括:

(1)高分辨率可见光图像中飞机目标自动识别

(2)高分辨率可见光图像中舰船目标自动识别

(3)高分辨率可见光图像中车辆目标自动识别

(4)高分辨率 SAR 图像中飞机目标自动识别

(5)高分辨率 SAR 图像中舰船目标自动识别

评分规则:

本方向的训练与测试数据集将包含 50-100 幅图像,这些图像通过人工标注 5-10 类目标的位置和类别,各类别目标间互相不重复。

在目标识别任务中,输入一幅图像,算法软件首先需要产生目标类别标签,以及每个目标对应的定位窗口,每个窗口对应一个标签。定位结果的评价指标将根据其中与真值最为接近的标签及相对的定位窗口产生。

本方向采用的评价指标为目标检测与识别的错误率。取得所有测试图像平均错误率最低的团队即目标识别竞赛的优胜团队。

评价指标详见《评分细则与参考样例》。

2、目标分类方向

课目说明:

将包含单个目标的高分辨率遥感图像切片划分到相应的地物目标类别(如:建筑物、道路、桥梁、湖泊等)。具体包括:

(6)高分辨率可见光图像切片的典型地物目标分类

(7)高分辨率 SAR 图像切片的典型地物目标分类

评分规则:

本方向的所有数据将分为训练集和测试集,这些数据包含 5类左右地物目标。

对于每幅图像,算法软件需要产生最多 5 个类别标签及按降序排列的置信度。分类结果的评价指标将根据其中与真值最为接近的标签产生。

本方向采用的评价指标为平均分类错误率。取得测试图像平均错误率最低的团队即目标定位竞赛的优胜团队。

评价指标详见《评分细则与参考样例》。

3、目标提取方向

课目说明:

对高分辨率遥感图像中的单个或多个地物目标(如:建筑物、道路等)进行像素级的分割、提取和重建。具体包括:

(8)高分辨率可见光图像中建筑物目标自动提取和重建

(9)高分辨率 SAR 图像中建筑物目标自动提取和重建

(10)高分辨率可见光图像中道路/道路网目标自动提取

(11)高分辨率 SAR 图像中道路/道路网目标自动提取

评分规则:

本方向的数据集将包含 50-100 幅图像,每幅图像对目标进行了整体或部分标注。这些数据将分为训练集和测试集三部分。

本方向将采用平均像素分类错误率作为评价指标。取得平均错误率最低的团队即地物目标提取的优胜团队。

评价指标详见《评分细则与参考样例》。

4、图像质量改善方向

课目说明:

针对给定的一组光学和 SAR 图像,在无人工干预的条件下,实现信噪比计算、降斑处理等多种图像增强手段,提升图像信息显示效果。具体包括:

(12)SAR 图像运动目标图像质量增强

(13)光学图像信噪比自动计算

评分规则:

对于 SAR 运动目标图像质量增强课目,给定若干块含运动目标的高分辨率 SAR 单视复图像数据,分别计算增强后图像的运动目标区域图像熵、分辨率、峰值旁瓣比、积分旁瓣比等指标,平均加权计分。

对于光学图像信噪比自动计算课目,给定一组全色/多光谱/高光谱光学图像,在无人工干预的条件下,计算各图像通道的信噪比,对于非全色图像,该处信噪比曲线。每幅图像的准确率评分为各波段准确率评分的平均值。取得分值最高的团队即为该方的优胜团队。

评价指标详见《评分细则与参考样例》。

5、挑战性课目

课目说明:

(14)图像语义标注

对给定的遥感图像数据进行文本语义标签的自动标注,为海量数据的高效组织和检索提供技术支撑。

评分规则:

图像语义标注的数据集将包含 50-100 幅图像,每幅图像对目标进行了整体或部分标注。

本方向采用的评价指标为标注与识别的错误率。取得所有测试图像平均错误率最低的团队即挑战性课目竞赛的优胜团队。

评价指标详见《评分细则与参考样例》。