URPC目标识别组v1.0（初稿）
文章来源：未知 发布时间：2019-06-27 19:34 点击量：
一、 目标识别技术组
3.1 离线测试数据库与竞赛规则
1. 数据库概述将数据库压缩包解压后文件夹结构如下：
train/
|--image/
|--box/
val/
|--image/
|--box/
test/
|--image/
devkit
|--data
|--evaluation
其中train/image文件夹中包含训练视频。每一视频被分为若干视频片段（以000为起始编号）。同一视频片段的的图像帧保存在同一文件夹下。例如：train/image/G0024172/002/0205.jpg 为视频G0024172的第205帧图像，位于该视频的第002个片段中。其对应的标注位于train/box/G0024172/002/0205.xml文件中。该标注文件包含了对应帧中所有物体的类别以及目标框位置。val/和test/文件夹结构与train/类似。|--image/
|--box/
val/
|--image/
|--box/
test/
|--image/
devkit
|--data
|--evaluation
devkit/包含了用于评测算法性能的代码与数据。其中devkit/data/train.txt文件为所有训练集图片的列表，每一行格式为：“video_name/snippet_id/frame_name image id”。第一项为某一训练图片的路径，第二项为该图片的id。例如：”YDXJ0013/044/4417 17573” 所指代的图像为train/image/YDXJ0013/044/4417.jpg，其id为17573。devkit/data/val.txt 和test.txt与train.txt格式相同，分别是所有验证集和测试集图片的列表。devkit/data/meta_data.mat包含了数据种类的信息，在MATLAB中导入可得如下结构体数组
synsets =
1x3 struct array with fields:
cls_id
name
其中cls_id为类别的标签（1,2,3），name为类别的名字（“scallop”, “seanurchin”, “seacucumber”）。 devkit/evaluation/VOCreadxml.m为用于读取xml标注文件的MATLAB程序。
2. 评测方法
本竞赛参考了ILSVRC2015 Object Detection任务的评测方法，采用平均准确率（mAP）作为评价指标。（详细说明请参考http://image-net.org/challenges/LSVRC/2015/index#maincomp）给定目标框真值BG与 目标种类真值CG，假设算法预测的目标框为B，预测的目标种类为C。当C与CG一致并且目标框BG与B的重叠率(IOU)大于某一阈值时判定该预测为一次准确检测。目标框的重叠率计算方式为:
IOU(B,BG) = (B intersection BG) / (B union BG)
对于大小为m*n的真值目标框，阈值计算方法为
thr = min(0.5, m*n / [(m+10)*(n+10)])
不满足上述条件的检测结果（种类不一致或目标框重叠率低于阈值）将被判为误检。对同一目标的重复检测也将被判为误检。
3. 比赛任务提交格式
参赛算法的预测结果将以一个txt格式的文件提交。文件的每一行对应一个检测到的目标，格式如下：
<image_id> <class_id> <confidence> <xmin> <ymin> <xmax> <ymax>
其中image_id为测试图片的id号（列于devkit/data/test文件中）, class_id 为物体的种类（参见devkit/data/meta_data.mat）, confidence为算法对于这一预测的置信度，xmin ymin为目标框左上角点坐标，xmax ymax为目标框右下角点坐标。
用于评测算法的MATLAB程序位于devkit/evaluation/eval_detection.m。为了便于理解，我们提供了示例程序devkit/evaluation/demo_eval_det.m。该程序对val集上的预测结果文件devkit/evaluation/demo_val_pred.txt进行评测。
4. 预赛环境
所有参赛队将线上提交测试结果，组委会根据总体识别精度排名确定决赛入选队伍。
5. 决赛环境
决赛参赛队现场进行演示，并按照上述格式提交检测结果。提供三台相同配置的PC机用于测试。软硬件配置如下：
CPU： Intel i7-6700@3.4GHz
内存：32GB
GPU： NVIDIA GeForce GTX 1080
显存： 8GB
硬盘：2TB SSD
操作系统：Ubuntu 14.04 LTS，安装有CUDA-8.0。其余软件请各参赛组按照各自所需提前联系竞赛组委会进行安装。
3.2 在线测试竞赛规则
1.测试环境在线测试环境由一10m x 2m区域构成。如下图所示，包含测量区和计数区两部分。在检测区域内随机投放待检测目标。
图1. 在线测试环境
总体说明
1) 比赛分为尺寸测量和检测计数两部分，以最终精度排名。
2) 总体限时15分钟，两个分任务无单独限时。
3) 鼓励机器人全自主航行，参见最终精度权值（全自主航行定义为在进入尺寸测量区和检测计数区后参赛队无包括控制机器人行进在内的任何操作）。
检测计数说明
1) 本次比赛对海参，海胆，扇贝三种类别进行检测计数。
2) 参数队需按主办方要求格式提交计数结果和计数过程视频。计数过程视频将作为裁判组判定计数结果是否有效的重要依据。
尺寸测量说明
1) 本次比赛只测量海参尺寸；
2) 每个海参附近均有对应的编号， 编号大小随机（勿以编号尺寸作为参考）。
3) 参数队需按主办方要求格式提交每个目标的测量结果（被漏测的目标记录为精度不达标，即记为0）
精度评估
最终精度包含计数精度和测量精度两部分，具体计算说明如图2所示。
图2. 精度计算说明
