注：9月初比赛海域的数据：水温21到23度之间，盐度千分之32左右，海流在2节以内，透明度大约在2到5米。

1 竞赛背景

1.1 目的与意义

为促进水下机器人敏捷机器人理论、技术与产业的发展，填补水下敏捷机器人抓捕任务评测的空白，本次竞赛紧扣水下机器人抓取任务，针对水下海参、扇贝、海胆感知识别，搭建比赛平台，设计比赛细节，进一步促进研究水下感兴趣目标识别检测算法与技术。竞赛以数据为核心，构建真实近海水下敏捷机器人抓捕的闭环评测平台，实现了虚实融合的水下机器人抓捕场景实时呈现，并融合了裁判主观打分和数据自学习的客观评测模型。

1.2 竞赛组织单位

本次竞赛由国家自然科学基金委员会主办，大连理工大学和獐子岛集团股份有限公司联合承办。竞赛的筹备得到了獐子岛集团股份有限公司的赞助。竞赛指导专家组，评审团由来自国家自然科学基金委，中科院，中国科学技术大学，香港中文大学，北京邮电大学，大连理工大学等单位的业内权威人士组成，为保证公平、公证，专家评审团成员不参加与自己相关或所在团队的比赛任务评审，采取回避原则。

1.3 竞赛分组

1) 目标识别技术组

2) 定点抓取技术组

3) 自主抓取技术组

2 比赛场地网箱布设图

海事大学比赛场地（预赛场地）

 

遍历点分为两类：四个普通遍历点（每个5分），一个深水遍历点（每个10分）。

 

初赛定点抓取和自主抓取使用的海参、扇贝、海胆均为模型，具体规格如下：

海参：长11，直径3.6        

扇贝：高12，宽12，厚3       

海胆：直径不带刺7 刺最长3，底部为平底（尺寸：cm）

重量：

海参大约180克，海胆大约190克，扇贝大约230克，经实验均都能沉入海底。

 

獐子岛海域比赛场地（决赛场地）

3 目标识别技术组

3.1 离线测试数据库与竞赛规则

1. 数据库概述

将数据库压缩包解压后文件夹结构如下：

 

train/

|--image/

|--box/

val/

|--image/

|--box/

test/

|--image/

devkit

|--data

|--evaluation

其中train/image文件夹中包含训练视频。每一视频被分为若干视频片段（以000为起始编号）。同一视频片段的的图像帧保存在同一文件夹下。例如：train/image/G0024172/002/0205.jpg 为视频G0024172的第205帧图像，位于该视频的第002个片段中。其对应的标注位于train/box/G0024172/002/0205.xml文件中。该标注文件包含了对应帧中所有物体的类别以及目标框位置。val/和test/文件夹结构与train/类似。

devkit/包含了用于评测算法性能的代码与数据。其中devkit/data/train.txt文件为所有训练集图片的列表，每一行格式为：“video_name/snippet_id/frame_name    image id”。第一项为某一训练图片的路径，第二项为该图片的id。例如：”YDXJ0013/044/4417  17573” 所指代的图像为train/image/YDXJ0013/044/4417.jpg，其id为17573。devkit/data/val.txt 和test.txt与train.txt格式相同，分别是所有验证集和测试集图片的列表。devkit/data/meta_data.mat包含了数据种类的信息，在MATLAB中导入可得如下结构体数组

synsets =

1x3 struct array with fields:

cls_id

name

其中cls_id为类别的标签（1,2,3），name为类别的名字（“scallop”, “seanurchin”, “seacucumber”）。 devkit/evaluation/VOCreadxml.m为用于读取xml标注文件的MATLAB程序。

 

2. 评测方法

本竞赛参考了ILSVRC2015 Object Detection任务的评测方法，采用平均准确率（mAP）作为评价指标。（详细说明请参考http://image-net.org/challenges/LSVRC/2015/index#maincomp）给定目标框真值BG与目标种类真值CG，假设算法预测的目标框为B，预测的目标种类为C。当C与CG一致并且目标框BG与B的重叠率(IOU)大于某一阈值时判定该预测为一次准确检测。目标框的重叠率计算方式为:

IOU(B,BG)  =  (B intersection BG)  /  (B union BG)

对于大小为m*n的真值目标框，阈值计算方法为

                  thr = min(0.5,  m*n / [(m+10)*(n+10)])

不满足上述条件的检测结果（种类不一致或目标框重叠率低于阈值）将被判为误检。对同一目标的重复检测也将被判为误检。

 

3. 比赛任务提交格式

参赛算法的预测结果将以一个txt格式的文件提交。文件的每一行对应一个检测到的目标，格式如下：

<image_id> <class_id> <confidence> <xmin> <ymin> <xmax> <ymax>

其中image_id为测试图片的id号（列于devkit/data/test文件中）, class_id 为物体的种类（参见devkit/data/meta_data.mat）, confidence为算法对于这一预测的置信度，xmin ymin为目标框左上角点坐标，xmax ymax为目标框右下角点坐标。

用于评测算法的MATLAB程序位于devkit/evaluation/eval_detection.m。为了便于理解，我们提供了示例程序devkit/evaluation/demo_eval_det.m。该程序对val集上的预测结果文件devkit/evaluation/demo_val_pred.txt进行评测。

 

4. 测试环境

所有参赛队现场进行演示，并按照上述格式提交检测结果。提供三台相同配置的PC机用于测试。软硬件配置如下：

CPU： Intel i7-6700@3.4GHz

内存：32GB

GPU： NVIDIA GeForce GTX 1080

显存： 8GB

硬盘：2TB SSD

操作系统：Ubuntu 14.04 LTS，安装有CUDA-8.0。其余软件请各参赛组按照各自所需提前联系竞赛组委会进行安装。

3.2 在线测试竞赛规则

1.测试环境

在线测试环境由一10m x 2m区域构成。如下图所示，在10m x 2m区域内设立不超过十个0.8m x 0.8m的检测区域。在检测区域内随机投放待检测目标。

 

图1. 在线测试环境

2. 比赛规则

参赛方自带设备，机器人沿导航线通过检测区域，限时完成比赛（由于自备的机器人中处理器水平不一致，考虑调整不同参赛方的限时情况）。采用分段计数，检测过程结束后各参赛队提交在每个检测区检测到的各种类目标数，以及各种类目标在所有检测区的检测总数。与此同时，要求参赛机器人能够保存检测结果图片，上岸后提交给裁判组，用于评价结果的有效性（即参赛队需对每个检测区域反馈一张检测结果截图）。

图2. 结果标注示意

结果提交格式与标注格式见下表。

 

表1. 目标数分段预测值（参赛方提交）

 

表2. 目标数分段预测值（主办方验证）

表3. 目标数分段真实值（主办方标注）

评测的规则如下：总数精度为评判标准，分段计数为过程参考。限时完成比赛任务，超时部分判为未成功召回。裁判组通过审核识别过程的视频回放和分段计数结果对最终结果的有效性进行判定。排序采用精度优先原则。采用如下加权平均误差形式，误差越小越准确。
   

    精度完全相同时，耗时少者排序靠前。

4 定点抓取技术组

(1) 机器人须满足如下指标

1) 单个机器人的体积不得超过1.5m³（本体）；

2) 机器人可以为有缆遥控或无缆遥控机器人；

3) 无缆遥控机器人需要确保在水下能够建立通信；

4) 机器人要具备一定的负载能力（10kg) ，机器人和网兜可以分离，但比赛结束前机器人和网兜必须回到指定位置；

5) 机器人必须用抓取式，不能用吸取式；

6) 传感器：不限定，指标打分（重能力）。

(2) 比赛要求及规则

评判标准：利用机器人的移动实现定点抓取，综合评测机器人的移动能力与抓取能力。

比赛规则：

1）参赛人数：每个参赛队最多参赛人数6人（含1名指导教师），其中1名参赛队员为主会场视频中心播报员，通过对讲机与船上队员通信，播报定点任务的完成情况，赛会方提供对讲机。为安全起见，所有参赛队员必须身穿救生衣（播报员除外），否则取消比赛资格。

2）功耗限制：参赛队所有设备30分钟内不超过1度电，若超过功率限制，则做扣分处理。

3）比赛时间：定点抓捕时间30分钟，设备调试、准备时间20分钟，超时扣分。

4）比赛地点：比赛开始前，机器人需自行游至水下机器人出发区，机器人自行钻入比赛网箱；比赛结束后，机器人自行返回结束地点。

5）潜水员辅助：比赛过程中，仅当机器人机械故障、机器人水下受困时潜水员出动。

6）赛事设备：主办方提供220v发电机、不提供吊车。

7）不可抗力：比赛过程中如遇到极端天气、意外事故时、发电机故障等极端情况时，经裁判组协商，可暂定或重新计时。

8）赛事纪律：比赛过程中，若出现辱骂、顶撞、侮辱裁判现象，裁判组有权取消该队比赛资格。

9）终止比赛：比赛过程中，机器人出现机械故障时，参赛队可与裁判组协商，主动终止比赛或放弃比赛。
 

(3) 比赛内容

水池中4个矩形区域(大约0.5m×2m的4个区域，在15m×15m场景中的具体位置请参考比赛场景布置图中的①③④⑥，该区域用电子装置自动识别机器人是否进入该区域。)放置不同数量的海参、扇贝、海胆，机器人在规定的时间内在水池中移动并抓取海产品，抓取的数量越多、种类越多，则得分越高。机器人需要在比赛结束前将抓取的海产品送回岸上指定地点，计分规则中的数量以送回岸上指定地点的海产品以及机器人最后出水时自身携带的海产品总数量为准。

(4) 具体比赛参数

比赛时长：30分钟；

种类：海参、扇贝（空扇贝无效）、海胆三类。

(5) 比赛得分计算方法

客观评价（70%）与主观评价（30%）相结合的方法。

假设机器人体积为A，重量为B，抓取海参数量为H1、扇贝数量为H2、海胆数量为H3，所有参赛队伍抓取能力单项分(a1×H1+a2×H2+a3×H3)得分最高者的分数作为归一化因子H4，其中，权重系数a1=2，a2=1，a3=1（海参权重为2，海胆和扇贝权重为1）。客观分数计算参考如下表格：

	评价参数	描述		得分
客观评价	抓取能力（50分） （该项仅由现场裁判打分）	类别	抓捕个数
		海参（个）
		扇贝（个）
		海胆（个）
	移动能力（30分）	30分钟内自主遍历4个点得30分；每个点7.5分.
主观评价	产品完整性 （该项仅由现场裁判打分）	所抓取海产品的完整性。（10分）。
	综合评价	机器人技术、机器人动作、机器人性能等综合评价（10分）

(6) 特殊情况说明

1) 机器人出现故障，比赛无法进行则视为成绩无效

2) 鼓励自主研发，体现自主技术

3) 鼓励低成本，体现成本公平性