Xu, Yuanfan, et al. "Explore-bench: Data sets, metrics and evaluations for frontier-based and deep-reinforcement-learning-based autonomous exploration." 2022 International Conference on Robotics and Automation (ICRA). IEEE, 2022. 清华大学 PDF

1. 摘要

存在的问题：

• 缺乏统一的数据集、指标和平台来评估探索方法
• 训练基于 DRL 的探索方法需要大量的数据集
• 当前的基准测试依赖于仿真速度较慢的真实模拟器，这不适合训练探索策略

贡献点：

• 在涉及多个固定仿真场景的情况下，定义了常见探索场景的关键要素，即环路、窄廊、角落和多个房间，并将它们组合起来形成丰富的数据集。

• 提出了两类指标，从各个方面评估勘探策略的表现。具体来说，效率指标作为定量指标的一种形式，利用了机器人覆盖大多数未知区域的总探索时间和中间时间。协作指标包括独立勘探区域的标准差和多个机器人重叠勘探区域的比例。

• 设计一个基于网格的快速模拟器，与现实模拟器相比，速度提高了 12×，从而帮助研究人员有效地开发和评估他们基于 DRL 的探索算法。结合 Gazebo 和真正的远程访问测试平台，形成了一个 3 级平台。

2. 方法

2.1 数据集

环路、狭长通道、角落、多个房间、自由组合

在gazebo中手动搭建出10个环境，在现实中搭建了5个环境。

在快速模拟器上，自动构建出上千个环境用于训练

2.2 评价指标

效率指标

在当前的自主探索研究中，常见的性能评估指标是探索所需的总时间以及探索运行结束时每个机器人行驶的距离。当整个环境的目标探索百分比完成时，例如 99%，探索运行终止。

• 探索率为99%时的总时间$T_{total}$
• 探索率为90%时的时间$T_{topo}$

90%的探索率已经获得了环境的基本拓扑信息，包括整体地形结构和连通性，能够满足大部分的探索需求。

如果在探索前期追求建图的精细程度，会导致较大的$T_{topo}$产生

协作效率

设计了相应的机器人协作指标来定量分析多机器人的探索性能。性能良好的多机器人探索方法应该平衡不同机器人探索的区域，提高系统的效率和鲁棒性，并避免任务分配不均匀。

• 利用独立勘探区域的标准差 $σ$ 来评估勘探方法的负载平衡：$σ=\sqrt{\frac {\sum^N_{i=1} (S_i - \overline{S})^2} N}$
• 通过计算多个机器人探索的重叠区域的比率$r_o$来评估协作有效性：$r_o=\frac {S_o} {S_{total}} = \frac {\sum^N_{i=1} S_i - S_{total}} {S_{total}}$

2.3 平台

三层测试平台

为了在所提出的数据集和指标上部署和评估各种探索方法，开发了一个 3 级平台，包括基于网格的模拟器 (Level-0)、现实模拟器 Gazebo (Level-1) 和真实的机器人测试台 (Level-1)。 Level-0模拟器是专门为快速DRL训练而设计的。

Level1和Level-2评估阶段的具有统一数据流和接口，包含以下模块：定位模块、建图模块、探索模块、运动模块

• 定位模块：使用gazebo的ground truth
• 建图模块：使用cartographer
• 探索模块：接入各种探索算法，使用2D地图和机器人位置作为输入，目标点作为输出
• 运动模块：使用move_base

基于网格的快速模拟器（第0层）

Level-1和Level-2足以评估传统的勘探方法。但由于模拟速度慢而产生的昂贵数据阻碍了深度学习技术的有效训练和评估。

为了加快机器人在模拟过程中的感知速度，我们利用基于网格的模拟器的简单性和可控性，直接提取局部地面实况图，以快速为评估中的探索方法提供输入。

多样化仿真场景生成

对于Level - 0，给出了两种自动创建数据集的方法：

• 根据Gazebo的仿真场景蓝图，转换为2D占用图
• 根据场景的组合规律定义，自动生成场景

3. 实验

在网格模拟器使用Python实现，并通过多处理程序进行加速。所有的模拟和评估都是在一台装有酷睿i7 - 7920处理器和NVIDIA 1080Ti GPU的桌面PC机上进行的。

在gazebo中使用TB3进行实验

在真实环境中使用Xtark机器人进行实验