和jdd的快乐之旅

**论文整理** 58篇



| 序号 |                           论文名称                           |  会议/期刊  | 时间 |  方向Direction   |                             内容                             |
| ---- | :----------------------------------------------------------: | :---------: | :--: | :--------------: | :----------------------------------------------------------: |
|      |                   **时间段：2022秋季学期**                   |             |      |                  |                                                              |
| 1    |   Hierarchical Object-to-Zone Graph for Object Navigation    |    ICCV     | 2021 |   对象目标导航   |                  提出分层对象区域（HOZ）图                   |
| 2    | THDA: Treasure Hunt Data Augmentation for Semantic Navigation |    ICCV     | 2021 |   对象目标导航   | 研究与任务无关的神经模型是否可以学习导航到指定为对象名称的目标 |
| 3    | Matterport3D: Learning from RGB-D Data in Indoor Environments |  preprint   | 2017 |      数据集      |                   介绍了Matterport3D数据集                   |
| 4    | STExplorer: A Hierarchical Autonomous Exploration Strategy with Spatio-Temporal Awareness for Aerial Robots |   未发表    | 2022 |     自主探索     |     提出了一种具有时空感知的分层自主探索策略——STExplorer     |
| 5    |   Stubborn: A Strong Baseline for Indoor Object Navigation   |  preprint   | 2022 |   对象目标导航   |         提出探索策略STUBBORN，提出整合时空信息的策略         |
| 6    | Spatial Commonsense Graph for Object Localisation in Partial Scenes |    CVPR     | 2022 |   对象目标导航   |              提出新的异构场景图，SCG空间常识图               |
| 7    |     **Continuous Scene Representations for Embodied AI**     |    CVPR     | 2022 |     场景表示     | 提出连续场景表示CSR，将对象及其关系建模为连续值特征向量，动态更新CSR |
| 8    |    AI2-THOR: An Interactive 3D Environment for Visual AI     |  preprint   | 2017 |      数据集      |                     介绍了AI2-THOR数据集                     |
| 9    | SSCNav: Confidence-Aware Semantic Scene Completion for Visual Semantic Navigation |    ICRA     | 2021 |   视觉语义导航   |   通过置信度感知的语义场景补全模块补全地图，再进行路径规划   |
| 10   | Spatial-Temporal Transformer for Dynamic Scene Graph Generation |    ICCV     | 2021 |     场景表示     | 引入时空Transformer神经网络和生成场景图策略 semi-constraint  |
| 11   | Learning object relation graph and tentative policy for visual navigation |    ECCV     | 2020 |     场景表示     |   构建对象关系图ORG，使用模仿学习和记忆增强试探性策略网络    |
| 12   | A Comprehensive Survey of Scene Graphs Generation and Application |    PAMI     | 2021 |     场景表示     |                         场景表示综述                         |
| 13   | Beyond Short-Term Snippet: Video Relation Detection With Spatio-Temporal Global Context |    CVPR     | 2020 |     场景表示     | 提出新的滑动窗口策略预测短、长片段的关系；构建时空图进行兼容性评估 |
| 14   | Action Genome: Actions as Composition of Spatio-temporal Scene Graphs |    CVPR     | 2022 |     场景表示     |          提供了Action Genome数据集，改进了动作识别           |
| 15   | **Curious representation learning for embodied intelligence** |    ICCV     | 2021 |     场景表示     |             引入CRL作为一种具体化表示学习的方法              |
| 16   |           Embodied semantic scene graph generation           |    CoRL     | 2022 |     场景表示     | 利用具身智能体，自动生成路径来探索环境以便增量生成场景图，使用模仿学习和强化学习的混合框架辅助生成高质量的场景图 |
| 17   |     Environment Predictive Coding for Visual Navigation      |    ICLR     | 2021 |   视觉语言导航   | 提出一种可以帮助具身智能体学习环境级表示的自监督方法：环境预测编码 |
| 18   |              Towards Embodied Scene Description              |     RSS     | 2020 |     场景表示     | 通过智能体的具身能力寻找最优视点，建立了一个具有模仿学习和强化学习范式的学习框架 |
| 19   | GraphMapper：Efficient Visual Navigation by Scene Graph Generation |  preprint   | 2022 |     场景表示     | 训练一个智能体模型，模仿人类的方式推理空间中识别物体的三维拓扑，以实现有效的导航（降低标注成本，提高学习能力） |
| 20   | Hierarchical planning for long-horizon manipulation with geometric and symbolic scene graphs. |    ICRA     | 2021 |     场景表示     | 引入了一种基于可视化的层次规划算法，核心是一个二级的场景图表示：几何场景图和符号场景图。 |
| 21   |   SGTR: End-to-end Scene Graph Generation with Transformer   |    CVPR     | 2022 |     场景表示     | 通过二部图的方式，端到端的生成场景图，用于场景表示。分别生成实体结点和谓词结点，生成实体结点可以辅助场景识别 |
| 22   | Self-supervised 3D Semantic Representation Learning for Vision-and-Language Navigation |  preprint   | 2022 |     场景表示     | 开发了一个新的自我监督训练框架，将体素级的三维语义重构编码为一个三维语义表示。 |
| 23   | From General to Specifific: Informative Scene Graph Generation via Balance Adjustment |    ICCV     | 2021 |     场景表示     |          提出了BA-SGG，对语义进行调整，平衡谓词学习          |
| 24   | Learning to Generate Scene Graph from Natural Language Supervision |    ICCV     | 2021 |     场景表示     | 从图像-句子对中提取局部对象及其在图像中关系，从而构造对应的场景图 |
| 25   | 3D Dynamic Scene Graphs: Actionable Spatial Perception with Places, Objects, and Humans |  preprint   | 2020 |     场景表示     | 提出了第一个全自动的空间感知环境（SPIN），从可视化的惯性数据中构建一个DSG。（分五层构建场景图） |
| 26   | Leveraging Large Language Models for Robot 3D Scene Understanding |  preprint   | 2022 |     场景识别     | 提出使用大型语言模型来学习场景理解的常识，介绍了三种范例，利用语言，根据室内环境中房间所包含的对象，对房间进行分类 |
| 27   | Indoor Scene Recognition by Fusing Map-Level and Frame-Level Decisions with CRF |    CCISP    | 2021 |     场景识别     | 利用机器人创建的三维语义地图，突破单个图像对场景识别的限制，提高场景识别的准确性。 提出了基于条件随机场的场景识别模型，集成了地图级和帧级的场景识别结果 |
| 28   | Learning 3d semantic scene graphs from 3d indoor reconstructions. |    CVPR     | 2020 |     场景表示     | 提出了一种基于点网络和图卷积网络（GCNs）的预测三维语义图的学习方法，并将三维语义场景图用于跨域检索 |
| 29   | **Exploiting Scene-specific Features for Object Goal Navigation** |    ECCV     | 2020 |   对象目标导航   |  提出SMTSC模型，利用对象和特定房间的相关性，提高导航的性能   |
| 30   | **TIDEE: Tidying Up Novel Rooms using Visuo-Semantic Commonsense Priors** |    ECCV     | 2020 |    场景重排布    | 将常识性先验知识编码为三个模块，检测不合理物体，计算合理位置，进行重排布 |
| 31   | SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D Sequences |    CVPR     | 2021 |     场景表示     | 提出了实时3D场景图预测，将当前观察到的子映射的预测逐步融合到一个全局一致的语义图模型中；引入了一种新的注意方法，可以处理部分和不完整的三维数据 |
| 32   | **Housekeep: Tidying Virtual Households using Commonsense Reasoning** |  preprint   | 2022 |    场景重排布    |      提出了一种模块化的基线方法，集成了规划、探索和导航      |
| 33   | **TARE: A Hierarchical Framework for Effificiently Exploring Complex 3D Environments** |     RSS     | 2021 |     自主探索     | 提出一种在复杂三维环境下的分层自主探索方法：一层密集维护数据，在局部范围内计算详细路径；一层稀疏维护数据，在全局范围内计算粗糙路径 |
|      |                         **2023寒假**                         |             |      |                  |                                                              |
| 34   | **Falco: Fast likelihood‐based collision avoidance with extension to human‐guided navigation** |    JoFR     | 2020 |     自主探索     | 提出了一种大大降低计算复杂度的方法，从而可以通过在飞行器上使用非常低的计算量来确保安全飞行。寻找最大化实现目标的概率的路径（运动原语） |
| 35   | **Autonomous Exploration Development Environment and the Planning Algorithms** |    ICRA     | 2022 |     自主探索     | 对TARE、FAR、Falco的总结，提供了自主探索的开发环境、存储库。 |
| 36   | **FAR Planner: Fast, Attemptable Route Planner using Dynamic Visibility Update** |    IROS     | 2022 |     自主探索     | 提出一种多边形提取和增量可见性图构建的两层算法框架； 该框架能够动态地调整可见性图，以便在未知的环境下进行可尝试的导航并处理动态障碍； |
| 37   |      FUEL Fast UAV Exploration using Incremental Front       |     RAL     | 2021 |     自主探索     | 提出一个逐步更新的边界信息结构，捕获整个空间的基本信息，并进行高频率的勘探规划；提出一种分层规划方法，生成有效的全球覆盖路径，进行安全快速的局部运动。 |
| 38   | **DSVP: Dual-Stage Viewpoint Planner for Rapid Exploration by Dynamic Expansion** |    IROS     | 2021 |     自主探索     | 提出一种两阶段的自主探索方法，将自主探索过程划分为探索阶段和重定位阶段；对RRT框架提出了动态扩展和混合边界的改进。 |
| 39   |                    Visual Room Rearrange                     |    ICCV     | 2021 |    场景重排布    | 最早的重排布概念论文，提出数据集RoomR和场景重排布的基线模型  |
|      |                         **2023暑假**                         |             |      |                  |                                                              |
| 40   | FAEL: Fast Autonomous Exploration for Large-scale Environments With a Mobile Robot |     RAL     | 2023 |     自主探索     | 对TARE的改进，提出一种对环境信息的快速预处理和一种综合考虑快速探索的关键因素的路径优化公式。 |
| 41   |  Emerging Properties in Self-Supervised Vision Transformers  |    ICCV     | 2021 |    自监督ViT     | 提出了一个假设，即使用自监督学习来预训练ViT可能会带来比有监督学习更好的效果和特性。根据带来的新特性，整合了自监督方法DINO。 |
| 42   |          CoWs on PASTURE: Baselines and Benchmarks           |    ICCV     | 2023 |   对象目标导航   | 介绍了语言驱动的零样本目标导航（L-ZSON）这一任务，即让机器人根据自然语言描述找到任意物体，而不需要在目标物体或领域上进行大量的导航训练。分为定位和探索两部分，介绍了三种定位策略。 |
|      |                       **2023秋季学期**                       |             |      |                  |                                                              |
| 43   | UFOExplorer: Fast and scalable sampling-based exploration with a graph-based planning structure |     RAL     | 2022 |     自主探索     | 提出了一种快速高效的探索方法UFOExplorer。该方法利用了一个基于图的规划结构，根据地图的更新来维护和扩展。不考虑最大信息增益，有信息量即可。 |
| 44   |               Learning to Navigate by Pushing                |    ICRA     | 2022 |     自主探索     | 车臂协同，侧重于方法创新，提出了推动障碍物以达到快速探索环境的思路。由此提出了一种分层的控制器，由高层控制切换低级反射控制器，对应不同的推动动作。 |
| 45   | A Framework to Co-Optimize Robot Exploration and Task Planning in Unknown Environments |     RAL     | 2022 |   对象目标导航   | 设计一套完善的框架，将探索与规划两个独立的过程进行统一，提高任务执行效率。 |
| 46   | VL-Grasp: a 6-Dof Interactive Grasp Policy for Language-Oriented Objects in Cluttered Indoor Scenes |  preprint   | 2023 |  车臂协同&抓取   | 设计了一个新的视觉接地数据集，提出了一种视觉语言抓取策略VL-Grasp，分两阶段完成抓取任务。 |
| 47   | Ada-detector: Adaptive frontier detector for rapid exploration |    ICRA     | 2022 |     自主探索     | 提出了一种基于自适应快速探索随机树（RRT）的机器人自主探索边界检测方法。根据周围环境自适应调整RRT采样空间，并通过非均匀采样避免重叠空间的过采样问题。 |
| 48   | Adaptive Coverage Path Planning for Effificient Exploration of Unknown Environments |    IROS     | 2022 |     自主探索     | 通过使用有效的传感器模型进行未来的覆盖观测，快速找到非近视覆盖路径（非贪婪，考虑长期规划），传感器模型根据周围环境调整覆盖范围和覆盖几率，可以称为自适应覆盖路径规划方法。 |
| 49   | ASEP: An Autonomous Semantic Exploration Planner with Object Labeling | IEEE Access | 2023 | 自主探索（语义） | 提出了一种称为自主语义探索规划器（ASEP）的自主无人机探索规划器，该规划器能够在缺乏GPS的室内环境中实现实时地图绘制、探索、导航、目标检测和标记。加入语义信息，对增益函数做出调整。 |
| 50   | A Hybrid Planning Method for 3D Autonomous Exploration in Unknown Environments With a UAV |    TASE     | 2023 |     自主探索     | 将基于边界和采样的方法进行融合，提出FSHP混合规划算法；提出一种边界候选点替代方法来平衡无人机的安全性和探测强度；提出一种快速选择重新规划目标的活跃顶点堆栈存储方案，对轨迹进行优化。 |
| 51   | ARiADNE: A Reinforcement learning approach using Attention-based Deep Networks for Exploration |  preprint   | 2023 | 自主探索（学习） | 提出了ARiADNE，一种基于注意力的神经方法，以获得实时的、非短视的路径规划。 |
| 52   | Explore-Bench: Data Sets, Metrics and Evaluations for Frontier-based and Deep-reinforcement-learning-based Autonomous Exploration |    ICRA     | 2022 | 自主探索（学习） | 构建自主探索数据集，从探索效率和协作效率两方面指定了评价指标，并构建基于网格的快速探索模拟器用于辅助基于学习的探索方法。 |
| 53   | Robotic Grasping through Combined Image-Based Grasp Proposal and 3D Reconstruction |    ICRA     | 2021 |       抓取       | 提出了一种新的机器人抓取规划方法，同时使用学习的抓取建议网络和学习的三维形状重建网络。 |
| 54   | DRL-VO: Learning to Navigate Through Crowded Dynamic Scenes Using Velocity Obstacles |     TR      | 2023 |     行人导航     | 提出了一种新颖的基于学习的控制策略，对新环境具有很强的泛化能力，使移动机器人能够在充满静态障碍物和密集行人的空间中自主导航。 |
| 55   | Object-Aware View Planning for Autonomous 3-D Model Reconstruction of Buildings Using a Mobile Robot |    TITM     | 2023 |     自主探索     | 根据固态激光雷达的特性和机器人的配置，提出了一种生成和评估视图序列的视图规划方法，用于室外地面机器人对建筑物的三维模型重建。 |
| 56   | A Hierarchical Approach for Mobile Robot Exploration in Pedestrian Crowd |     RAL     | 2021 |     行人导航     | 结合局部和全局信息，以确保机器人在探索过程中的安全和效率。在局部路径规划时，中加入基于RL的导航控制器，最大限度地减少机器人和人群之间的相互干扰，这不仅提高了探索效率，而且在建图和定位方面都提高了成功率和准确性。 |
| 57   | Efficient Exploration in Crowds by Coupling Navigation Controller and Exploration Planner |     RAL     | 2022 |     行人导航     | 在上一篇的基础上，在局部路径规划的过程中，考虑行人因素，保证航路点与行人密度相关，尽可能减少与行人的交互；并加入了SLAM恢复模块，辅助建图和定位。 |
| 58   | Sampling-Based Path Planning in Highly Dynamic and Crowded Pedestrian Flow |    TITS     | 2023 |     行人导航     | 提出了由速度层和最小侵入层组成的行人流图，引入了基于 RRT 的路径规划器，该路径规划器结合了流图模型 (FM-RRT*)，并结合了偏置采样，以引导机器人走向侵入最小或行人流速度差异较小的区域。 |

论文整理

Cai K, Chen W, Dugas D, et al. Sampling-Based Path Planning in Highly Dynamic and Crowded Pedestrian Flow[J]. IEEE Transactions on Intelligent Transportation Systems, 2023.  慕尼黑工大  [PDF](https://drive.google.com/file/d/1DMxeLS5nzBNsG3EMd6PwPtY2Ze1lU2rK/view)




### 1. 摘要

在行人环境中，自由空间是有限的并且时刻保持变化，传统的规划算法很难找到无碰撞的路径

**思想：** 与传统方法相比，该方法旨在根据不同类型的行人流生成最优策略。如果有同向行人流，则规划出一条前往同向流的路径；如果没有同向行人流，则贴着障碍走，例如墙壁。避免对行人迎面而来，实现了对行人的最小侵入和速度差异最小两个原则。

**创新点：**

- 提出了一种基于流量图的模型，其中包括速度层和最小侵入层，用于对行人移动方向和非侵入区域进行建模
  - 速度层：至少存在与机器人方向相同的行人流，定义为正方向。为机器人提供有关行人流沿同一方向移动的区域的信息。
  - 最小侵入层：行人流方向全部与机器人方向相反。定义为负方向。呈现墙壁和其他障碍物的边界。这些区域对行人有排斥力，在这个区域运动，机器人只需要注意一侧的行人。
- 引入了基于 RRT 的路径规划器，该路径规划器结合了流量图模型 (FM-RRT*)，并结合了偏置采样，以引导机器人走向侵入最小或行人流速度差异较小的区域。

### 2. 方法

<img src="https://store.southyang.cn/project/docs/A]3VKI[Z@`BS5O7XVM04$P.png" alt="img" style="zoom:80%;" />

#### 2.1 架构

- 全局规划：
  - 实现了方向判断模块，判断机器人方向与行人流方向的异同
  - 根据方向异同建立流图模型的速度层或最小侵入层。
  - 引入了基于RRT*的轨迹生成模块，包含生成步骤、优化步骤、B样条步骤和过滤步骤。
- 局部规划：
  - 当机器人沿着全局路径移动时，实现了局部规划器来躲避动态行人

#### 2.2 流图模型构建

- 判断方向：定义行人方向向量和机器人方向向量，通过向量的乘积判断是否同向

  ![image-20240125011241695](https://store.southyang.cn/project/docs/image-20240125011241695.png)

- 速度层构建：

  - 速度层的目的利用行人速度来推断行人流对地图上未占用区域的影响，从而引导机器人向速度相近的区域导航。构建一个概率密度，与行人的速度向量相乘，计算未占用区域的对应速度，并定义函数进行更新：$V^i(q)=\vec{v^i}N(q|μ^i,\sum^i)$
  - 由于环境中行人的密度很高，因此可以为一个未占用区域分配不同的速度。因此，定义函数来更新不同行人的速度重叠情况：$V(q)=max(||V^i(q)||)·\vec {n^i}$

- 最小侵入层构建：

  - 最小侵入层的目的是引导机器人沿着障碍物进行导航，以减少对行人空间的侵入。

  - 将不同的障碍物根据其连续性进行聚类，并根据不同的聚类创建不同的层。

    ![image-20240125012200513](https://store.southyang.cn/project/docs/image-20240125012200513.png)

#### 2.3 轨迹生成模块

- 轨迹生成：在流图中根据RRT采样得到初步的全局路径
- 偏置采样：在生成初步全局路径的基础上，在与行人相同的方向上或在最小侵入层中进行采样，找到距离机器人最近且行人最少的层
- 寻找最优路径：定义两个代价函数进行求解，分别对应速度层和最小侵入层
  - 速度层：寻找速度与机器人的偏差最小的最佳采样点，避免机器人在速度层相对于行人运动过快或过慢所带来的影响。
  - 最小侵入层：定义了碰撞层的排斥力和行人的社会力，寻找能够平衡最小侵入和碰撞避免的采样点

### 3. 实验

#### 3.1 评估实验

评估速度层和最小侵入层的效果

使用RVO和baseline方法结合速度层和最小侵入层进行实验

![image-20240125013758916](https://store.southyang.cn/project/docs/image-20240125013758916.png)

结合速度层和最小侵入层的RVO算法比单纯的RVO算法具有更快的平均速度、更短的时间和更短的轨迹长度；且碰撞次数减少。

在单纯导航效率上，纯baseline要更好，但结合该论文的方法后，能够以更快的速度移动，并且碰撞次数减少，具有更高的安全性。

#### 3.2 对比实验

对比方法：RVO，DWA，Baseline

![image-20240125014434185](https://store.southyang.cn/project/docs/image-20240125014434185.png)

结合该论文提出的路径规划器FM-RRT*之后，Baseline和RVO都拥有了更高的性能和安全性

Sampling-Based Path Planning in Highly Dynamic and Crowded Pedestrian Flow

Zheng, Zhuoqi, Shengfeng He, and Jia Pan. "Efficient Exploration in Crowds by Coupling Navigation Controller and Exploration Planner." *IEEE Robotics and Automation Letters* 7.4 (2022): 12126-12133. 新加坡管理大学 [PDF](https://ieeexplore.ieee.org/abstract/document/9913648)  



### 1. 摘要

在这项工作中，我们提出了一种框架，可以通过将强化学习导航控制器和分层探索规划器与恢复规划器紧密耦合来解决这些挑战。

**问题：**

- 由于SLAM一般是针对静态场景设计的，未知的动态物体会破坏机器人状态估计的质量，从而导致定位和建图精度降低。在人群密集的地方，动态行人会使得SLAM精度降低，因此传统的探索方法不能应用在社会环境中。
- 选择局部具有更高信息增益视点的过程中，不能考虑视点所对应位置的行人信息，会频繁出现碰撞情况

**贡献点：**

- 提出了和基于强化学习的导航控制器紧密耦合的分层探索规划器。探索规划器允许机器人确定最优的探索策略，不仅可以最大化探索地图的信息增益，而且可以最小化碰撞次数。
- SLAM恢复规划器通过从探索地图中特征丰富的位置和历史轨迹中选择一个恢复点来重新定位机器人。
- 整个探索框架将导航控制器与探索、恢复规划器紧耦合，探索性能较高

### 2. 方法

探索模式和恢复模式之间相互切换，通过被探索地图的SLAM质量，选择是否进行模式切换

**分层探索模块：**采用分层架构，全局规划器根据下次访问目标确定一个粗略的遍历顺序，而局部规划器在最大化地图信息增益和最小化机器人与人群的交互之间进行权衡，选择一个最优视点。

**恢复规划模块：**在映射区域中选择一个功能丰富的恢复点，可以帮助机器人从 SLAM 故障中恢复。

**导航控制模块：**不仅生成适当的转向指令以避免碰撞，而且还会引导探索模块和恢复规划模块优先选择行人较少的区域，以最大限度地减少机器人与人群的交互。

<img src="https://store.southyang.cn/project/docs/image-20240117180223148.png" alt="image-20240117180223148" style="zoom:67%;" />

#### 2.1 基于TSP的全局探索规划器

基于TSP的全局探索规划器优化了所有边界的探索顺序，以确定全局目标 $g_{global}$。

- 先构建地图G
- 边的权重使用A*算法计算
- 再用TSP算法计算出规划顺序，选择当前点的下一个边界点作为$g_{global}$

#### 2.2 Critic引导局部探索规划器

**问题：**之前的方法在考虑信息增益时，不会去考虑对应点的行人密度，可能会导致较大的危险。为了选择一个在低行人密度和高信息增益之间取得适当平衡的视角，该论文呢利用了基于RL的导航控制器的Critic网络提供的信息，评价函数从两个角度进行计算：

- 信息增益评估：$V_{nbv}(p_{local})= − \frac 1 {|Z |}  ∑^k_{i=1} p (z_i | p_{local})logp (z_i | p_{local})$
- Critic网络评估：$V_{rl}(p_{local})= V_π(s_{scan}, s_{vel}, p_{local})$

<img src="https://store.southyang.cn/project/docs/image-20240117194249417.png" alt="image-20240117194249417" style="zoom: 67%;" />



#### 2.3 基于RL的导航控制器

采用基于RL的反应式避障算法作为导航控制器

从局部勘探规划器获取路径 P 后，将该路径上的目标位置 $s_{goal} $转换为 $o_{goal}$作为基于 RL 的控制器的输入。然后，基于 RL 的控制器中的 Actor 网络输出适当的转向命令，以安全有效地将机器人穿过人群向目标移动。

整个训练过程分为两个阶段：

- 先在没有静态障碍物的行人场景训练，再在有静态障碍物的行人场景训练
- 一直在有静态障碍物的行人场景训练

#### 2.4 恢复规划器

为了提高探索系统在密集人群中的鲁棒性，添加了一个恢复规划器，以帮助机器人从SLAM模块的潜在崩溃中恢复过来，例如密集的人群遮挡了对定位很重要的信息地标，或者当机器人与行人碰撞后，SLAM质量下降严重。

- 触发条件：为了实现高性能的自主探索，当SLAM模块的性能下降时，机器人应切换到主动恢复模式。因此，将触发条件设计为根据定位结果的协方差来衡量 SLAM 输出质量
- 恢复点提取：通过考虑地图特征的丰富性和历史轨迹中嵌入的信息来计算恢复点候选集。
  - 结构性的位置具有高优先级，例如角落
  - 在历史地图中具有高精度的点具有高优先级
- 恢复点选择：在选择最合适的恢复点时，考虑两个因素，包括每个候选点与机器人的距离，以及该点是否可以通过人群轻松到达（类似于探索模块的目标点选取，Critic网络）

### 3. 实验

- 在Gazebo中模拟了机器人和拥挤环境，共搭建了八种环境进行实验
- 使用Turtlebot2平台，并设置了Lidar的扫描角度、范围和分辨率。
- 对比了五种不同的方法，并使用安全、效率和SLAM质量作为评价指标。
  - move_base节点使用动态窗口方法（DWA）进行局部规划，使用Dijkstra算法进行全局规划
  - move_base分层探索方法（HEC-MV），它有三个组成部分——基于TSP的全局规划器、基于NBV的本地规划器和来自move_base的DWA导航控制器。
  - 人群分层探索方法（HEC），其中其导航模块被DRL网络取代，而不是HEC-MV中的move_base。在 HEC 中，导航规划器与勘探规划器松散耦合。
  - 人群中紧密耦合的分层探索（T-HEC），其中局部规划者由基于RL的防撞的Critic网络引导
  - 基于恢复的人群中紧密耦合分层探索 （RT-HEC），它进一步增加了一个恢复计划器，以及基于 RL 的导航控制器。
- 实验结果表明，提出的自主探索框架在探索效率、导航安全和SLAM质量方面具有优势。

Efficient Exploration in Crowds by Coupling Navigation Controller and Exploration Planner

heng, Zhuoqi, Chao Cao, and Jia Pan. "A hierarchical approach for mobile robot exploration in pedestrian crowd." *IEEE Robotics and Automation Letters* 7.1 (2021): 175-182. 新加坡管理大学 [PDF](https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9562274)



### 1. 摘要

动态物体给无碰撞导航和精确的定位/地图创建带来了巨大的挑战，这可能会降低机器人的安全性和探索性能。

该方法的中心思想：结合局部和全局信息，以确保机器人在探索过程中的安全和效率

运行速度和映射质量这两个相互冲突的目标影响着整体的探索性能，那么权衡探索效率和映射质量这两个方面，就成为了一个具有挑战性的问题。

**探索过程中的三个需要考虑的因素：**

- 探测安全要求机器人能够避免与行人或静态障碍物发生碰撞。

- 探索精度通过重构地图的质量和机器人在导航过程中的相关定位误差来衡量。

- 探索效率要求机器人能够在可能的情况下避免对人群流动的阻碍或采取比必要时更长的绕行路径。

**创新点：**

- 设计分层的自主探索规划器，在全局地图上使用基于旅行商问题( Travel-Salesman Problem，TSP )的规划器确定探索路线，在局部地图上使用基于下一最佳视角( Next-Best-View，NBV )的规划器细化探索路径。
- 基于优化后的分层探索策略，嵌入基于RL的避碰算法，保证机器人通过人群安全高效地执行导航任务
- 避碰控制器还隐式地对机器人周围的人群流量分布进行局部建模，以最大限度地减少机器人和人群之间的相互干扰，这不仅提高了探索效率，而且在建图和定位方面都提高了成功率和准确性。

**结论：**它不仅在探索效率方面优于现有方法，而且在定位和映射精度方面也优于现有方法

### 2. 方法

<img src="https://store.southyang.cn/project/docs/image-20240105153718599.png" alt="image-20240105153718599" style="zoom:80%;" />

整体思路：

- 首先，被探测的部分环境以占有率栅格地图的形式被一个全局TSP规划器使用，以选择一个粗略的全局目标进行进一步的探索。
- 接下来，机器人将关注其邻域区域内指向粗略全局目标的一个子空间，并对该子空间进行划分以进行更细致的视点选择，即选择附近一个未被探索的航路点作为下一步探索的中间或局部目标。
- 最后，基于RL的控制器用于驱动机器人通过密集的人群，并高效安全地到达局部目标

####  2.1 全局规划器

基于TSP的全局规划用于解决覆盖探索空间的全局粗略轨迹，表示为2D占用栅格地图M。

值得注意的是，这些最短路径可以通过任何其他路径规划算法来计算，例如D *算法，这在动态场景中可以更有效。不同路径规划算法的影响在这里是微不足道的，因为路径是在小规模和低分辨率地图上生成的，它们不是机器人执行的实际路径，而只是用于确定图G中的边权重。

#### 2.2 局部规划器

全局规划结果可以用于根据计算的TSP轨迹指定对未探索的子区域的访问顺序，但无法分配路径点或指定机器人行驶的路径。为此，我们使用NBV选择算法从粗略的全局目标$g_{global}$中精化一个航迹点$g_{local}$，并使用$A *$算法规划到该航迹点的可行路径。

一个典型的NBV选择方法[包括三个步骤：

- 在全局目标点周围随机采样n个候选视点
- 根据评价函数对每个候选视点进行评分，将得分最高的候选视点作为下一个目标点
- 将glocal和机器人位置p，以及二者的连线发送给基于RL的导航模块，进行导航

#### 2.3 基于RL的控制器

考虑到全局和局部规划器对探索的有效指导，密集人群中自主探索的下一个挑战是如何在执行规划器的高效探索指导的同时，保证安全稳定的避撞行为。

在每个规划时间步t，机器人接收一个局部观测值，并决定一个速度指令，将机器人引向给定的临时目标位置$o_{goal}$。

过程：从策略网络学习到的策略π中采样动作$a_t$，该策略网络包括两个卷积层和一个从输入扫描数据$o_{scan}$中提取特征的全连接层，如图2所示。将提取到的激光扫描特征与$o_{goal}$和$o_{vel}$进行拼接，并送入全连接层。网络的输出为机器人的无碰撞速度指令v和ω，如图1中红色箭头所示。基于RL的避碰算法使用基于Actor - Critic的PPO算法在一组具有简单静态障碍物和具有r的小人群的场景中进行训练。

<img src="https://store.southyang.cn/project/docs/image-20240105153840292.png" alt="image-20240105153840292" style="zoom:70%;" />

### 3. 实验

从两个方面进行对比实验：

- 是否采用分层架构：
  - 不采用：NF、NF_RL
  - 采用：HNF、HNF_RL、HTSP、HTSP_RL
- 是否采用基于强化学习的避障算法
  - 不采用：NF、HNF、HTSP
  - 采用：NF_RL、HNF_RL、HTSP_RL

实验环境：

- 使用两个模拟器Gazebo [23]和Menge [24]，其中Gazebo模拟机器人和静态障碍物，而Menge负责生成机器人的运动场景中的人群
- 使用 Turtlebot2 作为移动机器人平台，它安装了 Rplidar A2 传感器

实验结果：

- 使用分层算法的效果优于不分层算法
- 使用RL模块的算法效果优于不使用RL的算法