VADv2：基于概率性规划的端到端自动驾驶

2024/02/21

研究成果

16km路线无后处理端到端闭环

• VAD论文链接:

https://arxiv.org/abs/2303.12077

• 项目主页：

https://github.com/hustvl/VAD

• VADv2论文链接：

https://arxiv.org/abs/2402.13243

• 项目主页：

https://hgao-cv.github.io/VADv2

概率性规划

不同于感知，规划中存在着更多的不确定性，对于同一场景，存在不同的合理的决策规划结果。环境信息到决策规划不存在明确的映射关系，因此学习拟人的驾驶策略极具挑战性。以往的基于学习的规划方法确定性地通过MLP回归出规划轨迹，无法应对环境信息和决策规划之间不明确的映射关系。同时基于神经网络输出的轨迹无法保证满足运动学约束，仍需要后端的轨迹优化。

VADv2采用概率性规划的方法，从大量的人类驾驶数据中，拟合每一时刻基于环境信息的自车轨迹概率分布，将问题转化为预测每一条轨迹和环境信息的相关性，从而应对规划中的不确定性。

图1 规划中的不确定性

算法框架

图2 VADv2 算法框架

如图2所示，VADv2以车载相机采集的流式图像序列作为输入。鉴于图像信息稀疏性，VADv2将图像信息转换为具有高层语义信息的tokens。具体地，VADv2基于MapTRv2从环视图像数据中提取地图物理层和逻辑层的map tokens，同时从图像中提取关于动态障碍物的agent tokens和交通信号灯的traffic element tokens。此外，由于在连续的动作空间上学习概率分布较为困难，VADv2将动作空间离散化，通过最远轨迹采样的方式从真实的轨迹数据中筛选出N条轨迹构建轨迹集合,用于表征整个动作空间。VADv2将轨迹通过正余弦编码方式编码为planning tokens。Planning tokens基于堆叠的Transformer结构与包含环境信息的tokens交互，同时结合稀疏导航信息和自车状态信息，输出每一条轨迹的概率：

在训练阶段，VADv2通过KL散度约束预测的概率分布和驾驶数据对应分布之间的一致性，并引入额外的场景约束进一步降低存在安全风险的轨迹的概率。在推理阶段，VADv2在每一个时刻从轨迹概率分布中采样一条高置信度的轨迹用于车辆控制。由于输出多模式的轨迹簇，VADv2也可以和基于优化或规则的规控架构结合，进行二阶段优化以及筛选过滤。

图3 CARLA闭环规划性能

图4 消融实验

闭环验证

在CARLA仿真器上，VADv2能够长时间控车稳定地行驶，正确地响应交通信号灯，通过复杂路口，与其他车辆和行人交互，刹停避障等。同时，VADv2也在Town05 Benchmark上取得了显著优于其他方法的闭环性能（图3）。消融实验如图4所示，验证了各类token隐式表征和概率分布约束的有效性。Town05 Long Benchmark中4条路线闭环可视化效果如下所示：

总结与展望

在CARLA仿真器上的闭环实验初步验证了该范式的可行性。未来的研究方向是如何与现有的规控架构结合进一步提升系统的鲁棒性，以及在更加复杂的真实场景中展开验证。

参考文献：

[1] Jiang, Bo and Chen, Shaoyu and Xu, Qing and Liao, Bencheng and Chen, Jiajie and Zhou, Helong and Zhang, Qian and Liu, Wenyu and Huang, Chang and Wang, Xinggang. VAD: Vectorized Scene Representation for Efficient Autonomous Driving. ICCV 2023.

[2] Liao, Bencheng and Chen, Shaoyu and Wang, Xinggang and Cheng, Tianheng and Zhang, Qian and Liu, Wenyu and Huang, Chang. MapTR: Structured modeling and learning for online vectorized hd map construction. ICLR 2023.

[3] Liao, Bencheng and Chen, Shaoyu and Zhang, Yunchi and Jiang, Bo and Zhang, Qian and Liu, Wenyu and Huang, Chang and Wang, Xinggang. MapTRv2: An End-to-End Framework for Online Vectorized HD Map Construction. arXiv preprint arXiv:2308.05736, 2023.

分享文章

VADv2：基于概率性规划的端到端自动驾驶

相关资讯