CVPR 2025 | UMGen：多模态驾驶场景生成统一框架

• 论文地址：

https://arxiv.org/abs/2503.14945

• 项目主页：

https://yanhaowu.github.io/UMGen/

概述

方法

Pipeline of UMGen

UMGen从给定的初始场景序列开始，逐场景、自回归地生成多模态驾驶场景。我们首先根据历史信息预测自车要采取的动作，然后根据这一动作预测观察到的地图变化，以及其他交通参与者的行动，最后将这些信息映射到图像中。为实现这一目标，我们将每个时刻的场景元素（包括自车动作、地图、交通参与者以及摄像头图像）转换为有序的token序列，从而将生成任务转化为Next-token Prediction任务。一个很直观的想法是将来自不同帧、不同模态的token直接拼接在一起，然后使用一个decoder-only的transformer进行预测。但是这样做，token数量会随着场景长度的增加而迅速增加，使得算力需求变得无法接受。

为了解决这一问题，我们提出了一种两阶段序列预测方法，将整体任务划分为帧间预测和帧内预测两个阶段。在帧间预测阶段，我们设计了时序自回归模块 (TAR) ，该模块通过因果注意力机制对帧间的时序演化进行建模，确保每个token仅依赖于其历史状态，从而捕捉时间维度上的动态变化。在帧内预测阶段，我们引入了有序自回归模块 (OAR) ，该模块通过指定帧内模态生成的顺序（自车动作→地图元素→交通参与者→摄像头图像，如下视频所示），建立场景内不同模态之间的关联，从而保证模态间的一致性。TAR和OAR模块协同工作，不仅有效捕捉了跨模态的时序依赖关系，还显著降低了计算复杂度，为高效生成多模态驾驶场景提供了技术保障。同时，为了增强自车动作与地图变化之间的模态一致性，我们还提出了AMA模块，根据自车动作计算affine transformation矩阵对地图特征进行变换，充分利用地图这种静态元素的时序先验提升预测精度。

UMGen生成过程可视化

实验及可视化

UMGen在nuPlan数据集上进行训练，并通过可视化和定量实验证明其具备自由幻想多模态驾驶场景的能力，以及按照用户需求生成特定驾驶场景的能力。此外，我们还展示了UMGen在闭环仿真中的应用潜力：通过将自定义的自车动作注入UMGen中替换生成的自车动作，UMGen实时生成了相对应的下一时刻场景。

以下对部分实验结果进行展示。

在此模式下，用户可通过控制指定交通参与者的动作以创造场景。

在该场景中，通过设定黑色汽车的横向速度，我们创造了一个"他车突然变道插入"的危险场景，并控制自车刹车或者变道完成规避。

受到近期Diffusion模型的启发，我们训练了一个基于transformer的Diffusion模型。通过将UMGen生成的token作为condition，我们实现了更高质量的图像生成。

总结

参考文献：

[1] Hu, Yihan, et al. "Solving Motion Planning Tasks with a Scalable Generative Model." arXiv preprint arXiv:2407.02797 (2024). Hu et al. (2024)

[2] Mahjourian, Reza, et al. "UniGen: Unified Modeling of Initial Agent States and Trajectories for Generating Autonomous Driving Scenarios." arXiv preprint arXiv:2405.03807 (2024). Mahjourian et al. (2024)

[3] Hu, Anthony, et al. "Gaia-1: A generative world model for autonomous driving." arXiv preprint arXiv:2309.17080 (2023). Hu et al. (2023)

[4] Sun, Wenchao, et al. "Sparsedrive: End-to-end autonomous driving via sparse scene representation." arXiv preprint arXiv:2405.19620 (2024).

.