开发者说 | UniMM：重新审视多智能体仿真中的混合模型

• 原文链接：

https://arxiv.org/abs/2501.17015

• 项目主页：

https://longzhong-lin.github.io/unimm-webpage

• 代码仓库：

https://github.com/Longzhong-Lin/UniMM

多智能体仿真

仿真 (Simulation) 是评估自动驾驶系统的重要途径，生成真实的多智能体 (Multi-Agent) 行为是其中的关键。近年来，许多工作采用数据驱动的方法，从真实世界驾驶数据集中学习行为模型 (Behavior Model) 来模仿人类交通参与者。要实现真实的多智能体仿真，主要挑战在于捕捉智能体行为的多模态性 (Multimodality) 和解决模型闭环运行的分布偏移 (Distributional Shifts) 问题。

图表1 多智能体仿真

智能体行为的多模态性在运动预测 (Motion Prediction) 领域得到广泛研究，其中主流方法采用的是混合模型 (Mixture Model) 。由于任务的相似性，不少仿真领域的工作也采用类似的连续混合模型 (Continuous Mixture Model) 来表征智能体行为。最近，受大语言模型的启发，越来越多的研究开始尝试GPT架构的离散模型 (GPT-Like Discrete Model) ，将智能体的轨迹离散化为运动Token并进行NTP (Next-Token Prediction) 训练，在仿真领域展现出了超越连续混合模型的性能优势。

为了缓解模型闭环运行的分布偏移，时间序列建模领域的DaD方法继承在线学习算法DAgger的理论保证，将训练样本中的真值输入替换为自回归模型预测，不过该方法只讨论了单模态 (Unimodal) 模型。TrafficSim将类似方法应用在CVAE行为模型，迭代地将真值轨迹替换为后验 (Posterior) 预测，从而生成闭环样本 (Closed-Loop Sample) 。

图表2 UniMM研究概述

统一混合模型框架

图表3 WOSAC领先方法（可视为混合模型）的配置和指标

模型方面，我们关注的配置包括：

图表4 主流的正组分匹配范式

图表5 闭环样本生成

实验

图表6 混合模型网络结构

图表7 采用开环样本训练

预测时长：

• 更大的预测时长 (Prediction Horizon) 带来的额外监督信号是有效的。

• 过大的预测时长使模型更关注于远期预测的优化，由于仿真仅会利用模型预测的前面一小段，所以这并不利于提升仿真的效果。

图表8 不同预测时长的WOSAC指标

混合组分数量：

• 增加混合组分的数量确实能够提升模型对复杂分布的表征能力。

• 较多数量的混合组分可能会阻碍Anchor-Free模型挑选出合理轨迹，从而影响其在仿真中的表现。

• Anchor-Based模型持续受益于混合组分数量的增长。

图表9 不同混合组分数量下的最优WOSAC指标

图表10 采用闭环样本训练

Shortcut Learning问题：

• 生成闭环样本时，若后验策略的规划时长 (Posterior Planning Horizon) 超过其重规划间隔，模型会学习到捷径，损害时空交互推理能力。

Off-Policy Learning问题：

• 若训练策略的正组分匹配时长 (Positive Matching Horizon) 和样本生成策略的后验规划时长 (Posterior Planning Horizon) 不一致，则其导致的Off-Policy Learning问题会阻碍闭环样本发挥作用。

• 对于Anchor-Free模型，Off-Policy Learning问题的影响没那么严重，这可能是因为它们的性能更依赖于各混合组分的灵活预测，而不是对混合组分的挑选。

• 对齐训练策略和样本生成策略的组分选择Horizon可以有效缓解Off-Policy Learning问题，特别是对于十分依赖其混合组分选择的Anchor-Based模型。

图表11 近似后验策略（左）和连续回归（右）

近似后验策略：

• 我们为Anchor-Based模型设计了近似后验策略，将后验组分对应的锚点直接作为执行规划，可以在显著减少训练时间的同时，达到相当的仿真性能。

连续回归：

• 主流离散模型成功的关键在于闭环样本的使用。

• 连续回归 (Continuous Regression) 带来的灵活性对于模型性能是有增益的，同时其并不需要显著增加计算开销。

基于上述探索，我们提交了UniMM框架下的各种变体（包括离散和连续、Anchor-Free和Anchor-Based），均在Waymo Open Sim Agents Challenge (WOSAC) 中展现了SOTA性能。由此证明了：

• 模型配置的差别并不能完全解释之前的连续混合模型和GPT-Like离散模型之间的性能差距。

• 仿真性能的关键在于闭环样本的使用，采用与主流离散方法不同的模型配置也能生成逼真的行为。

• 通过解决Shortcut Learning和Off-Policy Learning问题，闭环样本能够使广泛的混合模型受益，尤其是具有更大预测时长的模型。

总结与展望