从纯粹的物理系统到复杂的社会动态系统，多主体交互系统在世界上非常普遍。实体/组件之间的交互会在个人和整个多代理系统的层面上引发非常复杂的行为模式。由于通常只观察单个实体的轨迹，而对底层的交互模式一无所知，并且对于每个具有不确定性的主体，通常存在多种可能的模态，因此对它们的动力学建模和预测其未来行为具有挑战性。
图1.典型的多主体交互系统
在许多实际应用中（例如自动驾驶汽车，移动机器人），对情况的有效理解以及对交互式代理的准确轨迹预测在下游任务（例如决策和计划）中起着重要作用。我们引入了一个通用的轨迹预测框架（名为EvolveGraph），该框架具有通过多个异构交互主体之间的潜在交互图进行显式关系结构识别和预测的功能。考虑到未来行为的不确定性，该模型旨在提供多模式预测假设。由于即使随着时间的突然变化，潜在的交互作用也可能发生演变，并且不同的演化方式可能导致不同的结果，因此，我们解决了动态关系推理的必要性并自适应地演化了交互作用图。
多智能体行为预测的挑战
图2.典型的城市交叉路口场景示意图
我们以具有多个交互交通参与者的城市交叉路口场景为例，详细阐述了多主体行为预测任务的主要挑战。
首先，可能存在具有不同行为模式的异构代理，因此使用同构动力学/行为模型可能不够。例如，车辆和行人有不同的约束条件和交通规则。更具体地说，车辆的轨迹受到道路几何形状和它们自己的运动学模型的严格限制。而行人的行为则更加灵活。
其次，在多主体系统中可能存在各种类型的交互模式。例如，同一场景中的车辆间交互，行人间交互和车辆-行人交互呈现出非常不同的模式。
第三，随着情况的变化，交互模式可能会随着时间而发展。例如，当车辆直行时，只需要考虑领先车辆的行为即可；然而，当车辆计划改变车道时，也需要考虑目标车道中的车辆，这导致交互模式的改变。
最后但并非最不重要的一点是，每个代理商的未来行为可能存在不确定性和多种模式，这会导致各种结果。例如，在十字路口，车辆可以直行或转弯。
在这项工作中，我们向前迈了一步，以应对这些挑战，并为多智能体系统提供了具有动态关系推理的轨迹预测通用框架。更具体地说，我们解决了以下问题
提取具有潜在图结构的基础交互模式，该潜在图结构能够以统一的方式处理不同类型的代理，
捕获交互图演化的动力学以进行动态关系推理，
根据历史观察和潜在的交互图预测未来的轨迹（状态序列），以及
捕获未来系统行为的不确定性和多模式性。
观察图和交互图
图3.观察图和交互图的示意图
多主体交互系统自然地由图表示，其中将主体视为节点，并将其关系视为边缘。我们有两种不同用途的图形，下面介绍：
观察图：观察图旨在从原始观察中提取特征嵌入，该原始嵌入由N个代理节点和一个上下文节点组成。代理节点相互双向连接，并且上下文节点仅具有每个代理节点的传出边缘。每个代理节点具有两种类型的属性：自我属性和社交属性。前者仅包含节点自身的状态信息，而后者仅包含其他节点的状态信息。
交互图：我们使用不同的边缘类型来表示不同的交互模式。一对节点之间没有边缘意味着两个节点没有关系。交互图表示具有每个边缘的边缘类型分布的交互模式，该交互模式建立在观察图的顶部。
图4. EvolveGraph的高级图形化显示
动态交互图学习
在许多情况下，从过去的时间步长识别出的交互模式将来可能不会一成不变。而且，许多交互系统本质上具有多模式特性。之后，不同的方式可能会导致不同的交互方式和结果。因此，我们设计了交互模式的动态演化过程。
如图4所示，每τ（重新编码间隔）时间步长重复编码过程，以根据最新的观察图获得潜在的交互作用图。循环单元（GRU）用于维护和传播历史信息，以及调整先前的交互图。更多细节可以在我们的论文中找到。
不确定性和多模态
在这里，我们强调鼓励多样化和多模式轨迹预测和生成的努力。在我们的框架中，不确定性和多模式主要来自三个方面：
首先，在解码过程中，我们输出高斯混合分布，表明下一步有几种可能的模态。我们仅根据表示每个模态概率的分量权重在每个步骤中对单个高斯分量进行采样。
其次，不同的采样轨迹将导致不同的交互图演化。交互图的演变有助于未来行为的多种形式，因为不同的基础关系结构对系统行为实施了不同的规定并导致各种结果。
第三，然而，直接训练这样的模型趋向于崩溃为单一模式。因此，我们采用了一种有效的机制来缓解模式崩溃问题并鼓励多模式。在训练过程中，我们运行了d次解码过程，d特定场景下每个特工的轨迹。我们仅选择反向传播损失最小的预测假设，该假设最有可能与基本事实处于相同模式。其他预测假设的损失可能更高，但这并不一定意味着它们是不可信的。它们可能代表其他潜在的合理方式。
实验
我们重点介绍了有关合成物理系统和城市驾驶场景的两个案例研究的结果。在我们的论文中可以找到更多关于行人和体育运动员的实验细节和案例研究。
案例研究1：粒子物理系统
我们尝试了一种模拟的具有变化关系的粒子系统。最初将多个粒子链接在一起并一起移动。只要满足粒子状态的特定条件，链接就会消失，并且粒子此后独立移动。该模型有望自己学习准则，并执行边缘类型预测和轨迹预测。由于系统本质上是确定性的，因此在此任务中我们不考虑多模式。
我们基于对20个时间步长的观察，预测了未来50个时间步长的粒子状态。我们在此任务中设置了两种边缘类型，分别对应于“有链接”和“无链接”。边缘类型预测的结果总结在表1中，这些结果在3个独立运行中得到平均。“无变化”表示基础交互结构在整个范围内保持不变，而“变化”表示交互模式的更改有时会发生。它表明，有监督的学习基线可以直接训练带有地面真相标签的编码功能，在两种设置中均表现最佳，并可以作为“黄金标准”。在“无更改”设置下，NRI（动态）与EvolveGraph（RNN重新编码）相当，而EvolveGraph（静态）可达到最佳性能。原因是交互图的动态演变导致更高的灵活性，但可能导致更大的不确定性，从而影响具有静态关系结构的系统中的边缘预测。在“更改”设置下，NRI（动态）会在测试阶段的每个时间步重新评估潜图，但是很难捕获连续图之间的依赖关系，并且编码功能可能不够灵活，无法捕获潜在的图。演化。EvolveGraph（RNN重新编码）的性能更好，因为它考虑了训练阶段中连续步骤的依赖性，但是它仍然仅在特征级别而不是图形级别捕获演变。
图5.潜在相互作用图演化和粒子轨迹的可视化
（a）前两个数字显示了每个时间步长上第一边缘类型（“带有链接”）的概率。每行对应一个特定的边（如右图所示）。图演化的实际时间分别为54和62。该模型能够捕获关系变化的基本标准，并几乎没有延迟地进一步预测边缘类型的变化。（b）最后一行中的数字显示了轨迹预测结果，其中半透明点是历史观察结果。
案例研究2：交通场景
图6.流量场景中测试案例的可视化
虚线是历史轨迹，实线是地面真相，而虚线是预测假设。白色区域代表可驾驶区域，灰色区域代表人行道。我们绘制了具有最小平均预测误差的预测假设，并绘制了热图来表示分布。
图6提供了一些测试用例的可视化。
我们的框架可以生成准确而合理的轨迹。更具体地说，在左上角的情况下，对于左下角的蓝色预测假设，在第五个预测步骤会出现突变。这是因为交互图在此步骤中演化了。此外，在热图中，从这一点开始有多种可能的轨迹，它们代表着多种潜在的形态。这些结果表明，不断发展的交互作用图可以增强我们模型的多模态性质，因为先前步骤中的轨迹样本不同会导致图演化的方向不同，从而极大地影响了以后的预测。在右上方的情况下，每辆车均可在任何出口离开回旋处。我们的模型可以成功显示退出回旋处并停留在其中的方式。此外，如果退出回旋处，则预测汽车将在其右侧退出，这意味着我们的模型预测的模式是合理且合理的。
热门跟贴