InCrowdFormer:基于自我中心视角的地面行人世界模型

我们介绍了一种地面行人世界模型——计算模型,它可以预测行人如何在观察者周围的人群地面上移动,但只需使用观察者的自我中心视角。我们的模型 InCrowdFormer 充分利用了变形器架构,通过使用注意力模拟行人互动和自我中心到俯视图的转换,并以编码器-解码器架构自回归地预测可变数量的人的地面位置。我们将由未知行人高度引起的不确定性编码为潜在代码,以预测行人位置的后验分布。我们在一个新的真实运动预测基准测试中验证了 InCrowdFormer 的有效性。结果表明,InCrowdFormer 准确地预测了行人未来的协调。据我们所知,InCrowdFormer 是首个这样的行人世界模型,我们相信它将有益于广泛的自我中心视角应用,包括人群导航、跟踪和合成。

论文链接:http://arxiv.org/pdf/2303.09534v1

更多计算机论文:http://cspaper.cn/

Related posts