DrivingGaussian：逼真环视数据，驾驶场景重建SOTA

本文经自动驾驶之心公众号授权转载，转载请联系出处。

原标题：DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes

论文链接：https://arxiv.org/pdf/2312.07920.pdf

代码链接：https://pkuvdig.github.io/DrivingGaussian/

作者单位：北京大学 Google Research 加州大学默塞德分校

本文提出 DrivingGaussian，这是一个针对动态自动驾驶场景的高效率和高效益的框架。对于具有移动物体的复杂场景，本文首先使用增量静态3D高斯 (incremental static 3D Gaussians) 顺序渐进地对整个场景的静态背景进行建模。然后，本文利用复合动态高斯图(composite dynamic Gaussian graph) 来处理多个移动物体，单独重建每个物体并恢复它们在场景中的准确位置和遮挡关系。本文进一步使用 LiDAR 先验进行 Gaussian Splatting 来重建具有更多细节的场景并保持全景一致性。DrivingGaussian 在驾驶场景重建方面优于现有方法，并能够实现具有高保真度和多相机一致性的逼真环视合成。

据本文所知，DrivingGaussian是第一个基于 Composite Gaussian Splatting 的大规模动态驾驶场景的表示和建模框架。

引入了两个新颖的模块，包括增量静态3D高斯 (Incremental Static 3D Gaussians) 和复合动态高斯图(Composite Dynamic Gaussian Graphs)。前者增量地重建静态背景，而后者则使用高斯图对多个动态物体进行建模。在激光雷达先验的辅助下，该方法有助于在大规模驾驶场景中恢复完整的几何形状。

综合实验表明，DrivingGaussian 在具有挑战性的自动驾驶基准测试中优于以前的方法，并能够对各种下游任务进行极端情况(corner case)模拟。

本文介绍了 DrivingGaussian，这是一种表示环视动态自动驾驶场景的新颖框架。本文的关键思想是使用来自多个传感器的顺序数据对复杂的驾驶场景进行分层建模。本文采用 Composite Gaussian Splatting 将整个场景分解为静态背景和动态物体，分别重建每个部分。具体来说，本文首先使用增量静态3D高斯从环视多相机视图顺序构建综合场景。然后，本文采用复合动态高斯图来单独重建每个运动物体，并基于高斯图将它们动态地集成到静态背景中。在此基础上，通过 Gaussian Splatting 进行全局渲染，捕捉现实世界中的遮挡关系，包括静态背景和动态物体。此外，本文在 GS 表示中加入了 LiDAR 先验，与利用随机初始化或 SfM[34] 生成的点云相比，它能够恢复更精确的几何形状并保持更好的多视图一致性。

大量的实验表明，本文的方法在公共自动驾驶数据集上实现了最先进的性能。即使事先没有激光雷达，本文的方法仍然表现出良好的性能，证明了其在重建大规模动态场景方面的多功能性。此外，本文的框架支持动态场景构建和极端情况(corner case)模拟，有助于验证自动驾驶系统的安全性和鲁棒性。

图 1. DrivingGaussian 实现了环视动态自动驾驶场景的逼真渲染性能。朴素的方法 [13, 49] 要么在大范围背景中产生 unpleasant 伪影和模糊，要么难以重建动态物体和详细的场景几何形状。DrivingGaussian 首先引入了 Composite Gaussian Splatting 来有效地表示复杂的环视驾驶场景中的静态背景和多个动态物体。DrivingGaussian 能够跨多相机高质量合成环视视图，并促进长期动态场景重建。

图 2.本文方法的总体流程。左：DrivingGaussian 从多传感器获取连续数据，包括多相机图像和 LiDAR。中：为了表示大规模动态驾驶场景，本文提出了 Composite Gaussian Splatting ，它由两个部分组成。第一部分增量地重建广泛的静态背景，而第二部分使用高斯图构造多个动态物体并将它们动态地集成到场景中。右图：DrivingGaussian 在多个任务和应用场景中展示了良好的性能。

图 3. 具有增量静态3D高斯和动态高斯图的 Composite Gaussian Splatting 。本文采用 Composite Gaussian Splatting 将整个场景分解为静态背景和动态物体，分别重建每个部分并整合它们进行全局渲染。

本文介绍了 DrivingGaussian，一种基于所提出的 Composite Gaussian Splatting 来表示大规模动态自动驾驶场景的新颖框架。DrivingGaussian 使用增量静态3D高斯(incremental static 3D Gaussians)逐步对静态背景进行建模，并使用复合动态高斯图(composite dynamic Gaussian graph)捕获多个移动物体。本文进一步利用 LiDAR 先验来实现精确的几何结构和多视图一致性。DrivingGaussian 在两个自动驾驶数据集上实现了最先进的性能，实现了高质量的环视视图合成和动态场景重建。

Zhou, X., Lin, Z., Shan, X., Wang, Y., Sun, D., & Yang, M. (2023). DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes. ArXiv. /abs/2312.07920

原文链接:https://mp.weixin.qq.com/s/p1J20g0kVUG6kVpq_SEgxQ