世界模型进入4D时代！单视角视频构建的自由视角4D世界来了

极佳科技、北京大学、理想汽车和中国科学院自动化研究所联合推出的recondreamer，实现了自动驾驶场景的自由视角重建与生成。该技术仅需单视角视频输入，即可构建逼真的4d世界模型，显著提升了渲染精度和可靠性，尤其在处理大范围视角变化（例如平移6米）时表现出色。

AIxiv专栏持续报道全球顶尖实验室的学术技术成果，促进学术交流。欢迎投稿或联系报道 (liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com)。

ReconDreamer突破了现有NeRF和3DGS等技术的局限性，这些技术在处理复杂驾驶操作和大幅视角变化时效果欠佳。ReconDreamer通过训练世界模型减少重建伪影，并采用渐进式修复策略，确保高质量渲染。

• 论文链接：https://www.php.cn/link/649ecbcdbf3571a2a3197e021287efa1
• 项目主页：https://www.php.cn/link/f812eab186eb17d72275bb38b918913d
• 代码地址：https://www.php.cn/link/d4f457bca5d92483c063b48d7a33b36b
• 论文标题：ReconDreamer: 通过在线修复构建驾驶场景重建的世界模型

技术方法

ReconDreamer的核心在于其世界模型DriveRestorer，该模型用于修复传统重建算法（如Street Gaussians）生成的视频中的伪影和缺陷。通过渐进式数据更新策略，从少量位移渲染开始，逐步扩展到大范围渲染，最终实现高质量重建。下图展示了ReconDreamer的整体框架，以及DriveRestorer的训练过程和渐进式修复策略。

DriveRestorer修复效果展示：（请参考原文链接中的视频）

渐进式修复策略流程图：

实验结果与对比

实验结果表明，ReconDreamer在复杂场景下（例如平移6米）的渲染质量显著优于Street Gaussians和DriveDreamer4D，有效消除了伪影，提升了时空一致性。用户研究也表明，ReconDreamer的渲染效果更受用户青睐（超过95%的投票率）。

(请参考原文链接中的视频)

团队介绍

极佳科技致力于发展空间智能技术，ReconDreamer是其在该领域的重要成果，为自动驾驶和虚拟现实等领域带来了新的可能性。

希望以上改写后的内容符合您的要求。 由于无法直接访问和显示原文链接中的视频，我只能用文字描述其内容。 请您自行访问原文链接查看视频效果。

以上就是世界模型进入4D时代！单视角视频构建的自由视角4D世界来了的详细内容，更多请关注php中文网其它相关文章！