LeCun团队新作:在世界模型中导航

碧海醫心
发布: 2024-12-07 18:24:26
原创
812人浏览过

meta fair 的 yann lecun 团队近期发布了导航世界模型(navigation world models,nwm),该模型能够基于单张图像生成连续一致的视频,并在已知和未知环境中执行导航和路径规划任务。 这与谷歌 deepmind 的 genie-2 模型类似,但更侧重于导航能力。 nwm 使用一种高效的条件扩散 transformer (cdit) 架构,即使参数量达到10亿,计算需求也相对较小。

NWM 的主要能力体现在以下几个方面:

  • 已知环境轨迹追踪: 基于单张图像和给定的动作序列,NWM 能生成准确的连续视频,展现出良好的场景理解能力。(示例GIF见原文)

  • 未知环境导航: 即使是在训练中从未见过的环境,NWM 也能根据输入动作预测后续图像帧,实现自主导航。(示例GIF见原文)

  • 路径规划: NWM 可以与外部导航策略(如NoMaD)结合,对生成的轨迹进行评估和排序,选择最佳路径。(示例GIF见原文)

与其他模型相比,NWM 在视频一致性、稳定性和动作执行效果方面表现更出色。(示例GIF见原文)

NWM 的核心是其条件扩散 Transformer (CDiT) 架构,通过限制注意力机制并整合交叉注意力层,实现了高效的时间自回归建模。 研究团队在多个机器人导航数据集(如TartanDrive、RECON、HuRoN)上进行了实验,结果表明 NWM 在轨迹预测和导航规划方面达到了先进水平,尤其是在结合外部策略进行轨迹排序时,性能更为突出。 此外,在未标注数据上的训练也提升了 NWM 在未知环境中的泛化能力,尽管仍存在一些局限性,例如在长时间预测中可能出现幻觉。 (具体实验结果和图表请参考原文)

论文链接:https://www.php.cn/link/07193c44ba3be8df1f67e96110c2006e 项目链接:https://www.php.cn/link/ee0f34b734215fee701a993776c2fae4

以上就是LeCun团队新作:在世界模型中导航的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
相关标签:
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号