CMU 周衔：聊聊物理引擎 Genesis 的源启与未来 | 具身先锋十人谈

cmu华人学者团队开源生成式物理引擎genesis：加速具身智能发展

近期，卡内基梅隆大学（CMU）联合18家研究机构开源发布了生成式物理引擎Genesis，引发了具身智能领域的广泛关注。该项目核心团队由12位年轻华人学者组成，项目负责人为CMU机器人研究所博士毕业生周衔。Genesis旨在通过全自动数据生成，推动机器人技术及其他领域的发展。

Genesis的核心优势在于其底层架构的重新设计与构建。它将多种物理求解器及其耦合集成到一个统一框架中，并通过更高层次的生成式智能体框架进一步增强性能。 与现有模拟平台相比，Genesis具备以下关键特性：

• 原生Python开发: 前端界面和后端物理引擎均采用Python语言开发，底层由GPU加速的DSL Taichi支持，简化了开发和使用门槛。
• 便捷安装和易用API: 安装简便，API设计简洁直观，降低了用户的使用难度。
• 并行模拟，速度超群: Genesis的模拟速度比现有GPU加速机器人模拟器（如Isaac Gym/Sim/Lab、Mujoco MJX等）快一个数量级以上，同时保持了模拟精度和保真度。
• 统一框架，支持多种物理求解器: 支持多种先进物理求解器，能够对大量材料和物理现象进行建模。
• 逼真光线追踪渲染及可微性: 具备性能优化的逼真光线追踪渲染功能，并旨在与可微模拟完全兼容。目前，物质点法（MPM）求解器和工具求解器已实现可微性，其他求解器的可微性也将陆续添加。
• 物理精确的可微触觉传感器及原生生成式模拟支持: 提供物理精确的可微触觉传感器，并原生支持生成式模拟，允许通过语言提示生成各种模态数据，包括交互式场景、任务建议、奖励、资产、角色动作、策略、轨迹、相机运动以及物理精确的视频等。

项目页面：https://www.php.cn/link/2d3bd60a2d899b49827efa1d74476809

Genesis在单台RTX 4090设备上的数据生成速度可达实时的43万倍，仅需26秒即可训练出可迁移至现实世界的机器人运动策略。它能够生成4D物理世界，例如机器人操作和运动策略、开放世界铰接式物体、角色运动以及3D全交互式场景等。

尽管Genesis备受认可，但也面临着对其精度和速度的质疑。为此，Genesis团队发布了详细的技术报告，并开源了所有测试代码，对不同场景下的速度进行了对比测试。

项目负责人周衔本科毕业于新加坡南洋理工大学机械工程系，后于2017年进入CMU攻读博士学位，师从Katerina Fragkiadaki教授，成为该组首位研究机器人学习的博士生。

2022年，周衔在MIT-IBM Watson AI Lab实习期间，与合作者开启了Genesis的研发工作。 最初，Genesis的目标是构建一个高性能的物理仿真器，但随着ChatGPT的出现，团队意识到可以利用大语言模型的推理能力，结合物理仿真，实现全自动的数据生成，从而将Genesis发展成为一个数据引擎。

周衔表示，Genesis团队将持续维护和更新该平台，致力于将其打造成具身智能和物理AI领域最易用、高效的数据平台。

(以下为与周衔的访谈节选，内容略有调整，保留核心观点)

关于Genesis的演进和核心优势： Genesis从最初的仿真器发展成为数据引擎，关键在于整合了大语言模型的推理能力，实现了从任务生成到数据获取的全自动化流程。其核心优势在于易用性、速度和功能的全面提升。

关于开源的意义： 开源Genesis旨在打破计算机图形学和机器人领域之间的壁垒，促进两个领域的交叉融合与共同发展。

关于可微性的设计理念： Genesis的可微性并非主要目标，而是为了加速可微仿真研究，为策略搜索提供梯度信息，从而提高训练效率。

关于项目开发的挑战与克服： 项目开发面临的最大挑战在于跨学科合作的协调和资源的限制。团队成员依靠自发贡献，克服了诸多困难，最终完成了项目。

关于对质疑的回应： 团队积极回应了外界对Genesis速度和精度的质疑，并通过发布技术报告和开源测试代码来证明其性能优势。

关于仿真与真机数据的结合： 周衔认为仿真和真机数据应该结合使用，仿真数据可以提供大规模的数据支持，而真机数据则可以弥补仿真数据的不足，提高模型的精度和泛化能力。

关于Genesis的未来发展： Genesis团队将持续更新和维护该平台，并计划添加更多对机器人操作的支持，致力于将其打造成具身智能领域最优秀的数据平台。

以上就是CMU 周衔：聊聊物理引擎 Genesis 的源启与未来 | 具身先锋十人谈的详细内容，更多请关注php中文网其它相关文章！