Vid2World— 清华联合重庆大学推出视频模型转为世界模型的框架

vid2world 是由清华大学携手重庆大学共同研发的一项创新框架，其核心在于能够将全序列、非因果的被动视频扩散模型（vdm）转化为自回归、交互式且动作条件化的世界模型。该模型依托视频扩散因果化以及因果动作引导两大关键技术，有效弥补了传统vdm在因果生成及动作条件化上的缺陷。在机器人操控和游戏仿真等复杂场景下，vid2world 展现出了卓越的能力，不仅能够产出高保真的动态一致视频序列，还支持基于动作的交互式预测。这项技术为提高世界模型的实际应用价值及其预测准确性提供了全新的思路，并展现出广阔的应用潜力。

Vid2World 的主要特性

• 高精度视频生成：生成的视频在视觉保真度与动态连贯性方面接近真实的视频。
• 动作导向能力：依据输入的动作序列生成对应的视频画面，支持精细化的动作调控。
• 自回归生成模式：采用自回归的方式逐帧生成视频，每一步生成仅依赖于之前的所有帧和动作。
• 因果推断功能：具备因果推理能力，确保预测过程只依赖于过往的信息，避免未来信息的干扰。
• 多样化应用场景：适用于协助机器人任务规划、游戏引擎开发、策略优化以及视频修复等多种领域。

Vid2World 的技术细节

• 视频扩散因果化：传统的视频扩散模型（VDM）通常会对整段视频进行同步去噪处理，这种方式并不适合用于因果推导，因为未来的帧可能会影响过去的帧。为了达成因果生成的目标，Vid2World 对现有的VDM进行了改造，通过引入因果掩码来约束时间注意力层，使其只能关注过去的帧；同时，时间卷积层采用了混合权重迁移方案，既保持了原有的预训练权重，又适配了因果卷积层的需求。此外，借助 Diffusion Forcing 技术，在训练阶段为每一帧单独抽取噪声级别，帮助模型掌握不同帧间噪声级别的组合规律，从而实现自回归生成。
• 因果动作引导：为了让模型更敏锐地响应细微的动作变化，Vid2World 引入了因果动作引导机制。每个动作都经由一个轻量级的多层感知机（MLP）进行编码，并将其嵌入至相应帧之中。在训练期间，以固定概率随机剔除每个动作，促使模型同时习得条件和无条件得分函数。而在实际运行时，则利用线性组合条件得分函数和无条件得分函数的方法，调节对动作变动的敏感程度。基于独立剔除动作的操作，模型得以理解动作对最终效果的影响，进而在线性生成过程中更精准地响应动作指令。

Vid2World 的资源链接

• 官方网站：https://www.php.cn/link/36e0c72e6254a2992a95c193194f52a5
• HuggingFace 模型库：https://www.php.cn/link/c6945f4391acfd9319dcd33b120a174f
• arXiv 技术文档：https://www.php.cn/link/739025f319bf2fc8ecafa26f547defbc

Vid2World 的典型用途

• 机器人操控：提供高质量的预测数据，辅助机器人完成任务规划。
• 游戏模拟：构建与实际游戏极为相似的视频素材，推动神经游戏引擎的进步。
• 策略分析：模拟各种策略执行后的结果，促进策略改进。
• 视频预测：利用现有帧和动作序列预测接下来的画面，应用于视频填补等领域。
• 虚拟环境创建：生成响应用户动作的虚拟场景，增强虚拟现实中的互动体验。

以上就是Vid2World— 清华联合重庆大学推出视频模型转为世界模型的框架的详细内容，更多请关注php中文网其它相关文章！