TrajectoryCrafter— 腾讯和港中文推出的单目视频自由运镜技术

trajectorycrafter：腾讯与港中文大学联合研发的单目视频相机轨迹重定向技术

TrajectoryCrafter是由腾讯PCG ARC Lab和香港中文大学共同开发的一项先进技术，它能够对单目视频的相机轨迹进行后期重定向。这意味着您可以自由调整视频中的相机位置和角度，从而轻松改变视频的运镜方式，创造出更具沉浸感和创意的视觉效果。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

核心功能：

• 精准轨迹控制： 用户可自定义相机轨迹（平移、旋转、缩放等），系统将生成与之匹配的视频内容。
• 高保真视频输出： 生成的视频在视觉效果上与原始视频保持高度一致，细节和纹理清晰逼真。
• 4D一致性： 生成的视频在空间上与目标轨迹完美匹配，时间上与原始视频保持流畅连贯，避免出现内容漂移或闪烁等问题。
• 广泛场景适用性： 该模型能够适应各种场景，包括室内、室外以及动态场景，具有强大的泛化能力。

技术原理概述：

TrajectoryCrafter的核心是基于一个双流条件视频扩散模型。该模型巧妙地将相机轨迹的确定性变换与视频内容生成的随机性解耦。它利用点云渲染技术精确控制视图变换，并通过视频扩散模型生成高质量的视频内容。 模型采用双流条件机制，分别接收点云渲染结果（用于精确控制视图变换）和原始视频（用于提供细节和纹理）作为输入。 创新的Ref-DiT模块（参考条件扩散变换器）通过交叉注意力机制将原始视频的细节信息融入生成过程，显著提升了生成视频的保真度。 此外，该技术还采用了混合数据集训练策略，结合了大规模单目视频和静态多视角数据集，并运用双重重投影策略生成大量的训练样本，从而提升模型在多样化场景下的泛化能力。

腾讯混元文生视频

腾讯发布的AI视频生成大模型技术

137

查看详情

项目资源：

• 项目官网： https://www.php.cn/link/ad409abd19cd473d128eaab4f69f0daf
• GitHub仓库： https://www.php.cn/link/23e140a848564d0d992c874d4cea766b
• arXiv技术论文： https://www.php.cn/link/cd12c5f7eafb7e784382eb8e307d4ae0
• 在线体验Demo： https://www.php.cn/link/ccf9fa222512910e68363adb0510adf4

应用前景：

TrajectoryCrafter在多个领域具有广阔的应用前景，例如：

• 沉浸式娱乐（VR/AR）： 为用户提供自由切换视角的沉浸式体验。
• 创意视频制作： 赋予影视和短视频创作者更多视角选择，提升作品的吸引力。
• 智能视频会议： 动态调整会议视角，方便与会者关注特定区域或人员。
• 自动驾驶与机器人： 生成多视角驾驶或导航场景，用于算法训练和测试。
• 教育与培训： 创建多视角教学视频，提升学习效果。

以上就是TrajectoryCrafter— 腾讯和港中文推出的单目视频自由运镜技术的详细内容，更多请关注php中文网其它相关文章！