视频版IC-Light来了!Light-A-Video提出渐进式光照融合,免训练一键视频重打光

花韻仙語
发布: 2025-02-20 16:28:14
原创
350人浏览过

上海交大、中科大及上海人工智能实验室团队研发出无需训练的视频重打光技术light-a-video,该技术突破了传统方法的高训练成本和数据稀缺瓶颈,实现了零样本视频重打光。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

Light-A-Video的核心在于巧妙地结合了预训练的图像重打光模型(例如IC-Light)和视频扩散模型(例如AnimateDiff和CogVideoX)。通过Consistent Light Attention (CLA)模块和Progressive Light Fusion (PLF)策略,该技术有效地解决了视频重打光中的光照一致性和时间连贯性问题。

图片

Light-A-Video 的主要优势:

  1. 无需训练,高效便捷: 直接利用预训练模型,省去了耗时的训练过程,极大提升效率。
  2. 端到端流程,确保一致性: CLA模块稳定背景光源,PLF策略保证时间连贯性,避免闪烁等问题。
  3. 广泛适用性: 支持完整视频或前景序列重打光,并可根据文字描述生成背景,兼容多种视频生成框架。

论文地址:https://www.php.cn/link/6563f4cdc1f2ef1ad710ad6772ea022b 项目主页:https://www.php.cn/link/e14f2c0c9152f1c78681652ff1189f2b 代码地址:https://www.php.cn/link/1194292054da355d3be4c0d3b69b9d9f

CLA和PLF模块详解:

CLA模块通过双重注意力融合,保留细节的同时减少光照抖动,实现稳定光照效果。PLF策略则通过逐步混合的方式,平滑地过渡光照,保持时间连贯性。

图片图片

Light-A-Video架构图:

寻光
寻光

阿里达摩院寻光视频创作平台,以视觉AIGC为核心功能,用PPT制作的方式创作视频

寻光 70
查看详情 寻光

图片图片图片图片图片图片图片图片图片图片图片图片

实验结果:

Light-A-Video在多个指标上超越现有方法,尤其在动作保留方面表现出色,实现了高质量、时间连贯的重打光效果。 该技术也支持仅用前景序列进行背景生成和重打光。

图片图片

未来发展:

团队将进一步改进Light-A-Video,以更好地处理动态光照,拓展其应用范围。 Light-A-Video有望在视频编辑领域带来革命性变革。

以上就是视频版IC-Light来了!Light-A-Video提出渐进式光照融合,免训练一键视频重打光的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号