智元机器人团队正式开源 videodataset——一款面向真实 ai 训练场景深度优化的高性能视频数据加载库。
为直观展现 VideoDataset 的实际性能优势，智元团队开展了与主流 CPU 软件解码方案的系统性对比测试，涵盖 OpenCV、Torchvision（PyAV）、Torchvision（VideoReader）及 TorchCodec 等典型实现。
实测表明，VideoDataset 在解码吞吐量上相较上述 CPU 方案提升 3–4 倍；同时显著降低 CPU 负载，近乎将解码任务从 CPU 完全卸载。该特性使其在大规模视频训练任务中，不仅大幅加快数据供给速度，更可充分释放 GPU 算力，全面提升端到端训练效率。
此外，得益于多解码器复用机制，在面对海量视频随机解码的实际训练场景时，VideoDataset 相比主流 GPU 硬件解码方案仍展现出显著吞吐优势。
VideoDataset 基于 NVIDIA Video Codec SDK 构建，融合多解码器动态调度、生产者—消费者异步模型等关键技术，构建起解码与模型训练完全解耦的异步流水线，解码器利用率稳定超过 90%，持续拉升性能上限。
通过 GOP 级视频切分策略，支持毫秒级关键帧定位——解码器无需完整解析整个 GOP，仅需解码至目标帧即可终止，从而实现真正高效的随机寻帧。同时，项目已妥善解决 Python 多进程（spawn/fork）与 CUDA Context 共存引发的冲突问题，确保在 DataLoader 多 worker 模式下长期稳定运行。
据官方透露，VideoDataset 后续版本将持续演进，重点规划包括：
源码地址：点击下载
以上就是智元开源 VideoDataset：基于 GPU 硬件解码的 VLM 训练加速利器的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
382
收藏
