单卡H100实现实时3D渲染 李飞飞团队打破世界模型算力瓶颈

10月19日，据相关报道，由被称为“ai教母”的李飞飞所创立的world labs公司，近日在社交平台x上正式推出其实时帧模型rtfm（real-time frame model），成功实现仅用一块英伟达h100 gpu即可同步完成高精度3d环境渲染与用户的实时互动，迅速引发科技界高度关注。

长期以来，世界模型的发展受限于极高的算力消耗。World Labs指出，当前生成式世界模型的计算需求已远远超过主流大语言模型。

例如，在生成每秒60帧的4K交互式视频时，系统每秒需处理逾10万个token；若连续运行一小时，上下文总量将超过1亿token。

相比之下，尽管OpenAI的Sora具备一定的场景建模能力，但根据Factorial基金会的估算，其运行峰值需要依赖由72万块英伟达H100 GPU构成的超大规模集群。

RTFM的关键突破在于将硬件需求大幅压缩至单卡级别。该模型依托四项核心技术实现效率飞跃：优化的神经网络结构与推理策略，在有限资源下维持高质量输出；采用自回归扩散Transformer架构，高效预测连续视频帧；引入空间记忆机制，结合三维姿态建模确保大范围场景的几何一致性；并设计创新的上下文切换方法，复用历史帧信息以避免冗余计算。

ViiTor实时翻译

AI实时多语言翻译专家！强大的语音识别、AR翻译功能。

116

查看详情

研发团队特别强调，RTFM的核心优势在于其持久化的环境建模能力。其所构建的3D空间具有时间上的连贯性，物体不会因视角变化而消失，同时能够精确还原反射、镜面材质和阴影等复杂视觉细节。更引人注目的是，该系统采用端到端的学习范式，无需人工构建显式的3D模型，可直接从原始视频数据中自主学习空间与物理规律。

与传统仿真系统及视频生成技术相比，RTFM展现出根本性差异。传统仿真依赖预设规则，灵活性差；常规视频生成模型只能单向输出画面，无法理解动态环境。而世界模型通过持续与环境交互，学习底层物理逻辑，不仅能生成高度逼真的场景，还可为智能体提供决策基础。这一特性使其在影视制作、机器人训练等多个领域展现出颠覆性潜力。

以上就是单卡H100实现实时3D渲染 李飞飞团队打破世界模型算力瓶颈的详细内容，更多请关注php中文网其它相关文章！