上海 AI 实验室发布首个视频转网页评测基准 IWR-Bench

上海人工智能实验室联合浙江大学等单位近日发布了iwr-bench，这是全球首个专注于评估大语言模型将视频内容转化为可交互网页代码能力的基准测试。该评测体系旨在更真实地衡量多模态大语言模型（lvlm）在动态网页重建任务中的表现，填补了ai前端开发领域在动态交互能力评估方面的空白。

与传统的图像到代码（Image-to-Code）任务不同，IWR-Bench要求模型通过观看记录完整用户操作流程的视频，并结合网页所需的全部静态资源，复现网页的动态交互行为。其任务范围广泛，涵盖从基础浏览功能到复杂逻辑重建，如2048游戏实现、机票预订系统等多种实际应用场景。

测试结果揭示了当前主流AI模型在此类任务上的明显不足。在对28个前沿模型的评估中，表现最优的GPT-5综合得分为36.35分，其中交互功能正确性（IFS）仅为24.39%，视觉保真度（VFS）为64.25%。这一数据表明，尽管模型在还原页面外观方面具备一定能力，但在处理事件驱动机制和动态交互逻辑上仍存在严重缺陷。

IWR-Bench的评测机制不仅关注生成页面与原页面的视觉一致性，还引入自动化代理来验证交互功能的准确性。每个测试任务均提供完整的静态资源包，且所有文件名经过匿名化处理，迫使模型依赖视觉线索而非语义推测进行资源匹配。这种设计更贴近真实开发环境，要求模型能够理解视频中的因果关系与状态演变，并将其映射为可执行的程序结构。

研究团队还观察到若干有趣现象：具备“思维链”或“推理过程”的模型版本在部分任务中略有提升，但整体改善有限，说明底层模型的理解能力仍是关键瓶颈。此外，专为视频理解优化的模型并未展现出明显优势，反而通用多模态模型表现更佳，反映出视频转网页任务与传统视频理解任务的本质差异——前者不仅需要感知动作，更需将动态行为抽象为编程逻辑。

从技术角度看，视频到网页转换面临多重挑战。首先是时序建模，即从连续帧中识别关键交互节点和状态切换；其次是逻辑抽象，需将观察到的操作模式转化为事件监听、条件判断和状态管理等编程范式；第三是资源关联，在无命名提示的情况下准确匹配图片、样式表等静态资产；最后是代码生成质量，输出符合语法规范且结构合理的HTML、CSS与JavaScript代码。

海螺视频

海螺AI推出的AI视频生成工具，可以生成高质量的视频内容。

99

查看详情

GPT-5仅获得36.35分的结果说明，即便是最先进的多模态系统，在将动态行为转化为功能性代码方面仍有巨大进步空间。交互功能正确率不足25%意味着超过七成生成的交互模块存在错误，可能表现为按钮响应异常、状态更新失败、流程跳转错乱或核心业务逻辑缺失等问题。

IWR-Bench的发布对学术研究与产业应用均具有深远意义。在科研层面，它为多模态模型的能力评估提供了新的维度，有助于明确当前技术在动态理解与程序生成上的短板。在实用层面，若该能力得以成熟，将极大降低前端开发门槛，使非技术人员可通过简单录制操作视频即可生成具备基本交互功能的网页原型。

然而也应清醒认识到，即使模型在该基准上取得高分，距离实际工程落地仍有差距。真实网页开发涉及性能调优、跨浏览器兼容、安全性设计、代码可维护性等多方面考量，这些信息难以通过操作视频完全传递。同时，复杂的业务规则、边界情况处理以及用户体验细节也无法仅凭视觉演示充分推断。

从发展趋势看，IWR-Bench标志着AI代码生成正从静态描述向动态演示演进，从单帧图像理解迈向多帧时序建模，体现了“所见即所得”智能开发工具的发展方向。这与当前主流编码助手依赖文本指令的方式形成鲜明对比，为未来人机协作开发提供了新路径。一旦模型在此类任务上实现突破，或将催生新一代原型设计工具，让产品经理或设计师通过一段操作录像就能自动生成可运行的交互式页面。

目前来看，AI模型在理解复杂动态交互方面仍处于初级阶段。64.25%的视觉保真度表明其已能较好还原界面布局与样式，但24.39%的交互正确率暴露出其在程序逻辑转化上的根本性局限，凸显出“看得懂”不等于“做得对”的现实挑战。

以上就是上海 AI 实验室发布首个视频转网页评测基准 IWR-Bench的详细内容，更多请关注php中文网其它相关文章！