首个video2code基准IWR-Bench发布：让模型“看视频写网页”，SOTA仅36.35分

引言

多模态大模型在根据静态截图生成网页代码（Image-to-Code）方面已展现出不俗能力，这让许多人对 AI 自动化前端开发充满期待。

然而，一个网页的真正价值远不止于其静态布局。用户的点击、筛选、表单提交，乃至游戏中的每一步操作，都构成了其核心的交互功能。这些动态、有状态的交互逻辑，恰恰是传统静态评测无法触及的盲区。

为了填补这一关键空白，上海人工智能实验室联合浙江大学等机构的研究者，提出了 IWR-Bench——一个旨在更真实地评估 LVLM 交互式网页重建能力的评测基准。

IWR-Bench 的核心转变在于，它不再提供静态截图，而是要求模型观看一段记录了完整用户操作流程的视频，并结合网页所需的全部静态资源（如图片、图标、子视频等），去理解并复现整个页面的动态行为。任务的复杂性跨度很大，从简单的浏览功能，到需要逆向工程游戏规则的 2048、订机票等应用。

这项任务的难度远超预期。在对 28 个主流模型的全面测试中，即便是表现最好的模型GPT-5，其综合得分也仅有 36.35分。这一结果清晰地指出了当前模型的核心短板，IWR-Bench 不仅为领域提供了一个更具挑战性的新目标，也为未来的研究指明了方向。

论文

论文标题：IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video?

论文链接:  https://arxiv.org/abs/2509.24709

代码地址:  https://github.com/L-O-I/IWR-Bench

数据地址:  https://huggingface.co/datasets/IWR-Bench/IWR-Bench

核心亮点

•首个视频输入的交互网页重建评测：从“image-to-code”迈向“video-to-code”，对网页事件驱动逻辑的生成提出刚性要求

•真实场景、完整资源：113个网站任务、1001次交互动作；提供全部静态资源并匿名化命名，逼近真实开发

•自动化Agent-as-a-Judge：用编程代理复现动作轨迹，双重评分同时评估功能正确性（IFS）与视觉保真度（VFS）

•28个LVLM系统测评：最佳模型总分36.35%，IFS仅24.39%、VFS为64.25%；通用多模态模型显著优于“视频专长”模型

图1: 10个代表性模型在IWR-Bench任务上的评测总览

任务介绍：

现有的网页代码生成基准（如Design2Code、WebSight）主要聚焦于静态截图转代码（image2code），而IWR-Bench则专注于动态视频转可交互网页代码(video2code)：

传统任务： 给AI一张网页截图 → 生成HTML/CSS代码 

IWR任务： 给AI一段用户操作视频 + 网页静态资源 → 生成包含完整交互逻辑的代码

值得一提的是，每个任务都提供了完整的静态资源（图片、图标、视频等），并且所有文件名都经过匿名化处理（如logo.png → asset_001.png），迫使模型必须依靠视觉匹配而非语义推理。静态资源的引入，也为直接基于渲染结果而非HTML代码进行评测提供了关键帮助

图2: IWR-Bench任务和评测总览，模型输入包括(a)用户交互视频，(b)爬取的静态资源的缩略图与文件路径，要求模型输出html代码。评测时，通过agent在浏览器上基于(c)标注的操作轨迹进行操作，以实现基于检查点的自动化评分

•对模型的三大核心挑战：

a.多模态理解：从视频帧精准捕捉布局、文本与组件状态

b.多模态推理：在时间序列中推断交互逻辑与因果关系，并将视频元素与静态资源可靠匹配与绑定

c.高级代码生成：将推断出的状态机与事件逻辑实现为可运行的前端代码

图3: IWR-Bench的任务分类，从领域、视觉复杂度、交互逻辑复杂度三个维度进行了分类，覆盖全面的真实世界网页任务。

•任务规模与覆盖：

￮113个来自真实网站的任务，分辨率覆盖桌面与移动端（19种，移动占10.62%）

￮共1001个交互动作，平均每任务8.9步；其中620个视觉检查点、403个逻辑断言

￮复杂任务包含2048、扫雷等完整游戏逻辑与GUI重建

评测框架和指标

IWR-Bench采用了一套严格的自动化评测协议，通过编程代理（基于browser-use库）来模拟真实用户的网页操作：

•评测流程:

a.操作执行：代理按照预定义的动作序列操作生成的网页

b.功能验证：检查每个操作是否能正确执行，以及逻辑断言是否满足

c.视觉对比：在关键检查点截图，与参考页面进行多维度对比

•双重评分体系

￮交互功能分数（IFS）：衡量功能正确性

▪计算成功完成的操作占总操作数的比例, 操作失败包括浏览器执行失败、逻辑断言失败

▪顶级模型GPT-5的IFS仅为24.39%

￮视觉保真度分数（VFS）：衡量视觉还原度

▪结合低级特征（OCR文本相似度、DINO结构相似度）

▪融合高级评估（由Gemini-2.5-Pro进行整体评判）

▪顶级模型GPT-5的VFS为64.25%

评测结果

图4: IWR-Bench在28个模型上的评测结果

关键发现

•功能实现是最大瓶颈

￮所有模型的VFS都显著高于IFS，这揭示了一个核心问题：

￮模型能够较好地复现静态视觉效果，但在生成事件驱动逻辑方面严重不足。

￮例如，GPT-5能够达到64.25%的视觉保真度，但功能正确性仅为24.39%——这意味着即使页面"看起来对"，实际操作时有75%以上的功能无法正常工作。

•thinking版本带来部分提升

"thinking"版本模型普遍表现更好：

￮Claude-Sonnet-4      (thinking) vs. 普通版：34.62 vs. 34.00

￮Claude-Opus-4      (thinking) vs. 普通版：34.13 vs. 33.33

￮Gemini-2.5-Pro      (thinking) vs. 普通版：30.36 vs. 30.31

但提升幅度有限，说明基础模型能力仍是决定性因素。

•现在的专有视频理解模型效果不如通用多模态模型

￮令人意外的是，专门针对视频理解训练的模型（如VideoLLaMA3、InternVideo）表现垫底，而通用的多模态大模型表现更优。这表明，该任务与传统的视频理解任务具有显著的差异性。

结语

IWR-Bench的推出，标志着AI从"看懂静态网页"到"理解动态交互"的关键一步。36分的成绩告诉我们：这条路还很长。这不仅是对AI多模态能力的一次全面体检，更是为多模态能力涌现指明了下一阶段的攻坚方向。