WebArena-Pro把音频视频纳入网页智能体评测:20个自托管站点、300道题,最强组合只过62.3%
核心概要
WebArena-Pro是一个可复现的网页智能体基准,包含20个自托管网页应用、6个领域类别和300道人工验证任务,并把音频与视频作为与文本、视觉并列的核心观测。此前可复现的自托管基准只覆盖少数应用类别,且模态限于文本和视觉;实时基准站点更广却在两次运行之间发生页面漂移。评测中Codex配GPT 6.1 Sol与Claude Code配Claude Opus 5.5并列最高,成功率62.3%,跨站任务普遍低于单站任务。
深度剖析
网页智能体的可复现评测从少数几个应用扩展到20个自托管应用,覆盖生产力、通信、分析、业务运营、设计与媒体、旅行六个领域类别,各应用在界面约定、认证流程和后端状态结构上互不相同。 此前的自托管网页基准只覆盖少量应用、来自少数软件类别,界面、工作流与数据模型的异质性有限;实时基准虽扩大站点覆盖,却因页面、内容、布局和策略在运行之间漂移而牺牲可复现性。 对照表列出WebArena为6个环境、VisualWebArena为3个、WebChoreArena为4个、TheAgentCompany为4个、OSWorld为9个,WebArena-Pro为20个,并标注其同时具备视觉、音频、视频三种模态与任务隔离。
音频和视频成为网页任务中的核心观测,而不只是附带素材:媒体源通过无障碍树暴露,智能体可调用转写与抽帧动作把时序内容并入原有观测结构。 此前的自托管基准把模态限制在文本和视觉,没有实质评测智能体能否理解并使用网页中嵌入的音频与视频内容。 300道任务中221道只依赖文本与视觉,79道需要页面内时序媒体中的信息;媒体工具消融显示,在43道无法仅凭标题、元数据或缩略图解决的子集上,去掉媒体工具后Gemini 3.1 Pro与Qwen 3.6 27B在音频任务上降到0%。
每道任务在独立容器中针对按任务播种的状态运行,使并行评测可复现,避免一次任务中智能体造成的后端改动污染后续评测。 此前的自托管基准在任务之间保留状态,智能体为完成一个任务所做的后端改动会延续到下一个任务;实时基准则因页面与数据漂移难以在多次运行间保持一致。 每个应用以Docker容器运行,带播种数据和固定登录凭据,任务开始前容器状态重置到播种基线,本地托管同时固定应用版本与数据库内容。
启示与展望
评测在自托管容器环境中进行,每道任务限50个浏览器动作,成功与否由基于评分细则的验证器判定;动作空间扩展只覆盖预录音频片段和离散视频帧,语音对话与实时视频流留待后续工作。
比较针对特定模型、框架与工具配置的组合,性能差异一般不能单独归因于模型能力或框架设计;统一的50步预算也不等于计算资源对等,各智能体在token消耗、原生工具使用、观测频率和延迟上不同,报告成本还依赖服务商定价与缓存利用情况。
