跳到主要内容
返回时间线
arXiv来源发表:

8B 参数也能点准专业软件:GroundGUI 用 58.6 万张截图和两段式训练追平闭源数据模型

核心概要

GUI 智能体要把一句指令落到屏幕上的具体像素,而高质量跨平台标注数据一直稀缺。GroundGUI 同时放出 ScreenRef 数据集(58.6 万张截图、63.3 万条指代表达,覆盖桌面、网页与移动端)和两段式训练方法 D2RL:先让带真值框的教师模型在学生自己的输出上做逐 token 蒸馏,再用 RLOO 强化学习优化点击奖励。以 Qwen3-VL-8B-Instruct 为底座训练出的 GroundGUI-8B 在 ScreenSpot-V2 上达到 95.2%,在专业高分辨率基准 ScreenSpot-Pro 上达到 63.9%。

Source-provided article image: GroundGUI: GUI Grounding by High-Quality Data and Distillation-to-Reinforcement Learning
arXiv

深度剖析

GUI 定位模型现在有了一个公开的跨平台训练资源:ScreenRef 收录 58.6 万张桌面、网页和移动端截图,配 63.3 万条指代表达,分辨率跨度从 0.1 到 8.3M 像素。 此前表现好的 GUI 智能体多依赖不公开的大规模专有数据,而已开源的 GroundCUA、ScaleCUA 等数据集受多样性或标注精度限制,在其上训练的模型表现欠佳。 在相同底座 Qwen3-VL-8B 上只做监督微调,ScreenRef 训练出的模型在四个基准上平均 76.4,高于 ScaleCUA 的 72.9 和 GroundCUA 的 73.7;在 OSWorld-G 上分别高出 3.2 和 5.3 个点。

训练流程把强化学习前的起点单独做成一阶段:先蒸馏、再强化,让模型在难样本上也有可学的信号。 监督微调容易过拟合特定领域,而直接用 GRPO 一类强化学习时,小图标或空间关系这类难题上所有采样都拿零奖励,几乎没有学习信号。 从同一 SFT 检查点出发、用同一批后训练数据,完整 D2RL 在五个基准上平均 69.9,高于仅 SFT 的 68.0、SFT 加 OPSD 的 69.1 和 SFT 加 RLOO 的 68.9。

最终模型 GroundGUI-8B 在五个 GUI 定位基准上给出可对照的分数,并在 8B 量级内超过若干 32B 模型。 相对底座 Qwen3-VL-8B,它在 ScreenSpot-V2 提升 3.5 个点、MMBench-GUI L2 提升 5.5 个点、ScreenSpot-Pro 提升 14.0 个点、OSWorld-G 提升 10.6 个点、UI-Vision 提升 20.8 个点。 GroundGUI-8B 在 ScreenSpot-V2 为 95.2%、ScreenSpot-Pro 为 63.9%、OSWorld-G 为 65.4%、MMBench-GUI L2 为 86.8%、UI-Vision 为 38.3%,在 ScreenSpot-Pro 上比 Step-GUI-8B 高 1.3 个点。

启示与展望

已展示的范围是桌面、网页和移动端截图上的 GUI 元素定位,评测集中在 ScreenSpot-V2、ScreenSpot-Pro、OSWorld-G、MMBench-GUI L2 和 UI-Vision 五个基准;D2RL 后训练使用从 GroundCUA 派生的 12K 定位样本,并排除了与 UI-Vision 相同的截图。ScreenRef 以受限的非商业研究许可发布,禁止再分发。

数据集来自真实界面截图和公开教程视频,可能附带包含个人或账户信息的画面,系统的人工隐私审计尚未进行。作者也说明,提示词、过滤规则、各阶段过滤统计和位置加权强度等完整训练配置将补充到代码仓库。ScreenRef 的拒绝样本占比为 3.5%,桌面端最高为 5.2%。