跳到主要内容
检索

# GUI推理

1 篇关联报道

订阅更新
  1. arXiv

    UILoop 将 GUI 推理改为屏幕—UI 元素—动作循环,并发布 26K 样本 UI Comprehension-Bench,在 UI 理解与 GUI 推理上取得最优结果

    该工作提出 UI-in-the-Loop(UILoop)范式,把 GUI 推理建模为循环的“屏幕—UI 元素—动作”过程,让多模态大语言模型显式学习关键 UI 元素的定位、语义功能与实际用法,从而实现精确的元素发现与可解释推理;同时提出以 UI 元素为中心的 UI Comprehension 任务及三项评价指标,并贡献 26K 样本的 UI Comprehension-Bench,实验显示 UILoop 在 UI 理解上达到最优,并在 GUI 推理任务上取得更优结果。

已读完全部报道