跳到主要内容
检索

# 计算机使用智能体

3 篇关联报道

订阅更新
  1. OpenAI News

    ChatGPT医疗版把智能体放进医院软件:读屏、点击、跨系统搬病历,医生仍保留审核

    OpenAI 为 ChatGPT for Healthcare 推出可跨既有医疗软件执行多步任务的计算机操作智能体,并改进可信临床检索、新增 20 多个医疗插件。此前医疗团队需在电子病历、医院政策、排班系统和支付方门户之间手工拼接信息;新能力让智能体读屏、点击、打字并在应用间切换,同时提供访问控制与审计日志。在覆盖多个专科、含多轮对话的盲评中,医生在 1300 多次评审里对更新后的临床回答在全部八个维度上给出更高评价。

  2. arXiv

    电脑操作智能体不再逐帧吞下整屏:VTR联合训练路由器,视觉token少2.5至5.8倍仍保持全分辨率表现

    电脑操作智能体每张截图要编码成数千个视觉token,长任务和实时游戏里上下文迅速膨胀。VTR把视觉语言模型与一个轻量时空路由器联合训练,路由器查看当前与上一张截图中同一图像区域,决定该token是否进入语言模型,并用自适应损失在尽量少保留token与尽量不损失动作预测之间取舍。仅2000步训练后,VTR在OSWorld、CUA-World和电子游戏动作预测上匹配全分辨率模型,视觉token少2.5至5.8倍,推理成本最多降3.3倍,预填充最多快2.9倍。

  3. arXiv

    浏览器智能体被诱导走岔路:STEER-Bench上攻击成功率94.4%,COBRA压到0%

    直接操作图形界面的计算机使用智能体要在运行时按网页内容分支,攻击者便可构造不可信数据,把智能体逼进一条预先批准却危险的路径,而不必写入任何显式指令。STEER-Bench用9个领域的101个任务测这类分支转向攻击,标准智能体攻击成功率为94.4%,原版Dual-LLM架构为89.5%。COBRA把可信分支计划与事先设定的能力约束配对,严格限定每条分支可执行的参数与目标,在把攻击成功率降到0%的同时保留97%的正常用途。

已读完全部报道