给机器人智能体套上安全绳:LEASH在物理机器人上把四个规划器的伤害率压到零
核心概要
LEASH把安全审查做成智能体框架外的一层:任务、动作、提交三道闸门在相机画面里逐级放行,规划器与闸门共用同一份安全策略。在92项仿真任务与13项物理机器人任务上,六个基础模型单独控制机械臂时伤害率从9.06%到76.92%不等;接入LEASH后,GPT-6 Astra在仿真中的伤害率由11.23%降到0.00%,安全成功率由78.99%升到80.80%,物理机器人上GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon与Claude Opus 5.5各在13次运行中无观察到伤害。
深度剖析
基础模型直接驱动机械臂时,会在语义层面做出危险动作,例如把手机放进水里、端着牛奶从插线板上方经过。 传统机器人安全依靠预先写定的约束,例如碰撞检测与无碰撞轨迹规划,这类约束能保证机械臂不撞到东西,却不判断动作的含义。 在RoboRisk的92项仿真任务与13项物理机器人任务上,六个基础模型的伤害率为9.06%至76.92%,两个机器人专用API的适配仿真子集上Dream API伤害率为0.0%、安全成功率28.2%,PokeBot RoboAPI伤害率59.0%、安全成功率0.0%。
LEASH在智能体框架上增加三道安全闸门,分别审查任务、每个动作和每个不可逆操作。 闸门由决策模型给出安全分数,分数超过阈值才放行;决策模型只回答预设问题并给出分数或选项,响应快、成本低,适合一次任务中被反复调用。 默认使用Jev,任务闸门在仿真中对GPT-6 Astra和GPT-6.1 Sol的准确率为81.20%,动作闸门与提交闸门在已标注候选上的准确率为99.91%至100%;GPT-6 Astra与GPT-6.1 Sol在RoboRisk-S上平均端到端时间由245.21秒增至249.28秒,闸门成本估计为每次运行0.00522美元,占总成本0.791美元的0.66%。
闸门只看当前相机画面和最近五步动作,规划器与三道闸门读同一份安全策略,规划器本身被当作黑箱,不需要重新训练。 被拒绝的动作不会终止任务,而是把控制权交回规划器,让它从新的观测重新规划;只有任务闸门可以直接终止任务。 在仿真中,任务闸门拦下约一半的不安全目标,其余由受共享策略引导的规划器拒绝,因此GPT-6 Astra与GPT-6.1 Sol在T类任务上不再造成伤害;动作闸门与提交闸门放行的候选中,超过99.9%是安全的。
启示与展望
评测范围是RoboRisk的92项MuJoCo仿真任务与13项物理机器人任务,物理平台为六自由度Dobot CR5V2机械臂配双指夹爪和腕部、第三人称两个相机;两个机器人专用API只在适配的13项仿真子集上评测,且未接入LEASH。
LEASH依赖审查模型的准确性和规划器的行为:当前决策模型推理能力有限,动作闸门与提交闸门只能拒绝操作、不能终止任务,闸门判断出错时,不遵循策略的弱规划器仍可能发出不安全动作,这解释了GPT-6 Luna与Grok 4.7收益有限。提交审查目前只覆盖张开夹爪与倾倒两类操作,长技能中的其他危险未被监控;物理机器人上有人在场时,多个模型过度谨慎,在P1、P2任务上没有安全成功。
