跳到主要内容
返回时间线
arXiv来源发表:

商用机器人被一句无关闲聊触发动作:TARS在四款机型上验证出跨模型动作错位

核心概要

语言驱动的商用机器人把大语言模型的推理交给小型动作模型执行,用户意图与最终物理动作之间因此可能出现语义断层。TARS把这一断层当作黑盒模糊测试问题,用动作相关与动作无关两条语义搜索轨道,配合多模态动作观测和独立重放验证,在AgiBot X2、Unitree G1、Unitree Go2和Booster K1四款商用机器人上自动找出并复现了未被请求的物理动作。在Unitree G1上,TARS达到最高94.1%的已验证动作覆盖率,说明大量机器人行为可以在不发出显式动作指令的情况下被间接触达。

Source-provided article image: Lost Between Mind, Model Collaboration, and Motion: Understanding and Measuring Cross-Model Action Misalignment in Commercial Robots
arXiv

深度剖析

商用具身机器人可能在用户输入完全不含动作指令时执行物理动作,这一现象来自大模型理解、模型间协作与物理执行三段之间的语义不一致。 通常的假设是攻击者必须先发出不安全指令才能让机器人做不安全动作,而观察到的行为表明,看似无害的对话、含糊表达或与动作无关的输入也能触发行走、转身、跳舞或手势。 在Unitree Go2上,机器人会在缺少所需确认的情况下执行危险的前跳动作;Booster K1可被诱导执行由攻击者控制的多动作序列;Unitree G1会把一段包含straight_punch的代码生成请求变成真实的出拳动作。

TARS把语言到动作的边界当作模糊测试目标,用两条互补的语义搜索轨道自动寻找能触发物理动作的提示。 常规模糊测试依赖崩溃或程序内部覆盖率作为反馈,而商用机器人只暴露黑盒接口,语言到动作的映射藏在厂商组件里,且大模型决策本身带有随机性。 动作相关轨道围绕已知动作构造间接线索,动作无关轨道在不向生成器透露目标动作的前提下探索语义多样的输入,两者都由可观测的动作级反馈驱动,并用多模态动作观测、默认行为校准和独立重放验证筛出可复现的行为。

在四款商用机器人、44种实验设置和超过13万次执行上,TARS稳定发现可复现的动作触发提示。 不同平台的反应性差别很大,Unitree Go2的原始触发率高达99.7%至99.9%,Unitree G1最高只有43.3%,但TARS在两个平台上都达到100.0%的动作覆盖率。 Gemini 3.1 Pro后端在Unitree G1上取得94.1%的已验证动作覆盖率,AgiBot X2上已验证触发的复现成功率最高达100%,且这些触发在独立会话、上下文变化和自然改写后仍然有效。

启示与展望

实验在作者自有的四款商用机器人上进行,全部在受控实验室中直接监督完成,覆盖AgiBot X2、Unitree G1、Unitree Go2和Booster K1,共44种实验设置;Unitree Go2因默认交互策略几乎对任何输入都产生行为,被排除在主要的匿名轨道对比之外。

已验证动作覆盖率与触发复现率并不一致:Unitree G1的已验证动作覆盖率最高约94%,但其触发复现率在不同提示生成模型间从28%到90%波动;Unitree Go2最不稳定,复现率仅4%到50%。在全部观察到的分歧中,幻觉式意图补全约占89.3%,说明大模型与小模型彼此一致并不等于与用户意图一致。