冻结模型也能用上力觉:ForceHarness让GPT-6 Astra在无腕力传感器的真机上从3.3%升到90.0%
核心概要
只通过API调用的冻结前沿模型无法读取原始力信号,也无法以接触力变化的速度做决策,因此此前把力引入操作任务主要靠示教训练带力输入的策略。ForceHarness在模型与机器人之间加了三层:从腕部传感器或关节力矩标定手部受力,把接触技能封装成自行调节力并在接触事件处返回的力原语,再把力轨迹翻译成带不确定度的物理量交给模型。在无腕力传感器的Franka FR3真机上,GPT-6 Astra的零样本成功率从3.3%升到90.0%;仿真中在ForceBench上从70.0%升到87.5%,在七任务的HiddenPhys上从62.1%升到96.4%。
深度剖析
冻结的前沿多模态模型现在可以只凭图像零样本控制机器人,但拧螺丝、按重量分瓶这类任务依赖图像看不到的接触力,而只通过API访问的模型既拿不到可读的力,也来不及按接触变化的速度决策。 此前的做法是把腕部力作为网络输入训练带力感知的策略,这需要每个任务的示教并更新权重;面向冻结模型的既有封装则多半直接传原始力旋量或触觉数值,或让模型自己写力控制代码。 在无腕力传感器的Franka FR3上,六个接触密集任务各跑10个回合,同一模型同一指令下,无力的对照在60个回合中成功2次,ForceHarness为54次;分瓶和软硬判别两项在无力条件下均为0/10。
力在模型之下被闭环调节,在模型之上被翻译成物理量,模型每回合只调用一个原语并读取结果。 底层用腕部力/力矩传感器或仅凭关节外力矩做最小二乘求解得到法兰处的力,并在静止时重新置零、每次原语前重新标定,以抵消随位姿漂移的零点。 中层把十二个接触技能做成自行终止的工具,靠阻抗控制器的目标前置量施力,用导纳律把力误差积分成目标速度,遇到接触事件、力上限或超时即停;顶层用均值与最小二乘拟合把力轨迹换算成载荷质量、接触高度、摩擦等量并附不确定度与状态标志。
启示与展望
演示范围是单臂桌面操作与平行夹爪:一台无腕力传感器的Franka FR3真机,加上ForceBench和HiddenPhys两个仿真基准,模型来自两家API提供方。HiddenPhys上模型读取的是带噪声的物体位姿文本而非图像,相机输入由真机实验和ForceBench覆盖。
每次调用远程模型会在原语之间引入数秒延迟,适合准静态接触任务,但无法在动态运动中做快速反应式重规划;原语菜单和物理估计器均为手工设定,每个任务依赖手写指令;组件消融只在仿真中进行。ForceBench上工具与感知阈值在十个种子中的八个上调过,Stove Press与Nut Thread在初次运行后做过修改,且Faucet Turn、Stove Turn、Drawer Pull的公开评测器省略了释放与间隙等检查。
