跳到主要内容
返回时间线
arXiv来源发表:

触觉不再单独喂给策略:WiTac把腕部视野融进指尖接触,四个真机任务成功率平均提高28.8%

核心概要

Sharpa Robotics与北京大学、上海交通大学等机构提出预训练接触编码器WiTac,在动作生成之前把十指触觉历史、手部运动学与双腕相机视野融合成逐指接触令牌。在GR00T N1.7与另一VLA骨干上,冻结的WiTac使四个真机接触密集任务的平均成功率分别比纯视觉基线高28.8%和15.0%,并比去掉腕部视野的触觉编码器高18.8%和7.5%。预训练使用近300小时SharpaDex v1.0同步灵巧操作数据,四个评测任务均不在该数据集中。

Source-provided article image: WiTac: Wrist-Informed Tactile Representations for Contact-Rich Manipulation
arXiv

深度剖析

接触密集操作中,相似的指尖受力可能对应不同的手—物—目标相对位形,需要不同的修正动作;WiTac让触觉特征在进入策略之前就带上腕部相机看到的空间参照。 此前的视觉—触觉策略把独立触觉特征与视觉流并列输入,或用触觉调制视觉特征、编码视觉预测触觉的残差,局部触觉没有与周围视觉几何绑定。 在GR00T N1.7上,WiTac四个任务平均成功率66.3%,纯视觉基线37.5%,去掉腕部视野的WiTac-NW为47.5%;在另一VLA骨干上三者分别为58.8%、43.8%和51.3%。

编码器为每根手指产出一个接触令牌,把该指的触觉历史锚定在腕部坐标系下的指尖位姿上,再通过交叉注意力向腕部图像块查询视觉上下文。 触觉侧用八帧形变历史经空间骨干与因果时间编码压缩,腕部侧用冻结的DINOv3 ViT-B/16提取双腕图像块特征,两个Transformer块先做指间自注意力再做跨模态交叉注意力。 预训练在SharpaDex v1.0的近300小时同步触觉、腕部图像、机器人状态与指尖力/力矩数据上进行,由接触状态与历史重建、掩码腕部特征恢复、动作条件力/力矩响应预测五项目标联合监督,不使用任务成功标签。

下游策略学习时WiTac保持冻结,只通过带门控的轻量交叉注意力接口注入VLA动作专家,原有视觉、语言与状态输入不变。 门控由有效接触令牌经归一化与MLP后取缩放sigmoid得到,每个注入块一个标量,接触发生时放大接触残差;门控监督用双手主要手指的活跃像素比例作为接触代理。 消融在GR00T上显示:去掉表示预训练平均成功率从66.3%降到53.8%,去掉掩码视觉恢复降到58.8%,把触觉与腕部特征分开注入而非预先融合降到50.0%。

启示与展望

评测在配备两只Sharpa Wave灵巧手的Sharpa North机器人上进行,覆盖电池插入、擦碗、USB重插与开柜四个双臂接触密集任务,每个方法每任务20次试验,策略用每任务200条外骨骼遥操作示范微调;这四个任务都不在预训练数据集中。

视觉与触觉只在特征层通过交叉注意力结合,没有借助深度在共享三维空间中对齐;触觉历史只与当前腕部图像配合,未显式建模二者的联合时间演化;跨手型、触觉传感器与相机配置的迁移仍待验证。离线分析中,联合编码并非在所有设定下都超过腕部特征与无腕触觉特征的简单拼接,20类确认划分上领先4.86%,其余三个设定差距不超过1.03%。在另一VLA骨干上,加噪触觉输入下的动作误差在电池插入与擦碗两项出现小幅回退。