跳到主要内容
返回时间线
arXiv来源发表:

TOMAS把“要做什么”先猜出来:同一物体上的抓、推、拉,手部轨迹预测在六个三维指标上全部最低

核心概要

第一人称视频里,同一物体可以被抓、被推、被拉,仅凭过去的手部运动无法唯一确定手接下来往哪走。TOMAS把手指关节拓扑、物体语义与空间关系放在一起,推断候选交互目标与潜在操作,再把未来运动切成带可学习时间边界的有序阶段,用各阶段的几何子目标引导轨迹细化。在EgoPAT3D-DT、H2O-PT与EGTEA Gaze+上,TOMAS在六个三维指标上全部取得最低误差,其中H2O-PT的FDE与Uni-Hand持平;二维六项指标中五项最低。

Source-provided article image: TOMAS: Topology-Aware Operation Modeling and Adaptive Staging for Egocentric Hand Forecasting
arXiv

深度剖析

手部轨迹预测不再只依赖一条全局运动表示,而是先给出“对哪个物体、做哪种操作”的假设,再据此生成未来手部路径。 此前的做法已推进以物体为中心的交互建模、运动感知的时间动态和通用手部运动表示,但操作者打算做什么在预测过程中基本是隐含的。 在EgoPAT3D-DT的已见与未见划分、H2O-PT三个基准上,TOMAS在六个三维指标上全部最低,其中H2O-PT的FDE为0.050,与Uni-Hand的0.050持平;二维六项指标中五项最低,H2O-PT的二维FDE为0.069,高于Uni-Hand的0.065。

模型把手指关节的骨骼连接与运动变化、候选物体的外观与位置、手与物体的相对几何一起编码,为每个候选物体单独检索历史中相关的片段。 每个候选物体不再共用同一份场景摘要,而是各自查询与自身交互情境相关的历史,并用一个可学习的空选项表示没有合适候选的情形。 在H2O-PT验证集上,二维与三维完整模型的目标排序Top-1准确率分别为72.82%与77.61%;去掉关节输入后分别下降9.14与2.98个百分点。

未来运动被组织成有序的潜在阶段,阶段时长由模型自己学出,每个阶段再给出一个相对候选物体的几何子目标,用来细化轨迹。 阶段顺序来自累积时长参数化,而不是独立的时间注意力权重,因此转换的先后顺序被显式保留。 在EgoPAT3D-DT与H2O-PT的七种评估设置中,去掉全局交互条件、去掉阶段级操作条件、把有序边界换成无约束softmax时间注意力、去掉几何子目标,都会使FDE高于完整模型。

启示与展望

评估覆盖EgoPAT3D-DT的已见与未见划分、H2O-PT和EGTEA Gaze+,观测与未来分别占预测窗口的60%与40%,主轨迹窗口最长40帧;EGTEA Gaze+采用1.5秒观测、0.5秒预测的短时协议。目标排序诊断只在H2O-PT验证集上进行,使用按验证mADE选出的seed-0检查点。

消融A1–A9各只跑一个种子,完整模型为三个种子平均,因此这些比较指示各组件相关的性能趋势,而非种子匹配的估计。H2O-PT验证集上的目标由验证动作标注几何关联得到,作者说明这些场景—动作目标并非独立核验的手部特定交互标注,100%关联覆盖率也不代表人工核验的检测召回。