WinDEX把野外第一视角立体视频变成米制手部轨迹,离线重建达43.61 FPS
核心概要
WinDEX把日常场景中头戴鱼眼立体相机拍到的双手,转成以米为单位、与重力对齐的世界坐标系手部运动,供机器人遥操作与强化学习使用。此前这类数据要么依赖光学动捕、多相机装置或手套,要么用单目视频但缺少绝对尺度。系统用几何—时间优化生成标注,再训练端到端鱼眼原生网络WinDEX-Net,并蒸馏出离线版WinDEX-Window与因果流式版WinDEX-Stream;在留出数据上,离线重建的重投影误差为14.5像素,结合视觉惯性里程计的世界坐标系关节误差为37.29毫米。
深度剖析
WinDEX让野外采集的双手运动同时具备米制尺度、世界坐标系位置和可规模化的标注来源,而不需要在手上佩戴手套或依赖固定实验室装置。 此前的光学动捕与多相机数据集依赖布置好的环境,手套与外骨骼支持便携采集却仍要在手上保留硬件,单目视频则因单视图无法确定深度与绝对尺度而缺少米制信息。 在留出的野外人工标注2D参考上,离线重建的重投影误差为14.5像素,而微调后的基线方法为22.42至26.72像素;在独立光学动捕上,结合视觉惯性里程计的世界坐标系关节误差为37.29毫米。
重建由一套鱼眼原生的端到端网络完成,它把标定立体几何、手部局部细节和时序上下文放进同一个模型,直接输出手部姿态与米制手腕位置。 此前的单目图像与视频估计器依靠外观和运动先验消解单视图歧义,多视图方法则面向标定相机阵列,未针对头戴短基线鱼眼立体与相机、手同时运动的情形设计。 训练监督来自几何—时间优化:在人工复核的2D关键点上拟合手部,按重投影误差筛选3D标注,再用视觉惯性SLAM把轨迹放进世界坐标系;模型预测反过来初始化新一轮标注,形成数据—模型循环,训练语料最终包含1000小时野外标注。
启示与展望
评估限定在留出的WinDEX-Hand录像上,3D精度以独立光学动捕为参考,图像一致性以人工标注的野外2D关键点为参考;策略学习结果来自仿真中的抓取—抬起—放置试验,并报告了向实体机器人的策略迁移。
长时间遮挡会移除关于手指关节与位置的视觉约束,持续跟踪与恢复仍需更强的时间推理和场景交互上下文;训练只覆盖CyberCap录像,跨设备泛化尚待评估;作者还把结合物体几何、位姿与交互意图纳入后续方向。
