跳到主要内容
返回时间线
arXiv来源发表:

3D意图定位不再只靠动词配物体:CoCR把抽象需求拆成功能链,Intent3D测试集Top-1@0.5升到45.91

核心概要

在3D意图定位任务中,用户只说“我需要靠背支撑”这类抽象需求,不点明物体类别,此前的方法靠动词与物体的直接语义匹配,难以判断候选物是否真的满足隐含功能。CoCR先把意图逐步拆成有序的功能需求,再构建意图—功能—物体的依赖图,并用跨注意力把功能表示与点云几何语义特征对齐、双向校验。在Intent3D测试集上,完整模型的Top-1@0.5为45.91、AP@0.5为30.28,均高于IntentNet的42.28和27.60。

Source-provided article image: Detect What You Need: Chain-of-Causal Reasoning for 3D Intent Grounding
arXiv

深度剖析

3D意图定位把“我需要靠背支撑”这类不含物体类别的抽象意图映射到三维场景中的具体物体,CoCR让这一过程显式经过功能需求这一中间层,而不是让意图文本直接与候选物体比对。 此前的IntentNet依靠动词与物体的语义对应来匹配目标,模型能对上“支撑”“背部”这类词,却无法说明某个候选物为何满足意图,在开放场景中容易把沙发、枕头、椅子混为一谈。 在Intent3D测试集上,完整CoCR的Top-1@0.5为45.91、AP@0.5为30.28,IntentNet对应为42.28和27.60;验证集上Top-1@0.5从40.83升到43.24。

方法把一句意图拆成若干步功能需求,再让这些需求作为中间节点连到候选物体,最后用点云特征反过来校正这条推理链。 拆解由一个在训练集上微调的T5-small完成,它按“先找核心诉求、再推所需功能属性、最后汇总功能需求”的模板生成推理序列,生成结果被投影到由训练集意图标注构建并人工核验的功能词表上,而不是直接使用自由文本。 功能需求节点与候选物体的依赖权重由文本嵌入相似度初始化,低于阈值0.2的弱连接在推理时被屏蔽;跨注意力以候选物体特征为查询、功能表示为键和值,依赖加权的双向一致性约束只拉近功能相关的物体—需求对,图更新迭代两次。

启示与展望

演示范围是ScanNet衍生的Intent3D数据集(44,990条意图文本、1,042个场景)以及Nr3D、Sr3D、ScanRefer上的三维视觉定位评测,模型在四块24GB RTX 3090上训练约40小时,单卡可部署;适合关注具身交互中意图理解与三维定位的研究者与工程师阅读。

这里的“因果”指任务级功能因果依赖,并非结构因果模型下的形式化因果识别;功能词表由训练集意图标注构建并人工核验,解析器为微调后的T5-small,推理步数超过四步会引入冗余并可能降低性能,图更新迭代超过两次收益有限且可能因反复融合使物体表示趋同。