跳到主要内容
返回时间线
arXiv来源发表:

多模态大模型定位改用一维向量码本:DVD 在 SUN-RGBD 上把 AP3D 提到 40.0%,单目标推理降到 499 毫秒

核心概要

多模态大模型做 2D/3D 感知时,坐标要么写成文本、token 开销大,要么压进固定整数区间、量程与精度受限。DVD 把 2D 框、2D 掩码和 3D 框统一转成一维向量序列,再用共享码本映射为少量离散 token,推理时由一个轻量反 token 化器还原成原始表示。在 SUN-RGBD、Hypersim、nuScenes 等基准上,DVD-2B 取得 40.0%、15.7%、19.8% AP3D,并在 RefCOCOg val 上达到 89.9% Precision 与 70.4% cIoU。

Source-provided article image: DVD: Dynamic Vector Decoding for Efficient MLLM-based Perception
arXiv

深度剖析

多模态大模型的感知输出不再必须写成坐标文本或固定区间整数,2D 框、2D 掩码与 3D 框可以共用同一套离散 token 表示。 此前的文本坐标表示没有最小量化单元、量程不受限,但每个目标要生成大量 token;固定区间量化把坐标归一化到 0 到 1000 一类整数范围,在理论上无界的 3D 空间里受量程和精度约束。 在 SUN-RGBD、Hypersim、nuScenes 三个 3D 基准上,DVD-2B 分别取得 40.0%、15.7%、19.8% AP3D,DVD-8B 为 40.3%、18.4%、24.4%;同一模型在 RefCOCOg val 上给出 89.9% Precision 和 70.4% cIoU。

统一表示靠一个一维向量自编码器完成:编码器把序列压到隐空间,码本取最近的离散条目,解码器再还原序列。 码本大小设为 4096、隐通道 16、下采样倍率 2,训练时除重建损失和 VQ 损失外还加入基于双向 chamfer 距离的几何损失,该损失对点的排列不敏感,可同时监督 2D 与 3D 任务。 在 DVD-2B 上以 30% 训练迭代做的消融中,去掉几何损失后重建指标从 90.8% AP3D、100.0% Precision、84.8% cIoU 降到 80.7%、99.1%、74.8%;码本取 2048 或 8192 时三项指标均低于 4096。

接入大模型只需扩充词表并复用预训练解码器,不必改动主干,也不必为每类任务单独设计解码器。 推理时反 token 化器先把感知 token 映射回码本向量,再由一维解码器重建序列,最后还原成 2D 或 3D 表示。 在 SUN-RGBD 与 RefCOCOg 上按相同训练设置比较,DVD 每个 3D 框用 8 个 token、单目标延迟 499 毫秒,文本坐标用 74 个 token、4165 毫秒,固定特殊 token 用 15 个 token、713 毫秒但 AP3D 只有 17.5%。

启示与展望

结果覆盖 2D grounding、2D 指代分割与 3D grounding 三类任务,评测集为 RefCOCO、RefCOCO+、RefCOCOg、SUN-RGBD、Hypersim、KITTI、nuScenes 与 ARKitScenes,主干为 Qwen3-VL 的 2B 与 8B 版本,训练在 8 张 NVIDIA A100 上完成。

材料指出,动态向量表示的重建性能即使在下采样倍率更大时仍有提升空间;反 token 化器与多模态大模型是分离的组件,这种解耦可能使学到的离散 token 与大模型的语义理解之间对齐不够理想。