跳到主要内容
返回时间线
arXiv来源发表:

约束召回看不见结构矛盾:CoupledSGA把矛盾率从45.92%压到4.07%,代价是R@20下降

核心概要

连续时间场景图预测此前让每个主客体对独立演化,共享实体的关系互不影响,同一对可能同时被判为“坐在上面”和“站在上面”。CoupledSGA用关系交互图把共享实体的关系连起来,并在常微分方程向量场中加入图注意力,再对互斥谓词同时激活施加惩罚。在Action Genome的800段视频子集上,两轮预热后启用该惩罚使R@20从42.21%降到35.18%,同时把无约束协议下的矛盾率从45.92%降到4.07%;分析还证明约束召回在组内胜者不变时无法反映这类违规。

Source-provided article image: Coupled Scene Graph Anticipation: When With-Constraint Recall Hides Structural Inconsistency
arXiv

深度剖析

场景图预测的评测方式本身会掩盖结构矛盾:约束协议对每个主客体对、每个谓词组只保留得分最高的一个谓词,因此同一组内互斥的两个谓词不可能同时进入被打分的输出。 此前这类方法沿用场景图生成与视频场景图生成的召回指标,约束协议与无约束协议被视为互补视角,但约束协议能否度量结构一致性并未被单独考察。 研究证明,当每组胜出谓词及其分数保持不变时,无论组内互斥规则是否被违反,约束协议下的R@与mR@都不变;所考察的互斥规则全部位于同一谓词组内。

CoupledSGA让共享实体的关系在时间积分过程中相互影响,而不是各自独立演化。 此前的SceneSayerODE为每个主客体对配一个独立的神经常微分方程,轨迹独立积分,共享实体的关系无法在演化中彼此约束。 关系交互图以关系对为节点、以共享实体为连边,图注意力被放进常微分方程的向量场,并加入基于互斥谓词矩阵的结构一致性损失;在Action Genome的PredCLS任务上以600段训练、200段测试视频评测。

结构一致性惩罚确实压低矛盾,但代价体现在召回上,而约束召回只记录代价、不记录收益。 在相同训练预算下,CoupledSGA的R@20为40.48%,SceneSayerODE为44.78%;仅加入耦合、不加惩罚时,矛盾率从54.40%降到45.92%,R@20损失1.94个百分点。 三次随机种子的对照中,两轮预热后启用惩罚把R@20从42.21%降到35.18%,同时把无约束协议下的矛盾率从45.92%降到4.07%;这些结果不以刷新最优性能为目标。

启示与展望

结论建立在Action Genome的PredCLS任务上,使用固定的800段视频子集(600段训练、200段测试)和四轮训练预算,计算资源为一台12 GB显存的RTX 3060;作者明确表示这些结果不以确立最优性能为目标,绝对数值也不与已发表的全量划分结果可比。

四轮预算下新增容量是否被充分训练无法与耦合公式本身的不足区分;两轮预热不足以让惩罚避开召回损失;结构有效性只通过前两名矛盾率评估,更严格的结构一致性分数未报告;互斥矩阵为手工整理,其对Action Genome本体论的覆盖范围未知;显式欧拉法为一阶,截断误差未与自适应求解器比较。