抑郁评估不再只给一句总结:EDA把每个行为线索钉回原始音视频,7B模型F1提升7.61与9.88个百分点
核心概要
视频抑郁评估此前把长录像压缩成整段行为描述,读者难以核查某条观察出自哪段素材、又如何影响判断。EDA把文献定义的五个声音线索和四个视觉线索定位成带时间区间与测量值的证据记录,由冻结的多模态智能体核对原始媒体后决定是否采纳,再与PHQ-9引导的文本分析比对。在D-Vlog与LMVD上,冻结7B骨干的EDA Support相对直接预测把F1分别提高7.61和9.88个百分点。
深度剖析
抑郁评估的输出从一段整段录像的行为叙述,变成一条条可回溯到具体时间区间的行为记录,每条记录都带着它出自哪段音频或视频。 此前的多模态方法把长录像概括成全局行为描述,像“停顿频繁”这样的说法点出了行为,却不指明它发生在哪里、何时发生,也不说明它如何影响最终判断。 在D-Vlog与LMVD两个数据集上,AI线索标注与人类共识标签在共享源片段上的一致率为91.02%,这一数字合并了两个数据集,衡量的是线索一致性而非分类表现。
系统按观察、核验、评估三步走:先定位行为,再让冻结的模型回到原始媒体核对,最后才把通过核验的记录用于比较。 核验环节由Support、Counter和Evidence三种角色分工,Support判断媒体是否支持该现象,Counter用扩展区间检查模式是否持续、是否偏离本人基线,Evidence按线索统一裁定采纳或排除并保留理由。 最终采用的Support策略直接保留通过正向核验的记录,在D-Vlog留一查询参考设置下保留的候选区间比扩展Evidence多1.26个百分点,在LMVD多7.40个百分点。
行为证据与PHQ-9引导的文本分析各自给出判断,两者不一致时才触发对原文的复核。 文本智能体按九个PHQ-9症状域检索原文段落,并区分当前个人经历、历史、否认、第三方陈述与一般讨论,不直接给出问卷分数。 在冻结7B骨干上,Support相对直接预测在D-Vlog留一查询参考设置下F1提高7.61个百分点,在LMVD提高9.88个百分点,同时比7B版DepressionAgent高6.14和5.28个百分点。
启示与展望
演示范围限于D-Vlog与LMVD两个视频队列,评估在冻结的Qwen2.5-Omni-7B与30B-A3B骨干上完成,线索一致率只在两个数据集共享的3秒源片段上统计。这些队列在开发线索与决策规则时已被使用,仅用训练参考并不等于未触碰的前瞻性评估。
行为线索本身不具特异性,标注可能含错误,源链接允许查看但不建立临床有效性。记录级划分不保证说话人分离,单次运行的分数不衡量推理波动,也不单独隔离模型规模的影响。冲突复核中被改动的预测里,D-Vlog留一查询参考设置下87.50%为有益修改,LMVD为58.97%,这些比例只以发生改动的输出为分母。
