跳到主要内容
返回时间线
Discover Artificial Intelligence来源发表:

心理压力对话识别不再逐句判断:情绪转移矩阵把五类识别推到85%,跨轮预测76.2%

核心概要

心理压力对话识别此前多把每句话当作独立片段、在最后一层拼接各模态特征,难以刻画情绪在轮次间的累积与转移。BERT-EmoShiftNet把BERT的多层语义编码与EmoShiftNet的情绪转移建模结合,用跨模态Transformer对齐文本、语音和视觉,并在共享嵌入空间做跨模态对比学习。在按对话级切分的自建数据上,全模态五类识别总体准确率为85.0%(95%置信区间[83.2%,86.8%]),情绪转移预测准确率76.2%,平均检测延迟13.4秒。

Source-provided article image: Application of BERT-EmoShiftNet fusion framework in psychological stress dialogue

深度剖析

心理压力对话识别从逐句判断转向跨轮建模:模型在给出当前压力类别的同时,还预测情绪在相邻轮次之间往哪个方向转移。 此前的多模态情绪识别框架多采用晚期融合,只在最终分类层拼接各模态特征,并把情绪当作每句话的静态标签,不刻画情绪在对话轮次间的累积与转移。 在按对话级严格切分的自建数据上(6391条训练、1484条验证、2227条测试),全模态五类识别总体准确率为85.0%,95%置信区间为[83.2%,86.8%];情绪转移预测准确率为76.2%,平均检测延迟13.4秒。

文本、语音、视觉三条信号通道各自提取特征后,被放进同一个表示空间对齐,再交给情绪转移模块跟踪状态变化。 具体做法是用BERT编码器捕捉语言语义的细粒度变化,用卷积循环网络提取语音的时频特征,用卷积神经网络和光流法获取面部表情动态,并通过共享嵌入空间与跨模态对比学习实现统一表示。 跨模态Transformer以文本特征为查询、语音和视觉特征为键和值,使注意力按语义上下文分配;对齐前语音韵律与文本语义特征的平均相关性为0.217,经动态时间规整对齐后升至0.583,去掉对齐模块会使总体测试准确率下降4.2个百分点。

情绪转移矩阵是端到端学出来的,其结构不依赖特定数据集,但具体转移概率反映的是这套心理压力对话数据的动态。 转移矩阵从均匀转移分布初始化,与其余网络参数一起由分类损失通过反向传播优化,逐步拟合训练语料中固有的情绪转移统计规律。 概率最高的转移路径为正向压力到无情绪(0.312)、压力性愤怒到压力性悲伤(0.247)、压力性恐惧到压力性悲伤(0.221);相比一阶马尔可夫基线(转移预测准确率0.684),该矩阵把准确率提高7.8个百分点;在留一被试交叉验证中,转移预测准确率仅比混合说话人设置低2.8个百分点。

启示与展望

这套框架被定位为探索性的计算框架,而非临床诊断设备,用途是向临床医生提供可供进一步评估的定量行为指标。数据来自长春医学高等专科学校心理学实验室采集的236名参与者、共10102个对话轮次,由三名临床心理师独立标注,五类标注的Fleiss kappa为0.78。结果覆盖五类压力对话识别、情绪转移预测与若干鲁棒性测试;在来自不同参与者队列的独立子集上,总体准确率保持在82.3%。

峰值准确率97%在原文中归属不一致:摘要与结论称其为完整五类压力对话任务上的全模态峰值,实验分析一节则称其对应全模态输入下简化的二分类压力/非压力子任务;五类全模态总体准确率为85.0%。原文对早前出现的99%也给出两种说法,一处称来自未报告的初步消融,另一处称来自简化的二分类辅助消融,该数字已从结论中删除。数据存在明显类别不平衡,训练集中正向压力占52.6%,压力性恐惧仅占6.6%,因此额外报告了各类指标并采用类别加权损失与焦点损失。情绪转移预测准确率随轮次累积,从第一轮的62.1%上升,在5至6轮后稳定在76.2%。