文本嵌入改用分层是非题:深层问题可被浅层问题替换,人工核对量下降而任务表现不降
核心概要
基于是非题的文本嵌入把每个维度对应一个“是/否”问题,解释性直接,但问题一多,人就得逐个核对。新方法把问题组织成层级:越深越具体、数量越多,并用蕴含关系把深层问题对齐到浅层问题,解释时只读少量概括性问题。在语义相似度、文本聚类和信息检索三类通用任务上,这种替换在保持任务表现的同时降低了人工核对量,使表现与认知负担之间的帕累托前沿明显前移。
深度剖析
文本嵌入的每个维度现在可以挂在一棵问题树上,解释时不必逐条读完所有是非题,只需读少量浅层概括问题。 此前基于是非题的嵌入虽然每个维度都对应一个可读问题,但问题数量庞大,人必须检查大量问题才能解释一次相似或差异。 在语义相似度、文本聚类和信息检索三类通用任务上,用浅层问题替换深层问题后,任务表现与认知负担之间的帕累托前沿明显优于单层聚类的基线 CQG-MBQA。
层级由递归聚类、对比式提问和问题对齐三步搭起来,越深的问题越具体、数量按每层五倍增长。 对比式提问让大语言模型针对正负样本生成能区分簇的是非题,递归聚类则让浅层问题覆盖更宽的语义区域。 在约 680 万条文本的 MEDI2 语料上,第一层得到 40 个簇、213 个问题,第四层得到 4,996 个簇、13,914 个问题,基线单层聚类为 5,000 个簇、16,419 个问题。
对齐是否成立用自然语言推断模型检验:把问题改写成陈述句,看深层陈述是否蕴含浅层陈述。 对齐不是按字面相似度配对,而是按蕴含概率挑选最合适的上级问题。 在多个层级组合中,超过 67% 的深层问题蕴含其对齐的浅层问题,而反向蕴含的比例很小,说明浅层问题确实在概括深层问题。
启示与展望
演示范围限于英语通用任务:语义相似度、文本聚类和信息检索三类 MTEB 数据集,问题由 gpt-4o-mini 生成、以 UAE-large-v1 作为黑盒嵌入、mDeBERTa-base-v3 作为自然语言推断模型。读者若关心高风险领域的透明检索,可据此判断问题层级的取舍,但多语言场景尚未评估。
生成的问题数量庞大,人工逐一检查仍然困难,因此定性分析只覆盖抽样问题,更全面的人工评估尚待进行。方法改善的是表现与认知负担之间的权衡,而非直接提高任务表现。阈值过低时,模型判“是”而人判“否”的标准差异可能变大,从而削弱嵌入的可靠性。多语言下的问题质量与粒度是否一致仍不清楚。
