智能体输出能逐句溯源了:LMLineage 旁路标注来源,漂移文档只压缩不再被引用的部分
核心概要
LMLineage 把大模型智能体会话里的每一句输出,逐句对应到支撑它的输入片段,并给出校准后的置信度,全程不接触模型内部、也不额外增加推理。它作为旁路服务运行,靠窗口级嵌入相似度匹配,再据此判断哪些输入文档已经不再被引用,只对这部分做微压缩,用户指令原样保留。在 71 句中文金标注上,贪心窗口路径的平均细粒度准确率为 0.725,穷举逐句匹配为 0.497;另收集三种生成器上的 90 轮多轮会话,只用于延迟与可行性评估。
深度剖析
智能体会话现在可以逐句回答“这句输出来自哪段输入”,而且不需要打开模型内部,也不需要为归因多跑一次推理。 此前的做法要么让模型自己引用来源,而引用本身也是模型生成、可能不忠实;要么依赖模型内部做多次额外推理;词法匹配则在模型改写面前失效。 在 71 句中文金标注上,窗口级嵌入相似度在 84.5% 的句子上优于整篇文档相似度,平均得分 0.21 对 0.02;归一化编辑距离与 BM25 在 69/71 和 67/71 的句子上低于常用判定阈值。
归因结果被直接用来管理上下文:当某份输入文档连续若干轮不再被任何输出引用,系统只把这份文档替换成一两句摘要,其余对话保持原样。 常见的上下文压缩是在接近长度上限时对整段上下文做一次摘要,可能把“不要删除”这类约束一并抹掉。 在 10 个合成的 6 轮会话中,漂移检测的误压缩率为 0.00,召回率为 0.30;召回受限的原因是话题 A 的文档在前三轮就把最高匹配让给了用户提问文档。
启示与展望
演示范围是中文网页问答的 71 句金标注、三种生成器上独立收集的 90 轮多轮会话,以及 10 个合成的 6 轮漂移会话;系统以 OpenClaw 插件加归因服务的形式旁路运行。作者计划扩大并多语言化金标注集,并引入第三方独立标注。
金标注集只有中文 71 句,且由大模型辅助标注;贪心窗口搜索在候选扩展中使用随机扰动,报告数字均取固定随机种子。在纯 CPU 生产配置下,8 秒的就绪等待在中大型上下文上经常超时,微压缩会退化为不操作;微压缩的定量 A/B 评测仍在进行。
