跳到主要内容
返回时间线
arXiv来源发表:

知识库从人的决定里长出来:iRAG在40%漂移下把最终决策错误压到低于无控制器基线

核心概要

iRAG把检索增强生成的知识库从预先编译的文档改成由人类历次决定逐条累积的先例库,并让系统随可靠性估计从静默观察、到有证据地质疑、再到有条件自主处理。在模拟客服工单上,10%漂移时它与独立的无控制器RAG延迟基线最终决策错误相当,40%漂移时所有配置都更低;检索衰减降低漂移工单错误却抬高稳定工单错误,说明这是稳定性与可塑性的交换而非普遍优势。

Source-provided article image: Incremental Retrieval-Augmented Generation for Human-in-the-Loop Decision Support
Figure 1 · arXiv

深度剖析

系统不再依赖部署前编译好的静态知识库,而是把每一次输入和最终决定作为一条可检索的先例记录追加进知识库,让知识随人的判断逐步长出来。 常规检索增强生成假定知识库在部署前离线建好并保持固定,因此不适合知识只能由专家逐案决定累积的领域。 在模拟某CRM类产品四个季度演进的合成客服工单上,与独立运行的无控制器RAG延迟基线相比,10%漂移时两者最终决策错误接近,40%漂移时iRAG各配置错误更低。

系统与用户的关系随时间改变:先静默观察人类决定,可靠性超过阈值后把分歧连同检索到的证据摆到用户面前,再进一步转为自主处理并在证据不足时弃权。 此前混合决策要么由机器主导并在不确定时转交人类,要么由人类主导而模型只做代理,两种范式的切换此前只有概念提议、未经实证检验。 可靠性用衰减经验准确率衡量,即模型与人类最终决定的一致程度;实验用CEO、领域专家和实习生三种模拟决策者,并以辅助模型判断候选答案是否覆盖参考决定。

检索相关性按该记录之后新增的条数做指数衰减,使被后续决定取代的旧先例更难被取回,但记录仍留在库中可供审计。 不衰减的检索会把已过时的先例与仍然有效的证据同等对待,在决策标准变化时引入干扰。 在10%漂移数据上检索衰减把漂移工单错误降低若干百分点、同时把稳定工单错误抬高若干百分点,四个配对置信区间均不含零;40%漂移下漂移工单改善同样显著。

启示与展望

评估在模拟客服工单的合成基准上进行,覆盖某CRM类产品四个季度的演进,人类决策者由扰动金标准答案生成的三种画像模拟,因此结论限于受控条件下的系统级行为。系统面向需要在知识库逐步建立时保留人类最终决定权的决策支持场景,检索衰减与可靠性衰减的半衰期分别约为一个季度和五百次可靠性观测。下一步是计划中的有人类参与者工作坊,用来在实际使用中检验状态转换与质疑机制,并开始界面的参与式设计。

人类监督是工作流的结构性安排,其面向真实用户的可用性仍待评估。可靠性以与人类最终决定的一致程度衡量,而非客观正确性,这继承了怀疑式学习的早期决定偏差,实验用CEO引导和每季度前一百张工单的复核窗口来缓解。自主运行期间只有延迟或复核后才出现人类标签,可靠性估计可能变陈旧。状态阈值由用户指定且可能任意,最终状态对阈值敏感,因此最终状态频率只作为依赖阈值的运行结果。辅助判断模型与主模型同属一个模型家族,审计未发现整体自我偏好,但完全独立的评判模型会更强。实验把相当比例的工单交给始终正确的决策者,未来需要改变这一比例以考察可犯错的引导专家或更窄复核窗口下的行为。