跳到主要内容
返回时间线
arXiv来源发表:

智能体检索的协变量要过三道关:时间过滤不够,编码器权重也会漏进未来信息

核心概要

用语言模型智能体为随机试验检索本地背景文本,可以补上调查基线抓不到的快速变化信息,但这类协变量能否用于因果分析需要单独验证。一项试点研究以乌干达青年机会计划为锚点,在11个数据集、47个处理—结果对比上比较两种检索流程,并配套检查检索时间、样本外排序和预训练编码器权重三个环节。结果显示两种流程互有胜负,而更换编码器本身就会改变下游异质性排序。

Source-provided article image: Agent Verifiers in Counterfactual Analysis: A Pilot Study Benchmarking Agentic Heterogeneous Treatment Effects
arXiv

深度剖析

智能体检索到的本地文本被当作处理前协变量使用之前,需要一套独立于任务完成度的验证流程,因为这类协变量直接进入个体处理效应的条件集。 已有的智能体基准考察任务完成、指令遵循和工具使用,并不判断智能体产出的数据能否用于因果估计。 验证流程分三层:检索准入用处理前日期过滤,异质性验证用交叉拟合的秩加权平均处理效应比值做样本外打分,编码器准入用按时间分版的编码器、未来事实探针、显式标签对照和权重扰动来检查。

两种检索流程的差别体现在共享语料与逐上下文会话之间:一种为每项研究建立一个经日期核验的共享语料库,另一种为每个研究上下文开一个隔离的临时会话。 共享语料能降低逐单元搜索噪声,但共享来源中一旦混入处理后信息,会污染映射到该来源的所有单元。 在11个数据集上,工作区队友在纯文本特征上于6个数据集取得更高的平均比值,在表格加文本特征上为7个;188次配对检验经多重性调整后只有7项差异保留,其中5项偏向工作区队友、2项偏向会话隔离检索。

即使输入文本本身早于干预,预训练编码器仍可能把预训练阶段学到的未来事实带进嵌入表示,因此时间过滤只是必要条件。 检索端的时间过滤只能约束文档来源,无法约束检索策略和编码器的权重。 按时间分版的探针在干净历史文本上未检出事后偏移,但显式标签对照显示结果对词元池化方式高度敏感;在受控的高斯扰动实验中,探针准确率从无噪声时的92.8%降到噪声尺度较大时的52.1%,而同一过程中留出词元的负对数似然从4.82升到12.20。

启示与展望

验证协议在11个数据集、47个处理—结果对比上运行,锚点是乌干达青年机会计划,并覆盖偏好联合实验、现场实验与行为实验;结论针对这些设定下的检索流程与编码器审计。

两种检索流程在配对检验中互有胜负,没有一种普遍占优;托管的工作区队友使用未固定的模型权重和仍需直接审计的共享语料;观察性泄漏探针只覆盖特定编码器、词元池化规则和历史事件,受控实验只研究一个虚构事实在带噪适配器扰动下的表现。