跳到主要内容
返回时间线
arXiv来源发表:

对话智能体的边界测试不再靠猜:从回复里抽条件,显式有效测试占比升到62.7%–83.3%

核心概要

对话智能体的策略边界测试有了新做法:不再从工作流图的节点和边推断期望行为,而是从探索对话中智能体的回复里抽取“条件—期望行为”陈述,再用陈述与变换指令配对生成测试。在四个领域上,62.7%到83.3%的测试是期望行为由提示、工具代码或知识库明确规定的有效边界测试,高于此前AgentEval测试套件的47.7%到68.1%;变换测试还额外覆盖13到46个显式边界。

Source-provided article image: AdaT^2: Adaptive Test Transformations for Black-Box Boundary Testing of Conversational Agents
Fig. 1 · arXiv · 第 2 页

深度剖析

对话智能体的边界测试改为以自然语言陈述为生成目标,每条陈述写明一个策略条件以及该条件成立时智能体应有的行为,生成器直接拿到期望行为,不必自己推断。 此前的做法是从探索记录里挖出工作流图,再让生成器针对图的节点和边改写用户消息;节点和边把多类活动合并在一起,一个节点或边可能含多个边界,期望行为只能由生成器补上。 在四个领域上,62.7%到83.3%的测试是显式有效的边界测试,即每条期望行为都能由智能体的提示、工具代码或知识库推出;AgentEval的测试套件这一比例是47.7%到68.1%。

陈述与变换指令组成配对,指令改变测试的一个因素,例如改写请求措辞、改动请求中的某个取值,或改变对话所处的状态,从而把测试移到同一条件的另一侧或另一个边界。 单条陈述只能覆盖它自己描述的那一侧,配对让一次生成同时利用条件与变换两个维度,而不是只针对一个目标改写消息。 变换测试在四个领域都贡献了单条陈述测试未覆盖的显式边界,数量为13到46个;在航空与银行领域,变换测试与普通测试的有效率大致相当,在零售与电信领域更高。

配对数量远超一次运行能尝试的次数,选择器先按新颖度选陈述,再用多臂老虎机算法Bayes-UCB选指令,从已试配对的结果中学习偏好。 此前的目标选择在跑任何测试之前一次性完成,早期测试的结果无法影响后续目标的选择。 反馈信号有两个:生成器是否写出变换测试,以及大模型裁判对已执行测试给出的通过、失败或不确定判定;在航空领域只有3%、零售领域只有2%的尝试以“不适用”结束。

作为回归测试,测试套件在航空领域检出全部八个植入的策略故障,在零售领域检出八个中的四个;AgentEval的测试套件分别检出五个和两个,且测试数量不到三分之一。 检出差异来自覆盖:对航空领域被漏掉的三个故障,AgentEval分别只有0、3、1个测试覆盖受影响的边界,而AdaT2有7、13、13个。 故障是预先定义的策略翻转,即改写一段策略文本使其要求不同行为;一个测试算检出故障,需要它在原始智能体上通过、在故障智能体上失败,且审计模型把该失败归因于该故障。

启示与展望

报告的范围是四个文本领域上的黑盒边界测试:航空、银行、零售和电信,智能体为-bench智能体,运行模型为DeepSeek V4 Flash 0731,探索、陈述抽取、生成与裁判使用GPT-6 Luna,审计使用GPT-6.1 Sol,全部领域共用一份91条指令的目录。有效性、边界与侧的计数由审计模型给出,审计模型看不到测试属于哪个套件、如何生成以及裁判判定。回归测试只在航空与零售两个领域进行,植入故障只改写智能体提示中的策略文本。

一次边界只有两侧,而两个方法在各自领域都只覆盖了不到四分之一的显式边界的两侧,只覆盖一侧的测试无法说明智能体是否区分两侧。由于每次运行需要数千次大模型调用,RQ2每种配置只跑三次,RQ1、RQ3、RQ4每个方法与领域只有一个测试套件,样本量不足以做显著性检验。裁判给出的不确定判定在AdaT2的测试套件中占比更高,主要出现在普通测试上,这降低了银行、零售和电信领域的准确率。有效性标签、边界与侧计数以及多数执行标签都来自审计模型,绝对数值会随审计模型变化,同一领域内的比较共用同一审计模型。