SafeActBench用656个案例追踪工具智能体的证据到行动链,发现静态判断强而交互执行弱
研究者提出SafeActBench,包含656个案例、覆盖六个运营领域与五种协议,用来源绑定的证据账本和确定性轨迹评估器检查工具智能体在行动前是否已建立所需证据;在十种模型–执行框架组合上,静态行动判断可以很强,而交互式执行明显更弱,失败常源于调查不完整或过早行动,一旦证据齐备,单步执行通常可靠,多步工作流则还暴露出未解决的前置条件与执行不完整。
研究者提出SafeActBench,包含656个案例、覆盖六个运营领域与五种协议,用来源绑定的证据账本和确定性轨迹评估器检查工具智能体在行动前是否已建立所需证据;在十种模型–执行框架组合上,静态行动判断可以很强,而交互式执行明显更弱,失败常源于调查不完整或过早行动,一旦证据齐备,单步执行通常可靠,多步工作流则还暴露出未解决的前置条件与执行不完整。
该研究构建了覆盖 40 个编码智能体 harness 的十类安全机制分类体系并评估 400 个 harness–机制单元(205 个确认实现、83 个确认缺失、112 个未决),随后提出 HarnessSecurity-Bench,用 23 个任务、五个攻击面和独立确定性判据在 GLM-5.2 下对六款 harness 运行 2,500 次试验,发现开启自动批准使攻击成功率从 29.2% 升至 95.6%,网络隔离与只读模式分别把攻击成功率从 57.1% 和 8.3% 降至 0.8% 但带来 24.5 和 34.0 个百分点的效用损失,而命令白名单与黑名单分别以小幅效用损失和效用提升降低攻击效果。
该工作提出免标签的测试时校准学习框架 TTCL,从多个模型自生成回答中导出正确性与校准的自监督信号,在无真值标签的目标任务数据上联合适配推理准确率与言语化置信度,并在数学推理与事实问答上报告了准确率与校准的同步改善。
作者提出 KGPFN,一个基于 Prior-Data Fitted Network 的知识图谱基础模型,通过关系图消息传递学习关系表示、从多层 NBFNet 中间头表示提取多尺度局部上下文,并利用查询关系的正负样例构建关系特定全局上下文,以特征级与样本级注意力聚合,经多图预训练后在无需推理时参数更新的情况下结合结构表示与带标签上下文证据,在 57 个知识图谱上无论是否微调均取得最佳平均 MRR,且上下文敏感性分析显示负上下文样例具有价值。
该工作提出 GenFT,一种以预训练权重 W0 为条件的参数高效微调方法,用确定性生成器对 W0 做行、列变换并配合共享-专属分解来生成任务专属更新 ΔW,在 GLUE(RoBERTaBase,平均 85.87%,0.24M 参数)、VTAB-1K(ViT-B/16,平均 74.50%,0.27M 参数)与 FGVC(平均 90.38%,0.29M 参数)上取得与代表性 PEFT 基线相当或更好的平均表现,并在 LLaMA-7B 的 Alpaca 子集上做了困惑度试点验证。
已读完全部报道