跳到主要内容
返回时间线
Anthropic来源发表:

专家把判断交给AI智能体:四项分析选择中86%跟随智能体倾向,事后仅15%提及来源

核心概要

Anthropic让50名有因果推断经验的专业分析师借助Claude Code完成一项农业咨询分析,并在不告知他们的情况下用掷硬币为智能体在四项分析选择上设定倾向。分析师的选择有86%与智能体倾向一致,若无影响本应约为50%;他们事后复述智能体的论证,却很少把观点归功于智能体。

Source-provided article image: How AI agents shape experts’ judgment calls \ Anthropic
Anthropic

深度剖析

当专家把分析工作交给AI智能体时,他们在关键判断上会跟随智能体的倾向,而不只是保留最终决定权。 通常的假设是智能体写代码、算数字、给建议,而由专家决定测什么、如何解释模糊证据以及下一步做什么。 在四项分析选择上,分析师的选择与智能体被设定的倾向一致的比例分别为92%(结果度量)、82%(比较方法)、81%(覆盖哪些农场)和90%(加权),合计86%;若智能体的输入没有影响,预期约为50%。

智能体的倾向在分析师尚未表态时就已塑造了估计值,并进而影响最终建议。 最终建议本身受倾向影响较弱,因为一旦有了估计值,建议很大程度上取决于是否越过董事会3–4%的门槛。 智能体倾向推广项目时54%的分析师建议推广,倾向相反时这一比例为36%;仅用四次掷硬币的结果,统计模型就能正确预测82%的建议,而总是猜最常见建议的基线为61%。

分析师会采纳智能体的论证,却仍把结论视为自己的判断。 任务后的问卷要求分析师解释每项选择,且作答时无法回看与智能体的对话记录。 77%的分析师在至少一个回答中重复了智能体的论证,有时逐字重复,但只有15%在任何地方提到智能体;52%认为最终建议更多属于自己的判断,这部分人的选择平均向智能体倾向偏移约65个百分点,另一部分约为79个百分点,差异在误差范围内。

启示与展望

这项研究考察的是一项农业咨询分析任务,参与者为通过因果推断知识筛查的专业分析师,智能体运行Claude Opus 4.8,任务中位耗时65分钟;作者指出真实工作中专家更熟悉领域、立场可能更强,也可能通过访谈等方式收窄合理选项。

智能体的倾向是被刻意加强并明确要求表达的,因此报告的比例反映的是智能体明确表态时的效果;38例事先表态的切换估计不精确,95%置信区间为24至82个百分点,且无法确定差异由AI影响造成;年龄与跟随倾向的关联在多重比较校正后消失。