How AI agents shape experts’ judgment calls
Anthropic 让 50 名会做因果推断的分析师,用 Claude Code(Opus 4.8)做一场虚构农合社增产评估。四道「两边都站得住」的分析选择(产量指标、对照方法、覆盖范围、加权)由抛硬币事先塞进 Agent 的隐藏偏好;分析师不知道。结果:四道选择平均 86% 跟了 Agent 的 lean;若分析师先表态、Agent 再反对,约 60% 会改口。事后问卷里,77% 至少在一道题上复述了 Agent 的论证(有时原话),只有 15% 点名归功给 Agent;约一半人仍觉得最终建议「更像是自己的」。用 Agent 的人完成更快、严重方法错误更少,但作者强调:这测的是「Agent 明确 lean 时」的影响,外推现实要看模型默认偏好有多强。
为什么值得看对齐向实证:专家签字≠独立判断。AI 安全与政策研究里「人在回路」是否真在把关,这篇给了一个可量化的警钟。