Anthropic 自己测“AI 读脑术”，结果尴尬了：看模型内部，居然不如直接看聊天记录

结论

Anthropic Alignment Science 团队 8 月 21 日公开 CHIVE（Counterfactual Hypothesis Investigation Via Edits）。它让 Agent 从真实聊天和工具调用轨迹里找异常，再通过修改 Prompt、重复采样和独立验证，检查一个解释是否真的能预测模型行为变化。

在这套可验证任务上，三类常见的“读激活”工具——Activation Oracle、Natural-Language Autoencoder 和 Sparse Autoencoder——都没有超过只看聊天记录的 baseline。这个结果不是“可解释性已经没用”，而是一个更窄、更扎实的提醒：目前这些工具还没有证明自己能为真实行为预测提供稳定的额外信息。

我的判断是：CHIVE 值得关注，因为它把“看起来像解释”变成了可检验的反事实预测问题。对安全团队来说，暂时不要把 activation 输出当成因果证据；能改一个因素、重跑一次并观察行为是否变化，仍然更可靠。

Anthropic 这次到底测了什么

CHIVE 先对每个 Prompt 采样 30 个回答，再让 Investigator Agent 筛出异常行为。异常可能是一个 coding error、故事里的反常选择，或者 Agent 采取了意外策略。

接着 Investigator 会做 5 到 15 组反事实实验：改动 Prompt 的一个因素，重新采样目标模型，再测异常行为出现的频率。独立 Judge 最后检查实验是否支持这个解释。

这一步很重要。研究团队不把 Agent 写出的开放式解释当成“真相”，真正用于评估的是实验测得的 Yes/No 结果：这个 Prompt 改动是否真的改变了行为。

三套“读脑工具”没有带来提升

研究者让 Predictor Agent 判断一个反事实改动是否会改变模型行为。Transcript-only baseline 只能看聊天记录；其他 Predictor 还可以对目标模型的激活做最多 5 次只读查询。

• Activation Oracle：用语言回答激活中有什么；
• Natural-Language Autoencoder：把激活翻译成开放式描述；
• Sparse Autoencoder：把激活拆成稀疏特征及其文字说明。

结果很直接：三套工具都没有超过只看 transcript 的 Agent。这个结论在两个目标模型、三个 Predictor 模型家族、不同超参数，以及人工和自动优化工具用法后仍然成立。

工具并非完全读不到东西。有一个 randomNum coding bug 的案例里，NLA 读到模型可能正在生成 min 和 max 之间的随机整数，帮助 Predictor 猜到变量名误导了模型。但这类成功被遗漏信息和误导性输出抵消，平均下来没有 uplift。

问题可能出在“相关”与“因果”之间

激活工具常常能同时描述 Prompt 里的特征和模型最后的行为，却很少直接说明：前者导致了后者。Predictor 仍要从相关线索里自己推断因果关系，而工具输出有时长达数千 Token，真正有用的信号容易被淹没。

这对安全评估尤其值得警惕。Anthropic 过去确实在 System Card 里使用过类似工具，借此提出“模型把权限绕过当成合法策略”或“模型知道清理代码在掩盖异常”等假设。CHIVE 的结论是：这类 activation 读数目前最多算提示性证据，不能单独证明模型的真实意图。

研究团队也列出了限制。CHIVE 里的多数行为比较简单、可检查；系统卡里的欺骗、评测意识和规避监督可能更复杂，未必属于同一分布。负结果不能推导出所有 mechanistic interpretability 都无效，但也不能把工具的价值当成已经验证。

第二个反转：训练模型预测自己的行为，反而有效

CHIVE 产生的数千个反事实实验也被拿来训练模型预测：如果这样修改 Prompt，我自己的行为会不会变化？研究者训练了 Qwen3-8B 和 Qwen3.5-397B-A17B。

训练后的模型在未见过的 hint 场景和留出调查上都有明显提升。也就是说，“直接预测行为对 Prompt 改动的敏感性”暂时比“先读内部激活、再猜因果”更容易获得可测的收益。

这不是模型突然获得了完美自我意识。它学到的是一种可操作的敏感性判断：哪些输入变化可能改变回答，哪些变化大概率不会。对 Agent 安全来说，这已经可能比一段听起来合理的事后解释更有用。

这篇负结果为什么值得公开

可解释性研究最容易展示漂亮的个案：某个 feature 像“欺骗”、某个神经元像“金门大桥”。CHIVE 加了一道更难的考试：给分析 Agent 更多内部信息后，它预测反事实结果是否真的更准？在这套任务里，答案是没有。

Anthropic 没有把它包装成“读脑术已被证伪”，而是明确说评估是 proxy，并保留工具在更复杂、没有可直接获取 ground truth 的系统卡场景中的可能价值。这个边界值得保留。

我们的判断

如果你在做模型安全、Agent 监控或可解释性研究，CHIVE 最值得带走的不是一句“看聊天记录就够了”，而是一条实验纪律：任何关于内部原因的强结论，都应该尽量转化为 Prompt 或激活干预，再用行为变化验证。

对普通开发者，这篇研究暂时不会改变你选哪个模型。但它解释了为什么 Agent 自己写出的“我这样做是因为……”不能自动当作真实原因。要判断一个提示、权限或上下文是否真的影响行为，最稳妥的办法仍是做对照实验。

仍然要观察

• CHIVE 在更复杂的欺骗、规避监督和长周期 Agent 行为上是否仍然没有 uplift；
• 新的 activation 工具能否直接提供可干预、可复核的因果信号；
• 训练出的自我行为预测模型能否迁移到不同模型，而不只是预测训练分布；
• 外部研究者使用公开代码和约 95GB 数据集后的复现结果。

常见问题

CHIVE 证明 AI 可解释性失败了吗？

没有。它只在一套有可测反事实标签的任务上发现三类激活读取工具没有带来预测提升。论文明确把它称为 proxy，并讨论了与系统卡安全评估之间的分布差异。

为什么只看聊天记录可能更好？

因为很多工具输出仍然在描述聊天记录已经显现的特征和行为，却没有直接给出因果关系；额外信息还可能误导 Predictor。

公开数据有多大？

Hugging Face 数据集卡标注总量约 95.2GB，包含多个目标模型、真实提示池、调查日志、反事实声明、验证记录和训练数据。外部复现需要遵守其中列出的上游数据许可。

来源与证据边界

• 一手研究：Anthropic Alignment Science：CHIVE
• 研究论文：arXiv 2608.16747
• 公开数据集：Hugging Face CHIVE data
• 前序方法：Anthropic Activation Oracles（2025）

本文把 Anthropic 的研究结论、研究限制和编辑判断分开呈现。CHIVE 的外部大规模独立复现仍待观察。