近一年来，用语言模型 LLM 构建 AI Scientist agent 层出不穷，正在成为学术界与产业界共同关注的方向。从文献综述、假设生成，到自动跑实验、甚至发现超越人类数十年努力的新算法与数学证明，越来越多的证据显示 LLM 在自动化科学发现上的潜力。

但科学发现的内核从来不是"拟合数据里的统计规律"，而是识别关键变量、揭示背后的因果机制。一个无法区分相关与因果的 AI Scientist，在面对隐藏混淆、选择偏差和测量噪声时，很容易被观测信号带偏，甚至给出会造成严重后果的错误结论。比如在医疗场景里，把相关当因果可能直接导致错误的治疗方案。

那么一个直接的问题是：现在用于构建AI Scientist的LLM agent，真的具备因果思考的能力吗？

针对这一问题，来自 MBZUAI、卡内基梅隆大学、香港浸会大学 TMLR Group、牛津大学和纽约大学的研究者提出了 CausalGame：一个通过交互式游戏来评测 LLM agent 因果思维能力的 benchmark。论文已被 ICML 2026 接收并入选 Oral 口头报告（比例约 0.7%）。

论文标题：CausalGame: Benchmarking Causal Thinking of LLM Agents in Games

作者：Zhenhao Chen*, Yongqiang Chen*, Chenxi Liu*, Junchi Yu, Xiangchen Song, Zijian Li, Jialin Li, Philip Torr, Bo Han, Kun Zhang（* 表示共同贡献与核心作者）

项目主页：https://causalgame.github.io

01｜AI Scientist 的下一道坎：从"执行科研"到"发现机制”

过去两年，针对 AI Scientist 的工作大多关注科研流程的不同环节：想法生成、数据分析、代码实现、交互式发现、实验设计。这些能力都很重要，但还不够。科学发现最困难的地方，往往不是从数据里找到一个相关性，而是在相关性看起来非常合理的时候，意识到它可能只是选择偏差、测量误差或隐藏混淆制造出来的假象。对 AI Scientist 来说，这正是从"科研流程自动化"走向"真正科学发现"的关键门槛：它能否区分相关与因果？

一个不会区分因果与相关的 AI Scientist，越擅长自动跑实验，反而越可能系统性地放大错误结论。如果我们把 AI Scientist 的科学发现能力拆成三层的话：

• 第一层，流程自动化：读论文、写代码、跑实验。
• 第二层，交互探索：提出假设、设计实验、根据反馈更新方案。
• 第三层，机制发现：在偏差、噪声和隐藏变量存在时，识别真正的因果结构。

现有 benchmark 大多停留在前两层。而 CausalGame 主要测的是第三层，也是 AI Scientist 离真正科学发现最远的一层。正如论文强调的：科学发现最终追求的是因果与机制性知识，即一个系统在干预下会如何改变、以及为什么改变，而不是只在固定数据生成过程下成立的相关 [1,2]。这与已有工作的定位差别很明显。

按论文 Table 1 的对比，CausalGame 是其中唯一同时覆盖自动评测、实验设计、多轮交互、因果关系、解释评估与观测陷阱六个维度的 benchmark。它关注的是一个更底层的问题

当观测数据本身会误导你时，agent 能否发现隐藏机制？