AI智能体揭示科研分析中的“分岔花园”：同一数据竟可得出对立结论

一项发布于arXiv的突破性研究揭示了科学研究中一个长期被忽视的问题：同一数据集通过不同分析方法可能得出完全相反的结论。研究团队发现，AI智能体能够捕捉人类研究者之间的分析差异，并让这些隐藏的“分岔路径”变得可见。

在四个高风险研究领域中，研究人员仅通过为AI智能体赋予不同“人设”（如自由派或保守派倾向），这些智能体就能从相同数据和问题中报告出分歧明显甚至对立的结论，且发现结果与预设信念系统一致。在一项涉及42个人类研究团队分析同一移民数据集的实验中，AI智能体重现了人类研究报告效应估计中72%的意识形态差异。

令人担忧的是，尽管得出对立结论，但基于最终的AI报告很难识别每个分析中的明显问题：86%的报告通过了独立的AI审查，78%通过了多数人类专家评审。这表明核心挑战往往不是有缺陷的分析，而是从大量方法上合理的分析空间中进行选择性探索和报告。

AI智能体可能通过使这种探索变得廉价且可扩展而加剧这一长期存在的问题。为应对此挑战，研究团队引入了“m值”（多元宇宙值），表示分析路径产生至少与报告结果一样极端主张的概率。他们还提出了“智能体自助法”，利用AI智能体对合理分析路径进行抽样来估计m值。

应用于人类移民研究时，13.5%的报告人类分析落在分析空间中最极端的5%区域内（m<0.05）。因此，科学证据不仅应通过单一报告分析来评估，还应考虑其在可能合理报告的分析分布中的位置。智能体自助法使这一分布变得可观察，并将其转化为科学可信度的评判标准。