AI科研助手失败原因大揭秘：百项前沿任务诊断评估报告

随着大语言模型和智能体框架的快速发展，AI系统已能独立完成从假设提出到论文撰写的完整科研流程，这一新兴范式被称为“自动科研”。然而现有评估方法难以揭示这些智能体的实际运作机制和故障点。

近日，研究人员在arXiv上发布论文《How Do Agents Fail on AutoResearch》，提出了AutoResearchEval评估框架。该框架包含100项基于已发表前沿科研成果的真实任务，覆盖7个科学领域和完整科研生命周期，包括构思、检索、执行、分析、写作和评审等环节。

研究团队对8种模型-框架组合进行了评估，获得了800条自动科研智能体轨迹，并进行了过程级标注分析。基于这些发现，研究人员构建了“自动科研失败分类法”，归纳出45种经验性失败模式。

关键发现显示，所有测试系统都存在一个根本性局限：缺乏元认知循环能力。这意味着当前AI科研代理无法有效检查产出与发现的一致性，在发现问题时缺乏修正能力，也难以评估所采用路径的合理性。值得注意的是，这些失败模式在所有8种测试组合中反复出现，包括性能最强的模型，表明问题根源在于模型层面而非特定框架设计。

研究团队公开了AutoResearchEval数据集和ARFT分类法，旨在推动自主科学发现领域的持续研究。该工作为理解AI科研代理的局限性提供了系统化视角，也为未来改进方向提供了重要参考。