智能体可控性研究：从固定流程到反思型AI的信息提取效能对比

随着大语言模型智能体在复杂信息提取任务中的应用日益广泛，学界对其核心组件——如反思机制与记忆功能——是否真正带来可观测、可控制的性能提升仍存疑问。近日一项研究通过学术会议论文数据集提取任务对此展开深入探讨。

研究团队设计了一个基准测试：系统需要从学术PDF中识别提及的数据集并生成结构化记录。实验对比了固定工作流基线模型与多种反思型智能体变体，并特别设计了优化智能体条件（S2），该条件扩展了相同的任务框架，引入更丰富的PDF处理工具和动态工具选择机制。

值得注意的是，评估重点从传统的结果指标转向过程级行为分析，包括工具执行频率、重试机制、反思触发条件、记忆使用模式、运行时间分布以及故障恢复能力。而提取覆盖率和字段完整性则被作为次要结果指标。

研究发现，智能体机制确实能显著改变系统行为模式，但这种改变并不总是直接转化为任务完成度的提升。论文系统分析了智能体在何时、以何种方式改变系统行为，这些行为变化如何影响任务完成质量，并基于观察到的故障模式，提出了在同一评估框架下优化智能体设计的实践路径。该研究为理解AI智能体的行为可控性提供了新的方法论视角。