ε-MemEvo:让大模型程序进化拥有“跨任务记忆”能力
当前基于大模型的程序进化系统(如FunSearch、AlphaEvolve)虽然在发现新算法方面表现出色,但通常每个任务独立优化,任务完成后搜索经验即被丢弃。arXiv最新研究提出的ε-MemEvo框架打破了这一局限,实现了大模型程序进化中的跨任务知识迁移。
该框架的核心创新在于将先前经验存储为“任务无关的战术记忆”——不是原始代码,而是成功算法策略的紧凑自然语言摘要。这种设计使得知识能够跨越不同API和评估器的任务进行迁移。为避免语义不匹配记忆导致的负迁移,ε-MemEvo采用了自适应注入门控机制,动态决定是否注入检索到的记忆以及注入强度。
研究团队在8个多样化优化基准上进行了评估,涵盖数学优化和系统工程领域。采用内容级留一法协议排除目标任务记忆条目后,在GPT-5主干模型上,ε-MemEvo在所有8个任务上的AUCC指标均优于AdaEvolve,平均相对增益达+8.7%,早期收敛性平均提升+9.4%。消融实验显示,简单的记忆注入可能导致灾难性失败,而自适应门控在所有五个消融任务中保持安全。
值得注意的是,该框架的数据更新后验在观察状态下具有可解释性:在搜索改进期间倾向于跳过记忆,而在早期和晚期平台期则从跳过转向提示。所有这些性能提升的计算开销不到1%,为大规模应用提供了可行性。