Janus控制器:为LLM记忆更新装上“选择开关”,防止知识污染

arXiv·20 天前

随着大语言模型向持续学习方向发展,如何让AI智能体有效复用历史经验成为关键挑战。现有系统通常直接采纳每个本地生成的记忆更新,缺乏对更新质量的判断机制,可能导致三种问题:帮助当前任务的新知识覆盖有用旧知识、引入过度特定的规则、记忆系统过度偏向近期示例。

来自学术界的解决方案Janus应运而生——这是一个插件式记忆控制器,能在每次记忆更新时做出二选一决策:接受候选更新或保留原有记忆。为实现高效决策,Janus采用三项关键技术:记忆动量触发器识别更新轨迹中的异常偏差;构建包含覆盖性任务、边界任务和新鲜任务的混合评估集,避免全历史重放的计算负担;保持方法无关性,可封装现有更新器而不修改其规则。

实验涵盖六个数据集、两种骨干LLM和两种记忆更新器,结果显示Janus使基础更新器的平均准确率提升2.7-4.6个百分点。该研究为大语言模型的持续学习机制提供了轻量级质量控制方案,未来可应用于对话系统、个性化推荐等需要长期记忆维护的场景。

大语言模型持续学习记忆机制模型优化AI研究

原文来源:https://arxiv.org/abs/2606.31121

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回