记忆架构如何驱动LLM智能体间的语言涌现
两个智能体如何从零开始创造共享语言?在路易斯信号博弈中,发送者和接收者必须仅凭交互历史来协调代码。最新研究通过LLM智能体在多种信道配置下测试了五种记忆架构,发现记忆架构的重要性远超信道容量。
拥有持久私人笔记本的智能体能够从过剩信道容量中获益,避免了无状态智能体常见的高容量崩溃现象,在容量为25时实现了最可靠的协调(0.867 ± 0.023)。相比之下,无状态智能体在中等容量时达到峰值,随后随着词汇量超出滚动上下文窗口的跟踪能力而性能下降。
笔记本外部化了习得的约定,使智能体无需每轮重新推导代码。有趣的是,受信息瓶颈启发的论点预测最佳容量应等于对象数量,但实际研究发现容量=8的瓶颈点反而是脆弱点,过剩容量通常更有优势。
研究表明,仅凭信道容量无法预测协调效果,记忆架构决定了智能体是否将交互历史转化为稳定约定。要理解信号如何演变为语言,必须同时考虑这两个维度。这项研究为理解LLM智能体间的语言涌现机制提供了新视角。