RAGP：将文本映射为多层图，用Lévy游走实现高效提示压缩

现有提示压缩方法通常将文本视为扁平化的令牌序列，难以捕捉重要信息在文本中的分布式特性——这些信息往往分布在多个位置，并通过局部句法依赖和全局语义关系相互连接。针对这一问题，研究团队提出RAGP（Redundancy-Aware Graph Pruning）方法，将提示压缩重新定义为多层图上的冗余感知图剪枝任务。该方法构建的多层图同时建模细粒度的基于注意力的依赖关系和粗粒度的语义关系，从而更全面地保留文本结构。

为高效识别这种异质结构（密集的局部子图和稀疏的全局连接）中的非冗余节点，RAGP创新性地引入Lévy游走策略。Lévy游走的步长分布具有重尾特性，能够自然平衡局部探索与全局搜索，避免陷入局部最优。在LongBench基准测试中，RAGP在4倍压缩比下平均得分达49.3，优于现有基于大语言模型的压缩方法（如LongLLMLingua在3倍压缩比下得分为48.8）。此外，RAGP在多项任务上也超越了当前最先进的基于视觉的文本压缩范式。该方法代码已开源，为提示工程与高效推理提供了新思路。