语音理解模型选择性遗忘:解决功能残留问题的新方法
随着语音理解系统在真实场景中的广泛应用,因政策或安全约束需要移除特定功能的情况日益增多。在语音理解任务中,一个功能对应一个意图及其关联的槽位生成行为。然而,自回归模型在抑制目标意图时,并未消除基于该意图生成槽位的条件映射关系。当意图前缀被外部提供时,模型仍能重建原始的意图-槽位结构。研究者将这种结构性失效定义为‘能力残留’。为解决此问题,研究团队提出绑定子空间框架,这是一个在表示层操作的方案,能够隔离并削弱支撑这种映射的意图条件方向。在多个语音理解基准测试中,BSU框架显著降低了强制前缀的可恢复性,同时保持了模型在其他功能上的性能表现。该方法为AI系统的可控性提供了新思路,特别是在需要动态调整模型能力的应用场景中具有重要价值。