TalTech 在医患对话摘要挑战赛中夺魁，语音大模型直接生成 SOAP 笔记

TalTech 团队近日在 Beyond Transcription 挑战赛（BeTraC）中取得突破性成果。该挑战赛要求系统直接从长时医患对话录音生成 SOAP 医疗笔记，无需中间转录步骤。研究团队首先筛选了具有长音频鲁棒性的开源语音大模型，随后选用 Voxtral Mini（轻量级赛道）和 Voxtral Small（重量级赛道）进行适配。通过 LoRA 监督微调，并结合使用挑战赛指标——开放医学概念 F1 作为奖励的 DAPO 强化学习，系统在生成准确医疗摘要的同时显著降低了幻觉内容。最终，TalTech 的系统在两个赛道均排名第一。独立的大模型评估显示，其提交结果在所有参赛系统中幻觉率最低，这表明针对概念匹配指标的强化学习并未牺牲事实可靠性。此外，研究还发现，基于文本转录的微调能良好迁移至语音输入，并提升了模型在真实跨领域录音上的鲁棒性。这一成果为医疗对话自动摘要提供了高效、可靠的解决方案，有望辅助临床文档处理，提升医疗工作效率。