对话轮转自然度自动评估新框架:TurnNat 亮相
在语音对话系统中,轮转自然度是影响交互体验的关键因素,但现有评估方法多依赖人工判断或特定时序指标,难以在统一框架下比较不同类型的时序失误。近日,arXiv 上发布了一项新研究,提出名为 TurnNat 的自动评估框架,旨在解决这一问题。该框架基于因果轮转预测模型,通过分析自然对话数据预测双说话者的语音活动状态,并利用观测到的未来活动的负对数似然度来量化时序异常程度。TurnNat 从话语起始和结束点提取轮转边界单元,汇总帧级评分,并聚合均值与尾部单元得分,最终生成对话级别的自然度评分。研究团队还构建了一个包含自然与扰动对话片段的基准数据集,经人工自然度判断验证。实验表明,TurnNat 能有效识别多种时序失误导致的轮转不自然现象,为全双工口语对话系统的优化提供了自动化评估工具。