新框架APV:评估大模型如何理解教学意图,提升AI辅助学习可靠性
大语言模型在教学沟通中理解教师意图的能力尚未被充分探索。为此,研究团队提出自适应教学警觉性框架(APV),将沟通警觉性重新定义为通过意图推理优化学习的自适应机制。该框架通过贝叶斯教学意图推理引擎(PIIE)形式化问题,建模教师如何选择内容以最大化教学效用,以及警觉的学习者应如何反向推理潜在的教学配置——包括体裁、立场和激励。
APV通过三层层次进行评估:区分教学体裁、推理结构化教学设置、泛化至真实教育话语。在GPT-4o、Claude 3.5等领先大模型上的实验表明,APV显著提升了模型的警觉性。它在教学性内容与暴露性内容之间实现了最强的区分能力,与人类判断高度相关(相关系数r=0.958),并在基线方法性能下降的自然数据上保持稳健表现。
这项工作为评估和增强大模型对教学动机的理解建立了一个统一框架,推动了更可靠的AI辅助学习系统的发展。APV框架的提出,标志着在让AI更好地理解教育场景中的人类意图方面迈出了重要一步。