轻量微调让中型开源大模型在文档级事件论元提取中超越GPT基线

arXiv·10 小时前

事件论元提取(EAE)作为信息抽取的关键任务,旨在将非结构化文档转化为结构化事件记录,识别论元边界并分配预定义的角色。文档级EAE面临三大挑战:触发词与论元间的长距离依赖、跨句子上下文理解以及严格的模式约束,传统方法常出现边界错误、角色不确定性和模式不一致等问题。

来自学术机构的研究团队在arXiv发表最新成果,探索中型开源大语言模型在文档级模式约束EAE任务中的潜力。该方法创新性地融合三项技术:在提示中注入角色集确保模式合规性;采用参数高效的监督微调(LoRA)技术,保持训练与推理时统一的JSON接口;设计确定性解码与后处理流程,验证JSON格式、过滤无效角色、去重论元并对齐文档窗口。

在标准MAVEN-ARG评估体系下,经过微调的中型开源模型在提及、实体共指和事件共指三个评估维度上全面超越此前报告的GPT基线。表现最佳的Phi-4模型(140亿参数)在事件共指层面达到42.39%的F1值,标志着开源模型在该复杂任务上的重大突破。研究团队已公开实验代码,为后续研究提供可复现的基准。

事件论元提取大语言模型参数高效微调信息抽取开源模型

原文来源:https://arxiv.org/abs/2607.16808

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回