RuleChef:让大语言模型任务知识“落地”为可编辑规则
近日,一项名为RuleChef的研究框架在arXiv上发布,旨在将大语言模型(LLM)的任务知识转化为人类可编辑、可执行的规则系统。该框架主要面向文本分类、命名实体识别(NER)、关系抽取等自然语言处理任务。
RuleChef的工作流程始于任务描述和一组标注示例,由LLM据此生成初始规则。随后,系统会基于更多示例及人类对现有规则的反馈,对规则进行迭代式修补与优化。值得一提的是,RuleChef还支持利用已有模型的输入-输出对来“引导”规则生成,提升启动效率。
研究强调,LLM仅用于学习阶段——即合成规则并根据在保留数据上测得的失败案例进行迭代修补。整个过程结束后,产出的是一个不依赖LLM实时推理的规则系统,具有运行快速、结果确定、规则可人工检查与调整的优点。
目前,团队已在分类与NER任务上进行了初步评估,并将RuleChef以Apache 2.0协议开源。该方法为追求可解释性、低延迟与确定性的应用场景提供了一条值得探索的技术路径。