知识驱动型AI代理:让工作流生成更智能
在ComfyUI等可视化创作系统中,工作流生成不仅需要语法准确性,更需对模块化组合进行专家级推理。现有大语言模型方法常将其视为直接文本转JSON任务,面临结构脆弱、缺乏有效设计所需经验知识等挑战。
研究团队认为,成功的工作流生成需要对知识本身进行建模,包括其结构、层次和推理动态。为此,他们提出知识中心框架,学习在多个抽象层次上进行知识反转、注入与推理。
该方法首先通过知识反转,从大量真实工作流中提取层次化表示,涵盖完整伪代码、骨架结构到高层策略。随后通过监督微调进行知识注入,教导模型从任务描述推理至策略,再从策略推理至可执行结构。在推理阶段,模型执行可逆推理以合成可执行工作流,并通过自优化增强结构连贯性。
实验表明,该方法生成的工作流比现有系统具有更丰富的节点多样性、更连贯的结构和更高的执行成功率,为知识驱动、智能体化的工作流生成奠定了新基础。该研究对提升AI辅助创作工具的实用性与可靠性具有重要意义。