SkillCorpus:首个开源技能生态系统整合框架,为AI智能体提供标准化能力库

arXiv·1 天前

随着大语言模型智能体的快速发展,开源社区涌现出大量以SKILL.md文件形式封装的可复用技能。然而这些技能资源分散、质量参差不齐,缺乏统一评估标准,实际应用价值难以衡量。近日,研究团队在arXiv发布SkillCorpus框架,首次系统性地解决了开源技能生态的整合与评估难题。

SkillCorpus采用多阶段处理流程:首先从公开仓库爬取约82.1万项技能,经过筛选、去重和质量评估,最终形成包含9.6万项标准化技能的语料库。该库采用16类分类体系,并从实用性、鲁棒性和安全性三个维度对技能进行质量标注。框架还配备了微调后的检索匹配系统,可根据具体任务需求推荐最相关技能。

研究团队在SkillsBench、GDPVal和QwenClawBench三个基准测试上进行了全面评估,使用两种测试框架和两个开源模型架构,并进行了前沿鲁棒性检验。结果显示,集成SkillCorpus后所有基准测试性能均获提升,其中SkillsBench基准提升幅度最大,达到7.5个百分点。分析表明,性能增益主要来源于技能覆盖范围的扩展和测试框架的适配优化。

SkillCorpus首次系统验证了经过筛选整理的社区技能库对实际智能体任务的提升效果,并明确了其适用边界。该研究为开源AI技能生态的规范化发展提供了重要参考,相关数据集、模型和代码将在论文正式接收后开源发布。

大语言模型AI智能体技能库开源生态评估框架

原文来源:https://arxiv.org/abs/2607.15557

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回