Hawk框架突破NPU内核生成瓶颈,硬件感知知识驱动性能飞跃

arXiv·18 天前

近日,arXiv平台发布了一项针对神经网络处理器(NPU)内核生成的重要研究。当前,为NPU开发高性能内核是行业关键瓶颈,开发者需手动处理隐式硬件约束和严格内存层次,而大型语言模型因缺乏硬件特定先验知识,在NPU上表现不佳。

为解决这一问题,研究团队提出Hawk框架,这是一个无需训练的硬件感知知识驱动系统。该框架包含三个核心模块:运行时知识合成模块采用三重可执行知识表示,将错误上下文与可执行语义紧密结合;瓶颈感知知识检索模块实现二维检索范式,将查询投影到正交的句法和硬件对齐语义空间;效果驱动知识蒸馏模块利用LLM驱动的语义仲裁,基于实际执行反馈持续提炼知识。

在真实NPU工作负载上的广泛评估显示,Hawk将生成准确率从49.4%显著提升至80.0%,同时相比最先进的基线方法,执行速度最高提升2.2倍。这一突破性进展为自动化NPU内核开发提供了新思路,有望大幅降低开发门槛并提升硬件利用效率。

NPU硬件优化内核生成AI系统自动化编程

原文来源:https://arxiv.org/abs/2607.01590

相关阅读

AI_LectureNote:英语医学术语还原与语义保真度研究
大模型生成文本的“文学无风格”现象
大语言模型中的问题顺序效应:QQ等式审计揭示机制特性与饱和陷阱
首个吉尔吉斯语大模型基准发布:揭示低资源语言评估挑战
Scope3Trace:基于证据的Scope 3温室气体排放识别与提取框架

← 返回