Hawk框架突破NPU内核生成瓶颈,硬件感知知识驱动性能飞跃
近日,arXiv平台发布了一项针对神经网络处理器(NPU)内核生成的重要研究。当前,为NPU开发高性能内核是行业关键瓶颈,开发者需手动处理隐式硬件约束和严格内存层次,而大型语言模型因缺乏硬件特定先验知识,在NPU上表现不佳。
为解决这一问题,研究团队提出Hawk框架,这是一个无需训练的硬件感知知识驱动系统。该框架包含三个核心模块:运行时知识合成模块采用三重可执行知识表示,将错误上下文与可执行语义紧密结合;瓶颈感知知识检索模块实现二维检索范式,将查询投影到正交的句法和硬件对齐语义空间;效果驱动知识蒸馏模块利用LLM驱动的语义仲裁,基于实际执行反馈持续提炼知识。
在真实NPU工作负载上的广泛评估显示,Hawk将生成准确率从49.4%显著提升至80.0%,同时相比最先进的基线方法,执行速度最高提升2.2倍。这一突破性进展为自动化NPU内核开发提供了新思路,有望大幅降低开发门槛并提升硬件利用效率。