模型路由

研究人员提出多头部潜在控制方法，通过读取冻结大模型的隐藏状态轨迹来生成部署时的控制信号，显著提升多模型系统的质量-成本平衡，在路由执行中可将大模型使用率降低最高90.7%。

开发者社区推出开源工具 role-model，旨在实现本地与云端 AI 模型之间的智能路由与负载均衡，为混合部署场景提供灵活解决方案。