Hugging Face 推出 Cosmos 3 Edge:边缘设备上的高效AI推理新方案
Hugging Face 近日宣布推出 Cosmos 3 Edge,这是一个面向边缘计算环境的新一代AI推理框架。该框架针对在资源受限的终端设备(如手机、嵌入式设备或物联网节点)上部署和运行大语言模型(LLM)等AI模型进行了深度优化。Cosmos 3 Edge 重点提升了推理效率、降低了内存与计算开销,并支持模型压缩、量化等关键技术,使得原本需要云端强大算力的AI能力能够更便捷、更低延迟地运行在边缘侧。这一发布进一步扩展了 Hugging Face 的生态系统,为开发者提供了从云端训练到边缘部署的更完整工具链,有望推动AI在实时交互、隐私保护、离线应用等场景的落地。