大模型部署

研究提出“基础模型部署组合”优化框架，通过混合开源与闭源API部署，在满足交通管理任务性能要求下，可将月成本降至闭源方案的3%。

NVIDIA发布其推理软件栈，通过软硬件协同设计，帮助企业在AI工厂化部署中实现最低的每Token成本，平衡性能、功耗和延迟。

NVIDIA推出NeMo AutoModel工具，旨在通过自动化配置与优化，大幅加速Transformer架构模型的微调过程，降低大模型应用门槛。