大模型部署新思路：交通管理中心如何用混合方案节省97%成本

随着大语言模型和视觉语言模型在交通管理中心的应用日益广泛，如何经济高效地部署多个模型成为实际难题。arXiv最新研究提出“基础模型部署组合”优化问题，将模型选择、部署模式与共享硬件预算整合为混合整数规划模型，目标是在满足各交通管理功能的质量、延迟和安全约束下，最小化总体拥有成本。

研究证明该问题属于NP难问题，并提出多项式时间的贪心启发式算法。在一个包含5项交通管理功能和19个候选模型部署组合的案例中，优化方案识别出混合部署策略：将四项功能分配给开源API，仅将一项质量要求较高、开源模型无法满足的功能留给闭源API。该方案月成本仅为34美元，比最便宜的纯闭源API方案降低97%。

盈亏平衡分析显示，只有当视觉查询量超过约309次/小时，或API价格翻倍时，投资本地GPU才具备经济合理性。该研究为机构在多任务场景下优化大模型部署提供了量化决策框架。