AI360
资讯
首页
专栏
快讯
应用中心
API 平台
#
成本控制
2 篇相关内容
相关话题
推理优化
早退机制
计算效率
模型部署
大语言模型
文本压缩
模型评估
推理模型何时需要“学会停止”?成本感知下的早退机制研究
研究团队提出LearnStop早退机制,在18个任务场景测试中发现:学习型停止规则在自由格式数学任务中表现优异,但在选择题等场景下,传统置信度阈值仍具竞争力。
a
arXiv
·
20 天前
推理优化
早退机制
计算效率
模型部署
a
压缩提示与输出:大语言模型的成本与性能博弈
研究发现,压缩模型输出可有效降低推理成本,而压缩用户输入反而会增加总成本并损害准确性。
a
arXiv
·
27 天前
大语言模型
推理优化
成本控制
文本压缩
a