API编程助手成本优化新发现：减少Token不等于降低账单

在API驱动的编程助手应用中，开发者常采用上下文压缩层（包括命令输出压缩器、检索排序器和负载优化代理）来减少传输数据量。传统评估方法主要关注文本减少量，但一项最新研究提出了更关键的问题：何时减少检索上下文或工具输出才能真正降低账单成本，同时不影响任务成功率或延长执行路径？

研究团队通过一项预设的、哈希冻结的对比实验给出了答案。该实验分析了2,848次Claude Code的API计费运行记录，覆盖103个任务、7个代码库和3个模型版本，是约5,500次计费执行大项目的一部分。实验比较了基线方案与两代基于钩子的压缩方案及API边界代理的性能。

研究揭示了三项重要发现：首先，提示缓存流量主导了成本构成。缓存创建和读取约占重建四组件成本的87%，实际账单的80%，另有8.7%的美元加权残差无法通过现有遥测数据归因。在Haiku 4.5模型上，这一残差与思考工作量成正比。

其次，工具输出减少并不能可靠预测账单成本降低。一个删除了38%原始工具输出Token的实验组，其配对成本反而高出6.8%（95%置信区间：+2.8%至+11.3%）。任务层面的减少量与成本变化仅呈弱相关（皮尔逊r=0.15，置信区间跨越零值）。

第三，压缩可能通过删除关键操作证据损害任务完成率。在SWE-bench衍生的Go任务单次研究中，压缩因破坏逐字编辑锚点，将补丁应用成功率从27/40降至15/40。压缩后的实验组在更高观察成本下解决了更少问题。

基于这些发现，研究团队提出应以成功率调整后的账单成本为核心建立分层证据标准，而非仅仅关注Token减少量。这一标准将帮助开发者更准确地评估API编程助手的真实经济效益。