#

HALO

1 篇相关内容
相关话题大语言模型推理优化计算效率自适应计算

HALO：让大语言模型学会“精打细算”的推理新方法

研究者提出HALO方法，通过自适应选择部分关键token进行二次推理，让冻结的预训练大模型以更少的计算成本获得更强的推理能力。
·8 天前大语言模型推理优化计算效率自适应计算
a