4B参数模型在设备端深度研究：曝光度决定引证忠实性，检索质量决定覆盖范围

一项最新研究探讨了在个人笔记本电脑上运行的4B参数研究助手的性能表现。这种设备端研究助手能够搜索语料库、阅读资料并撰写带引用的简报，但其引证的忠实性和成本效益此前尚未在可部署的小型模型中得到充分测量。

研究将4B生成器固定在24GB笔记本电脑上运行，重点分析影响其引证忠实性的关键因素。研究区分了两个常被混为一谈的指标：引证忠实性（cited claim faithfulness）关注引用的来源是否支持所提出的主张；可信覆盖范围（trustworthy coverage）则评估助手是否引用了正确的来源。

实验通过交叉测试两个变量来揭示其影响机制：一是生成器对每个源材料的曝光程度（400字符 vs 1500字符），二是所提供源材料的质量（黄金论文 vs 检索到的论文）。结果显示，曝光度直接决定了引证忠实性。当对每个源材料的曝光从400字符增加到1500字符时，引证忠实性在检索来源上从0.45提升至0.58，在黄金来源上从0.37提升至0.58。值得注意的是，两种设置下的忠实性最终趋于一致，表明忠实性主要受曝光度限制，而非源材料本身的正确性。

另一方面，检索质量决定了可信覆盖范围。无论曝光度如何变化，在检索来源上的可信覆盖范围始终保持在0.22左右，因为召回率被限制在0.40附近。这意味着曝光度无法改变哪些来源被引用，而增加曝光度大约需要额外生成235个输出标记。

基于这些发现，研究提出了实用建议：首先应通过增加对每个源材料的曝光度来低成本提升引证忠实性，然后将检索召回率视为唯一需要优化的剩余杠杆。这一发现为设备端AI研究助手的设计和优化提供了重要指导。