模型可解释性

最新研究揭示了扩散语言模型通过双向注意力机制实现上下文学习，其内部电路能同时利用前后文信息进行文本生成，与自回归模型形成鲜明对比。

研究人员在Llama-3.1-70B-Instruct中发现了一个通用的“倒计时子电路”，该电路通过比较当前位置与目标长度来估计剩余时间，使模型能在多种任务中准确控制输出长度。

研究人员提出MultAttnAttrib方法，无需额外训练即可为多模态长文档问答系统生成精确证据溯源，同时发布首个专门评估多模态溯源的基准数据集。

研究发现大语言模型推理中存在“演绎刻板印象”现象，模型会将群体统计规律机械套用于个体案例，并提出Fair-GCG框架通过推理时注入特定短语有效缓解此类偏见。

最新研究揭示，手语识别模型展现出对抽象音系特征的敏感性，其中姿态模型擅长区分手形，像素模型更易捕捉位置变化，但现有训练范式仍受限于架构本身的归纳偏好。

研究人员提出一种迭代数据生成方法，通过识别级联线性特征来检测和控制语言模型的奉承倾向。该方法比传统二元对比样本能更清晰地分离行为特征，并提供可解释性保证。

研究发现，大语言模型在遭遇越狱攻击时，其内部中间层的熵值动态变化会呈现特定模式，这为检测恶意意图提供了新线索。