位置编码

研究发现即使是最先进的大语言模型也难以精确复制输入文本，原因在于Transformer的位置编码机制存在缺陷。研究者提出2D-RoPE方法，将文本视为二维网格，显著提升了模型的复制能力。

DeepSeek官方提醒用户，早期版本的DeepSeek-V3.2-Exp推理演示存在RoPE实现不匹配问题，可能影响模型性能，目前已修复。