指令理解

研究发现，当任务指令以图像形式呈现时，多模态大语言模型的推理准确率平均下降17.8个百分点，揭示模型存在“语义通道鸿沟”。研究者提出“提示区域定位”方法，有效提升模型对视觉化指令的理解能力。