多模态大模型

研究团队提出一种自动化多智能体红队测试框架，通过迭代生成和验证困难样本，显著提升多模态大模型在内容安全任务中的鲁棒性。

研究发现，在多模态大模型强化学习对齐过程中，单纯追求高奖励分数反而可能导致任务表现下降，这种“奖励欺骗”现象在视觉证据被文本奖励评估时尤为严重。

研究评估了多模态大语言模型在零样本条件下，为图像区域进行物体及部件级概念命名的能力，提出了一种可复现的评估框架，在物体级别准确率可达62%-88%。

研究者推出首个图像引导多轮医学对话基准IMCBench，通过真实临床图像与合成病历模拟医患互动，评测多模态大模型在安全、准确与不确定性表达三方面的临床能力。

研究团队推出NormAct基准测试，发现多模态大语言模型在具身规划任务中，虽能完成67.3%的显性目标，但对隐藏社会规范的遵从率仅26.4%。

最新研究指出，当前多模态大语言模型的评测体系存在明显滞后，多数基准测试局限于孤立任务，难以评估模型跨模态信息整合能力。

研究人员提出一种名为IBA的训练免费框架，通过先识别实体再检索证据的两步策略，显著提升多模态大模型在知识型视觉问答任务中的表现。

通义千问团队提出QVQ模型，尝试将视觉理解能力融入大语言模型，以提升AI的认知与推理能力。该模型已在多个开源平台发布。

通义千问团队发布新一代多模态模型Qwen VLo，该模型在理解图像内容的基础上，首次实现了高质量图像生成能力，完成了从感知到创造的闭环。