多角度推理框架MAR-12:精准识别并解释有害幽默表情包
互联网表情包融合了视觉线索、文本内容和文化背景,当幽默、讽刺与有害意图并存时,其理解变得尤为复杂。现有多模态分类器往往忽视这些相互依赖关系,或仅提供有限的解释性。为此,研究团队开发了MAR-12框架,利用视觉语言模型在幽默与仇恨元素可能共存的场景中进行表情包检测与理解。
该框架首先从幽默与仇恨理论中提取12个结构化视角解读每个表情包,随后采用角色感知软门控注意力机制学习各视角的贡献权重,最后通过基于原型的分类器进行预测。解释生成环节结合视角特定推理和学习到的注意力权重,确保透明且基于上下文的论证。
在PrideMM和Memotion数据集上的测试显示,MAR-12在幽默检测准确率达80.3%,仇恨检测准确率达75.9%,优于当前最先进方法。人工与GPT-4评估均证实,该框架能为幽默与有害线索并存的表情包生成连贯且有说服力的解释,为内容审核和社交媒体分析提供了可解释的AI工具。