DysLexLens:低资源LLM框架,分析阅读障碍者使用AI的真实体验
随着人工智能工具在辅助阅读、写作和组织学习任务中的应用日益广泛,阅读障碍学习者如何实际使用并体验这些工具,却缺乏系统性的研究。为此,一项发表于arXiv的新研究提出了名为DysLexLens的低资源大语言模型分析框架,旨在通过挖掘在线论坛讨论,深入理解这一群体的真实需求与使用反馈。
DysLexLens采用端到端且证据可追溯的设计架构,能够将杂乱的社交媒体帖子转化为基于词典的语料库,并结合知识图谱进行问题推理,生成可验证的查询响应。该框架具备四大特点:首先,通过词典驱动的过滤方法构建专注于阅读障碍与AI主题的Reddit语料库,提升低资源论坛数据相关性;其次,融合LLM语义分析与知识图谱推理,以挖掘有意义的模式;第三,引入RAGAS与查询鲁棒性等量化指标评估LLM生成回答的质量;第四,提供结构化定性验证指南,重点关注幻觉问题与证据对齐。
研究团队利用阅读障碍相关的Reddit论坛数据及30个测试问题验证了框架的有效性,结果表明该框架有望推广至其他低资源论坛数据分析场景。目前,DysLexLens框架、示例数据、问题集及评估结果已在GitHub开源,以支持研究可复现性。