OpenLanguageModel：让小型语言模型训练代码像教科书一样清晰可读

近日，研究社区推出开源PyTorch库OpenLanguageModel（OLM），专为构建和预训练小型语言模型设计，其核心创新在于让模型代码的阅读体验如同查看架构图一般直观。在OLM框架中，模型组件采用标准模块化设计，Block、Residual、Repeat和Parallel等结构直接描述模块间的连接方式，使得模型能够在不修改代码的情况下，从教学演示的笔记本环境直接迁移到完整的预训练流程或研究性消融实验中。

OLM不仅提供清晰的模型层表达，还集成了分词器、本地与流式数据集、优化器、混合精度训练、回调函数、检查点保存，以及适配CPU、单GPU和单节点多GPU的硬件感知执行方案。研究团队通过完整案例演示了从架构图到代码实现GPT-2模型、启动FineWeb-Edu训练脚本、替换注意力组件，以及利用AutoTrainer自动配置计算资源的全过程。

该工具包涵盖9个常见模型家族的27种预设配置，文档内容从语言模型基础原理延伸到架构研究前沿。验证结果显示，其实现与独立参考代码高度一致，在348M参数任务上达到90.6%的四GPU弱扩展效率，架构修改简洁高效，早期用户体验反馈积极。OLM采用MIT开源协议，已通过PyPI、GitHub及文档网站开放使用。