大模型评测

研究者推出首个系统性吉尔吉斯语大模型评测基准KyrgyzLLM-Bench，包含原生数据集与翻译任务，评估26个开源与闭源模型在零样本和少样本下的表现。

研究者提出一种无监督的大模型评测集压缩方法，仅依赖提示的语义嵌入就能选出代表性测试题，在35个基准测试上验证了有效性。

研究发现，评测大模型时仅改变提示词的格式包装，就可能导致准确率大幅波动，甚至改变排行榜结论。研究人员提出格式敏感度指数与解析敏感度指数，量化这一影响。

研究人员推出首个系统性评测大模型在行为科学任务表现的基准BehaviorBench，发现通用大模型在个体预测上表现优异，而基于行为数据微调的专用模型在群体分布对齐方面更具优势。

月之暗面旗下Kimi智能助手最新版本K2.6在OpenRouter周度大模型排行榜中位列第一，官方感谢开发者支持并承诺持续优化产品。