Parcae：稳定循环模型，以更少参数实现更强性能

Together AI近日发布名为Parcae的稳定循环语言模型，该模型在参数规模减半的情况下仍能实现媲美更大模型的性能表现。具体而言，仅拥有770M参数的Parcae模型，在多项基准测试中达到了1.3B参数Transformer模型的性能水平。研究团队首次提出了针对循环架构的扩展定律，揭示通过增加循环次数而非单纯扩大数据规模，是计算效率更高的性能提升路径。这一发现为模型优化提供了新思路，有望推动高效AI模型的发展。Parcae的推出展示了在有限计算资源下通过架构创新实现性能突破的潜力，为行业提供了参数效率更高的解决方案。