作者：唐新宇，曹刚强，刘妤柔，展宇亮，兰小虫，李逸凡，燕宇晨，彭寒，董子灿，张臻朵，王天树，孔新宇，温祖杰，赵玮欣，张志强，周军 摘要：无须人工标注数据的可验证奖励强化学习，通常称为零强化学习，已成为引发连锁思维推理的强大范式。然而，由于计算限制，现有研究在很大程度上局限于小型模型，尚未探索大规模训练动态和涌现能力。为了有意义地探讨这一前沿，我们的目标是从模型中引发高质量的推理行为。然而，我们发现，简单的扩展往往遭遇可读性差、令牌冗余和缺乏自适应推理深度等问题。为了解决这些挑战，我们提出了一种稳定高效的训练流程，结合了剪裁的重要性采样、训练-推理比例校正和混合精度控制等算法和系统优化。我们的实验提供了三个关键发现来验证扩展的“苦涩教训”： (1) 扩展到1万亿参数显著提升了样本效率和性能上限； (2) 训练过程依次经过初始发现阶段和后续的细化阶段； (3) 模型自发地发展出先进的认知行为，包括人性化、结构化格式、自我验证、并行推理和上下文焦虑，从而使得人工设计的启发式方法显得多余。在七个数学基准测试上，Ring-2.5-1T-Zero表现出竞争力的性能。此外，为了评估连锁推理质量超越最终答案的正确性，我们提出了一个跨三个维度的结构化评估框架：可理解性、可重复性和效率，在这些方面我们的模型在生成结构化和简洁的推理轨迹上表现出明显的优势。通过分享我们观察到的涌现现象，我们希望为学界提供更深入的关于扩展行为的洞见，特别是在1万亿规模下。 主题：计算与语言 (cs.CL) 引用为：arXiv:2607.12395 [cs.CL] （对于此版本请使用 arXiv:2607.12395v1 [cs.CL]） https://doi.org/10.48550/arXiv.2607.12395 arXiv发出的DOI通过DataCite（待注册） 提交历史 来自：展宇亮 [查看邮箱] [v1] 2026年7月14日星期二 06:14:55 UTC (4,310 KB)