我们可以通过用精心策划的请求对前沿模型进行“探测”，学习关于这些模型训练的隐藏事实。通过对小众事实进行评分，我们可以近似估计GPT-5和Opus等模型拥有的参数数量，使用“不可压缩知识探测”。通过测量模型如何处理标记，我们可以揭示用于训练模型（或至少是标记器）的数据集混合的事实，使用“数据混合推断”。通过对与日期或自我识别相关的问题进行评分，您还可以估计训练时间线（这篇文章）。这里的一切都是估计。有可能这篇文章中的一些推测完全不正确，因为没有大量的公开可用的真实数据来验证。模型训练的三个主要阶段。简单概述一下（更多内容请参见Alex Wa的博客），大规模语言模型的训练已经收敛到三个阶段：获取大量通用数据（也就是抓取互联网），并在这些数据上“预训练”一个大型自动补全模型。使用特定领域的“教科书质量”数据来改善基础模型，并扩展某些基础能力，例如长文本理解。将基础模型转变为“助手”角色，专注于其个性、推理能力和工具调用。虽然在后期训练中花费的计算量逐渐增加，以提升模型的推理和问题解决能力，但最昂贵且数据密集的步骤之一是生成该预训练检查点（通过“检查点”可以想到一个巨大的claude-super-secret-2026-11-01-base.cpkt文件）。虽然所有实验室的运作方式略有不同，但您可能会看到（约第44页）：预训练团队启动并监控一个多月的运行，以获得基础检查点。这些预训练模型通常（但不总是）意味着发布模型的主要版本（GPT-4 → GPT-5）。在此期间，“能力”和“后期训练”团队将进行实验，以寻找如何改善最新基础模型的方法。后期训练和能力的进展通常表现为发布模型的小版本。这些团队通常还会将单个后期训练模型提炼成更小的变体，形成模型家族（Fable/Opus/Sonnet/Haiku，Sol/Terra/Luna）。实验室可能会在半成品的预训练检查点发布后期训练模型，只要版本N+1检查点的x%比100%成品版本N检查点更好。发布给公众的模型是最新检查点的结晶，具有最佳的能力集和应用于它的后期训练技术。考虑到这一点，我很好奇仅通过在官方API上探测模型，您能“看到”这个过程多少。为了估计预训练检查点的日期，我构建了一个来自维基百科的每日事实数据集（例如，美国的2025年），并给每个模型提供了一份关于某天发生的事情的8选1小测验。然后，通过分析错误率时间线，您可以大致看到它何时失去了来自训练数据集的信号。查看完整数据集。对于GPT-5.4，您可以看到基于事实的知识截止估计与OpenAI发布的知识截止一致。作为模型能更好地猜测即将发生的事件以及在训练中最近的数据事件未被充分采样的结果，其表现比较平滑。这也是我使用曲线的中点而不是起始或结束的原因。然后，您可以为所有模型绘制此类图。查看完整数据集。估计的知识截止和发布日期。在完整查看器中并排比较模型曲线，使得更容易看到大致的截止时刻发生在哪里，以及其陡峭程度。在仔细观察这些图表后，我的推测是：Anthropic模型Opus 4.7及以后的模型都是来自同一次训练，截止于2025年12月底。这是根据它们都有非常相似的有效知识截止（绿色）推导而来的。我在这里作出的一个核心假设是，预训练基础模型的完成日期与所用数据集的时间跨度高度相关，如果这是错误的，则这些结果可能会有一些偏差（例如，实际上是2026年1月）。有趣的是，Opus 4.7+模型都有一个可靠且一致的知识截止发布，这可能是由于使用了新的后期训练技术吗？OpenAI的GPT-5.6系列来自它们自己的检查点，与GPT-5.5分开，大约在2026年2月底完成。这是根据它们与先前模型有明显的有效知识截止推导而来的。您会发现Luna看起来能够预测未来——这更多是因为它在“低”推理努力下的高错误率的结果。Opus 5有点不寻常。发布的可靠和总体知识截止是2026年5月，但它似乎对比前一个2026年1月截止模型一无所知。我进行了几次消融实验，以测试这是否是由于我使用的探测问题类型的结果，但实际上不是—