在过去两年中，我在 Ahead of AI 上写了很多关于推理模型的文章，包括最近一篇关于控制当代 LLMs 推理努力水平的机制的文章。推理模型仍然与时俱进。实际上，今天几乎所有的现有一代 LLMs 都是推理模型或提供推理模式。对于那些对推理模型如何工作感兴趣的人，包括推理缩放、强化学习和蒸馏，我最近写了我的《从零开始构建推理模型》，它在 PyTorch 中从头实现了这些方法，根据我的经验，这仍然是理解和学习事物如何真正工作最好的方法。现在，在过去的几个月里，我还坐下来录制了一些我想与大家分享的讲座。因此，下面你会找到八个从零开始推理模型编码视频（11 小时的内容）。我们从一个预训练的 LLM 开始，实现方法来用 Python 和 PyTorch 评估和改进它。所以，如果你喜欢我去年推出的《从零开始编码 LLMs》课程，这基本上是续集（但你也可以在没有先修课程的情况下观看它）。我目前正在休息一段时间，下个月会带着更多令人兴奋的 LLM 研究总结回来。同时，我希望你享受编码的过程！作为一个小插曲，由于我经常被问到推理模型与今天的 AI 代理之间的关系，在进入视频之前，这里有一个简短的部分。推理模型本质上是从常规 LLM 的升级，即通过强化学习和可验证奖励（可选推理缩放技术）增加更多后期训练，使其更能够解决更具挑战性的问题。传统上，推理模型是为数学和代码开发的，但其能力也可以推广到其他问题领域。因此，推理模型在代理框架中作为引擎运作，其中代理框架是一个围绕 LLM/推理模型的软件或工具框架，以解决更具挑战性的问题（更大的编码任务、旅行预订和所有其他类型的个人助理任务）。框架的任务是复杂的上下文管理并使 LLM 访问工具。图 1：常规 LLMs、推理模型和代理框架的引擎类比。图自我的《编码代理的组成部分》文章。在上面的图中，模型是引擎，而代理框架则增加了让我们将其用于各种事情的机械设施（作为简单聊天机器人界面的升级）。代理可以使用常规 LLM 或推理模型，但推理模型更典型，因为它们更强大。（如上所述，大多数当前的一代 LLMs 是具有可变推理努力设置的推理模型。）因此，推理模型作为“引擎”仍然是理解现代 LLM 代理的重要组成部分。与上述主题相关的资源有：《从零开始构建大型语言模型》书籍和视频、《从零开始构建推理模型》书籍（及下面的视频）、Substack 上的《编码代理的组成部分》文章。下面的视频专注于开发能够驱动此类系统的推理模型。推理从零开始的视频专注于一个小的预训练 Qwen3 模型，我们自己在 Python 和 PyTorch 中实现推理方法。从一个预训练模型开始，让我们能够专注于有趣的部分：评估、推理时间缩放、强化学习和蒸馏。关于先修知识，我推荐熟悉 Python 和 PyTorch。我将推理材料设计为独立内容，因此之前的《从零开始构建大型语言模型》内容是推荐的，但不是严格要求的。在计算资源方面，您可以在 CPU 上处理早期文本生成和评估示例。对于后续实验，尤其是训练，GPU 可以使工作变得更加实用。第一个视频涵盖了设置和更多的建议；该仓库还包括硬件和环境建议。图 2：所涵盖主题的概述。这些视频伴随我的书《从零开始构建推理模型》。如果你想更详细地阅读解释并按照自己的节奏进行练习，我推荐这本书作为伴随材料。为了获得最深入的学习体验，我建议阅读一章，配合相应的视频一起完成代码，然后尝试练习。该书在 Manning 和亚马逊上均有销售，印刷版是彩色的！图 3：来自《从零开始构建推理模型》印刷书的一段随机摘录。感谢所有购买书籍或推荐给朋友的人。您的支持帮助我继续创作这些材料。