🔓 所有内容都已开源，包括：训练代理的权重（在 🤗 HF 上的 LoRA 适配器）、代理工具、任务系列、奖励代码、GPU 编排、Tinker 强化学习训练脚本，以及每个试点的回顾（包括失败案例）。跳转到入门 ↓ TL;DR：我建立了一个管道，AI 代理：被交付一个训练任务（“教一个模型做 X”），编写一个完整的 prime-rl 训练任务，包括：环境、奖励、数据集和超参数。将其提交给真实的 Runpod GPU 进行训练。利用 Tinker ，我然后对代理本身进行了强化学习训练，当它训练出更好的模型时给予奖励。奖励在 54 个训练步骤中从 ~0.0 上升到 ~0.63 的峰值。转移到一个它从未训练过的保留任务系列中。一种在强化学习循环中的 AI，其行为是以强化学习循环训练 AI。（来源：assets/hero.svg .）📚 目录 🔁 如何运作 该回合 ⚖️ 奖励设计 🧩 任务系列 📈 结果 奖励在两个不同的等级上上升 技能转移到一个保留的任务系列 代理学会选择更好的基础模型 🖥️ 基础设施 💰 成本 🤗 模型权重 🚀 入门 🔮 未来改进 致谢 🔁 如何运作 两个强化学习循环，两个完全独立的训练堆栈。谁在被训练，训练是什么样子的堆栈 外部循环 训练代理 (Qwen3.6-35B-A3B, LoRA) 编写训练任务的回合；回合奖励是政策梯度信号 Tinker + tinkercookbook（重要性采样 GRPO） 内部循环 一个小基础模型 (Qwen3-0.6B / 1.7B) 代理编写的任务：一个验证环境 + 标准，带有 [prime_rl] 配置表 prime-rl（GRPO） 在 Runpod GPU 上 Tinker 训练代理。代理编写验证环境、标准和 prime-rl 配置。prime-rl 训练小模型。内部模型的隐藏评估分数反馈到外循环的奖励上。该回合 一个回合，从头到尾。（来源：assets/episode.svg .）一个回合 = 训练代理为给定任务生成有效、高质量训练任务的一次尝试：任务规格 — 关于要训练的内容的描述（“教一个小模型解析多跳人物查询”）、硬约束边界、评估工具接口和若干开发示例。代理工作 — 它通过 read_file / write_file / edit_file / list_files 编辑一个沙箱工作区，并且可以调用 get_baseline_scores 查看未训练基础模型在隐藏评估上的分数。submit_job — 触发验证探测。任何失败都将归还，代理获得受限重试。Dispatch — 验证的作业被排队，并由温暖池的 Runpod GPU pods 提取，运行带有 prime-rl 的 GRPO 训练，并在隐藏评估中预/后评估检查点的分数。奖励 — 将验证效率与训练模型在最佳未训练基线上的提升相结合。然后，外循环使用 Tinker 对代理本身进行强化学习训练，基于回合奖励。每个外循环批次在多达 16 个 GPU pods 中生成 40 个真实的内部训练任务。⚖️奖励设计 回合奖励是加权和（实时权重 0.35 / 0.60 / 0.05）：验证 — 首次有效提交得 1.0，额外尝试则逐渐降低；如果回合从未验证，则得 0。（另外，外循环在代理根本未生成可解析提交时为一个回合评分 −0.1。您在 CSV 中看到的 −1.0 值是 “无后期得分” 日志哨兵，非奖励。）任务质量 — 训练模型的绝对后训练分数与它在最佳未训练模型上的签名提升的结合：0.25·post + 0.75·uplift_term。 如果任务在 GPU 上失败，则此处得分为 0（回合保持其验证项）。训练速度 — 一个小的附加因素，用于更快的任务，基于任务成功与否进行选择。注意：对于细致的读者，面向代理的提示（template/INSTRUCTIONS.md）给代理一个简化的视图——任务质量中的 75/25 提升/绝对拆分，以及更少尝试的提示——而不是完整的 0.35/0.60/0.05 拆解。发布的适配器是针对该提示进行训练的；实际计算的奖励与上述相同。🧩 任务系列 六个任务系列，故意构建，使未训练模型在没有训练的情况下很难解决，并且都需要多步骤工具使用和推理：家族形状 未训练最佳_pre (n=200) calc_chain 链式算术，每一步都为下一步提供信息 0.742 multi_hop 人物世界查询需要多个依赖查找 0.654 string_pipeline 组成的字符串转换 0.545 ledger 有状态帐户记账通过工具 0.242 dispatch 条件路由决策 0.323 triage (未训练) 呼叫中事件分类：跨工具关联服务、事件和部署 0.352 五个系列训练代理；triage 从未训练，用作泛化探针。📈 结果 设置：Qwen3.6-35B-A3B 训练代理，LoRA 排名 8，lr 4e-5，GRPO 组大小 8，最多 16 个并发 GPU pods，每批 ~40 个真实训练任务。运行：pilot-7（10 步） → 7b（24 步，热启动） → 7c（20 步，热启动）