返回

文章详情

谷歌研究的 Harness2 – 递归代理的利用

Hacker News2026年10月19日 11:28

递归代理在开放世界中的利用 一个利用是围绕模型的系统,使其能够充当一个代理:提示、工具、记忆、技能、协调等。利用是优化该系统的过程。Harness² 是一个即插即用的框架,用于在开放世界中进行递归代理的利用,其中代理会遇到在利用设计过程中未见过的任务。它连接了两个递归层次,同时保持模型权重固定:任务级递归通过对比的建议–探查–构成步骤优化当前任务的执行利用:建议编辑、探查其对同一任务的影响,并从执行之间的行为对比中构建一个精炼的利用,而无需基础真实反馈。利用级递归使用每个任务采用的利用和基于证据的经验更新一个持久的改进利用,以指导未来的优化。在三个专业基准和四个模型–利用配置中,单个 Harness² 步骤使 GLM-5 和 Gemini 3.5 Flash 相比其基础利用提高了高达 11.5 分的 WorkBuddy-Bench,4.5 分的 JobBench,以及 11.8 % 的 LAB 部分通过率。增加任务级递归预算可以带来进一步的收益。该版本支持并行和顺序递归,OpenCode 和 Codex 执行器,以及 JobBench、LAB 和 WorkBuddy-Bench。 视频概述 harness2-video.mp4 内容 视频概述 利用组件 安装 运行基准 实验 网页访问 结果与简历 引用 贡献 许可证 免责声明 利用组件 Harness² 提供围绕模型的八个可编辑组件:系统提示、保护措施、记忆、工具指导、子代理、技能、脚本和插件。它们控制上下文构建、工具接口、委托及工具循环中的行为。 安装 使用 Linux、Python 3.12 和 uv。从存储库根目录: the following commands: uv venv --python 3.12 .venv source .venv/bin/activate uv pip install -e '.[render]' harness2-demo --output runs/demo --k 2 本地演示以确定性编辑器和真实的 Python 执行运行两个递归模式。它不需要模型凭证。对于基于模型的基准测试,安装 Node.js 20+、Google Cloud CLI 和基准测试依赖项。LAB 需要 Pandoc 和 Poppler;WorkBuddy-Bench 需要 Docker。然后配置您的模型: cp .env.example .env # 用您的 Vertex AI 项目和模型 ID 编辑 .env。 gcloud auth application-default login 请参阅设置指南以获取模型设置、身份验证替代方案和 Codex 执行器。 运行基准 以下示例安装 LAB 并运行一个任务,然后评估并报告其结果。基于模型的运行会产生 API 成本;从小任务选择开始。 harness2-setup lab harness2-check --bench lab harness2 --bench lab --k 1 --mode parallel \ --only-domains antitrust-competition --max-tasks 1 harness2-judge --bench lab --k 1 --mode parallel harness2-report --bench lab --k 1 --mode parallel 顺序递归使用 --mode sequential 运行相同的命令。--k 是任务级递归预算;请参阅实验。判断和报告必须使用与优化运行相同的基准、执行器、子集、--k、--mode 和种子。添加 --dry-run 到 harness2 以预览任务选择,而无需模型调用。 基准测试任务 安装指南 JobBench 职业工作 harness2-setup jb JobBench LAB 法律工作 harness2-setup lab LAB WorkBuddy-Bench 办公室、网页和代码 harness2-setup wb WorkBuddy 每个命令选择一个基准。WorkBuddy 还在每个命令后接受 --subset office、--subset web 或 --subset code。基准指南涵盖每个基准的数据、领域和评分。 实验 以两种方式扩展任务级递归:并行递归探索多个候选利用,并根据它们的执行证据构建优化;顺序递归通过连续的建议–探查–构成步骤携带优化后的利用和累积证据。并行递归探索广泛;顺序递归深入优化。 选项 行为 --k 1 一个建议–探查–构成步骤 --k K --mode parallel 探查 K 个通用和 K 个领域特定候选,然后产生 K 个组合 --k K --mode sequential 通过 K 个连续步骤优化利用 --substrate cx 使用 Codex 而不是默认的 OpenCode 执行器 在每个任务之后,利用级递归保留采用的利用和基于证据的经验教训,以指导未来的优化。请参阅实验指南以获取任务选择、并发性、可重复性和基线比较。 网页访问 执行器网络访问不受限制,Codex 的沙箱已禁用。公共基准评分可能在网上可访问。在评估之前,请配置网络限制以防止访问基准答案和评分标准。 结果与简历 结果保存在 runs/ 下,按基准和相关子集组织。它们包括任务摘要、交付物、采用的利用、反思等信息。

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡