返回

文章详情

我测量了我的Claude.md、技能和钩子的价值

Hacker News2026年8月27日 18:12

针对您的代理设置的CI。· 网站 · 演示报告 一个工具,它告诉您的团队何时其编码代理设置——CLAUDE.md、技能、钩子——停止执行它应该执行的功能,原因是什么,以及发生了什么变化:别名背后的模型变化、Claude Code发布或队友的编辑。 它是什么 您的CLAUDE.md、技能和钩子是您现在编写代码的方式。它们是其他人在您下面更改的配置:在撰写本文的30天内,Claude Code发布了25个版本,sonnet背后的模型在服务器端更改而没有变更日志,并且同事可以在没有任何测试的PR中编辑技能。今天,您发现开发人员注意到“在提交之前它停止运行测试”的时候——通常是几周后。 config-drift-checker将您的设置必须做的事情转化为测试用例,实测代理并保持得分:在Anthropic自己的claude插件评估格式中的案例——提示、评分器(正则表达式、工具使用、文件、LLM评分标准)、一个可选的脚手架,用于设置一个临时仓库或复制您的实际源。 /config-drift-checker:setup从您的实际设置中编写第一个案例,因此您不必从空白页面开始。在每个Claude Code发布时运行(观察者轮询npm),在每个触及设置的PR上运行,以及按需运行——在一个一次性工作区内,加载了您的插件,每个案例多次运行。得分和原因:每个评分者的裁决和仲裁者的解释、工具调用、完整响应——不仅仅是一个数字。与您的基线进行差异→红色或绿色的勾选、PR评论、Slack警报、HTML报告。有两件事情建立在核心之上:消融——同样的案例在有和没有您的插件的情况下运行。差异告诉您每个技能或钩子的实际价值:在我们的演示中, guard钩子是唯一可靠停止破坏性命令的东西,而一个约定技能结果显示对代码库和CLAUDE.md并没有添加任何内容。生成的案例——设置技能读取您的配置并为其编写实际代码案例、负触发案例和钩子案例,然后修复自己的评分器,直到烟雾运行通过。 它不是:CLAUDE.md的linter(它运行实际代理),模型的一般质量测试(它在您的任务上测试您的配置),或托管服务(它在您的机器和您的CI上运行,使用您的密钥;没有任何东西被发送到其他地方)。与任何代码库兼容——它测试代理的行为,而不是您的应用程序。根据claude插件评估启用的官方运行器自动运行,否则使用捆绑的运行器。安装claude插件市场添加jameskomo/config-drift-checker claude插件安装config-drift-checker@jameskomo 然后,在您想要保护的设置的repo中:claude > /config-drift-checker:setup 它找到您的CLAUDE.md、技能和钩子,从它们编写初始评估案例、烟雾运行它们,并写入GitHub工作流。您添加一个密钥(ANTHROPIC_API_KEY)并推送。从那时起,套件将在每个Claude Code发布和每个触发您设置的PR上运行:红色勾选、PR评论、Slack警报,以及每个评分者的理由的HTML报告。已经有套件,或者只想要舞台?一步:- 使用:jameskomo/config-drift-checker/action@v0与:{plugin-dir: .} 在一个小型Spring Boot服务中查看端到端:config-drift-checker-demo。这里有什么 config-drift-checker/插件:技能(设置·运行·编写案例)以及它们使用的工具 tools/eval-shim.mjs在官方跑者被限制时通过`claude -p`运行套件 tools/eval-diff.mjs基线与当前→表格,回归时退出1 tools/eval-report.mjs聚合结果.json→独立的HTML报告 tools/release-watch.mjs“Claude Code发布了新版本吗?” tools/safety-net.mjs注入到每个评估运行行动的PreToolUse钩子/复合GitHub Action:安装→运行→差异→存储→报告→警报 examples/komo-stack/一个具有完整评估套件和基线结果的示例插件 docs/用户指南·架构·评估格式和运行者·运行手册·安全 文档 从用户指南开始。完整索引在docs/中。 许可 FSL-1.1-Apache-2.0:可以自由使用、修改和自托管;不可作为竞争商业服务提供;每次发布在出版两年后成为Apache-2.0。

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡