展示 HN: CATT 0.2.1: 在 CI 中对 Muse/Instinct 类似工具进行代理/服务测试
消费者代理测试工具 (CATT) 测试助手如何使用您的服务。对 MCP 服务器、MCP 应用、网站或 HTTP API 运行脚本或模型驱动的代理。检查服务的操作,检查证据,并比较不同构建之间的结果。Muse 和 Instinct 被支持作为替代仿真目标。Muse 是默认选项。这两者使用共享连接器测试合同,包括路由、内存、支付、浏览器/HTTP 任务和调度。有关 Instinct 的研究,请查看其来源和限制。驱动试验的模型与被仿真的助手是分开的。贡献 | 安全 | 更新日志 | MIT 许可证 测试主机。CATT 是一种替代工具:它近似于助手的主机,而不是其私有实现。通过的测试并不保证与 Muse 或任何托管助手的兼容性。每个特定于 Muse 的行为都有记录依据:文档化的、非正式的、假设的或未知的。该项目与 Meta、Instinct、OpenAI 或 Anthropic 没有关联或认可。您今天可以测试的内容: Lane 命令 检查的内容 状态和范围 MCP 连接器 connector-run SCENARIO 使用服务器的工具,应用账户和批准规则,保护私有值,并检查服务的记录结果和代理的回答。Muse 和 Instinct 的替代工具:--emulation-target muse|instinct。请参见连接器 lane。连接器扩展 connector-run SCENARIO,带扩展:路由、内存、自定义 API 客户端、浏览器操作、钱包卡、后台作业、不受信内容、通道限制和模拟用户。支持连接器 lane。user_simulator 是探索性工具,无法在脚本测试或决策合同中运行。请参见扩展。场景脚手架 scaffold URL --output FILE,scaffold --from-run RUN --output FILE 阅读工具目录或将代理运行转换为脚本调用。没有调用服务工具的调用。在运行之前请替换每个 TODO(scaffold)。支持。一个可串流的 HTTP 连接器;没有 OpenAPI 输入。Muse 连接器准备检查 URL --suite muse-guidelines 审查目录和可选清单是否与固定连接器指南一致,而不调用工具。文档约束,而不是入场。请参见准备检查。共享替代品准备检查 URL --suite surrogate --emulation-target instinct 检查目录、白名单、模式语法和所选投影,而不调用工具。CATT 对任一目标的合同;请参见共享合同。个人代理协议检查 ORIGIN --suite poppy 阅读 poppy.json 。带有清单,探测会话、登录和在公司主机上的一次声明操作。草案 0.1;没有实际中的 Muse 证据。Muse 小工具注册检查 FILE --suite gadget 检查连接注册消息和命令规格是否符合固定的 SDK 限制。不会打开连接。文档限制,而不是入场。SDK 的条款说明它不是开发者平台。MCP 协议合同检查 TARGET 检查模式、版本协商、会话和操作合同;运行固定的合规套件。支持。通用 MCP 证据;请参见准备检查。嵌入式 MCP 应用 surface-run SCENARIO 在 Chromium 中渲染应用并检查表单、工具调用、资源和服务响应。一个代理驱动程序从场景的脚本步骤中选择。支持。通用 MCP 应用主机,而非 Muse。请参见主机范围。网站浏览 POLICY,运行 --surface browser 在请求规则下对可访问性快照采取行动。接管会暂停运行(退出 3);CLI 没有返回。原生 Chromium,无操作系统隔离。浏览器场景仅使用打包的预订门户。HTTP APIs 运行 --surface api-tools,检查,检查每个提议调用的绑定批准并检查后端结果。支持并带有映射。您的 API 还需要一个回环部署和私有控制适配器。请参见 API 场景和 API 试验。证据报告,导出,重放,比较 检查报告、编辑导出、验证播放并比较运行。支持。播放和比较要求密封的运行。开发扩展 --development-extensions COMMAND CLI 二进制文件,隔离的浏览器,云工作者,本地 Glimmer,生成的 OpenAPI 和 Prism 模拟。支持版本之外。请参见开发扩展。连接器 lane 记录每个特定于 Muse 的行为的依据。工具类和批准提示遵循文档指南。muse-cli 投影和模板客户端遵循非正式镜像;原生投影是假设的通用基线。中立 cli 投影支持两个目标作为 CATT 处理。Instinct 运行有一个单独的源记录,并将共享主机算法标记为假设。原生/CLI MCP 是 CATT 的测试适配器;没有找到公共的 Instinct MCP 集成合同。在没有模型或账户的情况下在 Instinct 下运行本地预订示例:uv run consumer-agent-testing-tool connector-run examples/connector/instinct-booking.yaml \ --driver scripted --script examples/connector/fixture-booking.calls.json \ --start " python -m consumer_agent_testing_tool.connector_f
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡