展示 HN:我们构建了一个开放的 OpenRouter,将使用转化为更好的模型
Experiential 是一个开放源代码的网关和路由器,用于代理工作流:通过一个兼容 OpenAI 的 API 使用托管的、BYOK 和本地模型。控制哪些用户和代理可以使用哪些模型,适用于哪些用例,以及他们可以花费多少。将生产流量转变为一个自定义路由器或针对质量、速度和成本优化的模型。🌐 平台 | 📚 文档 | Discord 入门 开始一个本地兼容 OpenAI 的网关。在首次运行时,设置向导使用共享提供商、模型和推理努力选择器,持久化每个选择的提供商连接,然后显示公共别名、身份和 $50.00 命令预算的默认值,然后打印一次性密钥:pip install experiential exp 选择一个公共别名,例如 opus-5,捕获发布的密钥并发送请求:export EXP_GATEWAY_KEY=... curl http://127.0.0.1:8000/v1/chat/completions \ -H " Authorization: Bearer $EXP_GATEWAY_KEY " \ -H ' Content-Type: application/json ' \ -d ' {"model":"opus-5","messages":[{"role":"user","content":"Help me"}]} ' 设置/开始使用托管网关 更喜欢使用管理网关而不是本地运行一个?位于 platform.experientiallabs.ai 的托管平台以 https://api.experientiallabs.ai/v1 提供相同的兼容 OpenAI(和 Anthropic Messages)API。请参阅 SETUP.md,以获取您可以交给代码代理(Claude Code、Cursor、Codex 等)的复制粘贴提示;代理将为您运行设置。它收集四个提示:将您的 LLM 跟踪作为遥测上传:从您的电子邮件即时创建一个帐户,然后将您现有的 LLM 跟踪拉取或上传到平台作为遥测。连接您的推理提供商密钥(BYOK):创建一个帐户,然后连接您自己的 OpenAI、Anthropic、Gemini、Azure、Bedrock、Fireworks 或 OpenRouter 密钥以获得免费通行证。开始在网关上调用模型:使用 xpl_ 密钥与 OpenAI 和 Anthropic SDKs 进行第一次/v1 调用,并选择性地重新指向您现有的编码代理。完全入门:从您的电子邮件即时创建一个帐户,连接您的密钥,导入您的支出,然后重新指向每个编码代理(Claude Code、Cursor、Codex、Aider 等)或 Conductor 到网关。使用 API 使用 exp(或 exp run)启动本地网关;经过编译的本地数据平面在回环上服务每个路由。从 Python 中,将拟合的项目路由器加载为由其自身私有网关支持的官方 OpenAI 客户端:import exp with exp.load_router( "my-project" ) as client: response = client.chat.completions.create(model= "my-project", messages = [{"role": "user", "content": "hello"}], ) 从流量中优化 首先,从您当前的代理收集 OpenTelemetry 跟踪。如果您只想试用,请抓取公共终端任务 OTLP 数据集:curl -L -o traces.otel.jsonl \ https://huggingface.co/datasets/experiential-labs/wmo-terminal-tasks-traces/resolve/540883e451dc13d34fb50fdd36b143cb0f1fb0db/traces.otel.jsonl 然后构建一个项目。构建命令会引导您通过提供商、模型和预算,并询问您的跟踪文件:# 从您的代理跟踪中构建仿真并优化路由器 exp build support-agent 收集完从您路由器中的跟踪后,使用 Tinker 对您拥有的开源模型进行微调。exp optimize model support-agent 遥测 匿名聚合 PostHog 产品遥测默认启用。它绝不会包含提示、跟踪、操作、观察、路径、模型名称、凭据或原始客户内容。exp config telemetry status exp config telemetry disable exp config telemetry enable 偏好设置保存在 .exp/settings.toml 本地中。开发 uv sync --extra dev uv run ruff format --check . uv run ruff check . uv run ty check uv run pytest -q 存储库和文档约定见 AGENTS.md。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡