TensorZero是一个开源LLMOps平台，统一了以下功能： 网关：通过统一API访问每个LLM提供商，旨在提高性能（<1ms p99延迟） 可观察性：将推理和反馈存储在您的数据库中，可通过编程方式或在UI中访问 评估：使用启发式工具、LLM评估等对单个推理或端到端工作流进行基准测试 优化：收集指标和人工反馈，以优化提示、模型和推理策略 实验：通过内置的A/B测试、路由、回退、重试等，自信地进行发布。 您可以根据需要选择所需内容，逐步采用，并与其他工具互补。它与OpenAI SDK、OpenTelemetry以及所有主要的LLM提供商兼容。 TensorZero被从前沿人工智能初创公司到财富10强的企业使用，今天支持全球约1%的LLM API支出。 演示：tensorzero-demo.mp4 功能 🆕 TensorZero自动驾驶仪 TensorZero自动驾驶仪是由TensorZero驱动的自动化AI工程师，分析LLM可观察性数据，设置评估，优化提示和模型，并运行A/B测试。它显著提高了LLM代理在各种任务上的性能：了解更多 → 🌐 LLM网关 仅需与TensorZero集成一次，即可访问每个主要LLM提供商。通过单一统一API调用任何LLM（API或自托管） 使用工具进行推理，结构化输出（JSON）、批处理、嵌入、多模态（图像、文件）、缓存等。 创建提示模板和架构，以强制应用程序和LLM之间的结构化接口 满足极端的吞吐量和延迟需求，得益于🦀 Rust：在10k+ QPS下，<1ms p99延迟开销 通过路由、重试、回退、负载均衡、细粒度超时等确保高可用性 跟踪使用情况和费用，并通过细粒度作用域（例如标签）实施自定义速率限制 为TensorZero设置认证，以允许客户端无须共享提供商API密钥即可访问模型 支持的模型提供商 Anthropic、AWS Bedrock、AWS SageMaker、Azure、DeepSeek、Fireworks、GCP Vertex AI、Anthropic、GCP Vertex AI Gemini、Google AI Studio（Gemini API）、Groq、Hyperbolic、Mistral、OpenAI、OpenRouter、SGLang、TGI、Together AI、vLLM和xAI（Grok）。 需要其他功能？TensorZero还支持任何兼容OpenAI的API（例如Ollama）。 使用示例 您可以与任何OpenAI SDK（Python、Node、Go等）或兼容OpenAI的客户端一起使用TensorZero。 部署TensorZero网关（一个Docker容器）。 在您的兼容OpenAI客户端中更新base_url和模型。 运行推理： from openai import OpenAI # 将客户端指向TensorZero网关 client = OpenAI( base_url="http://localhost:3000/openai/v1", api_key="not-used" ) response = client.chat.completions.create( # 调用任何模型提供商（或TensorZero功能） model="tensorzero::model_name::anthropic::claude-sonnet-4-6", messages=[ {"role": "user", "content": "分享一个关于TensorZero的有趣事实。"}, ], ) 有关更多信息，请参见快速入门。 🔍 LLM可观察性 放大以调试单个API调用，或缩小以监控模型和提示随时间变化的指标——所有这些都使用开源的TensorZero UI。 在自己的数据库中存储推理和反馈（指标、人工编辑等） 使用TensorZero UI或通过编程深入了解单个推理或高级聚合模式 构建数据集以进行优化、评估和其他工作流 使用新提示、模型和推理策略重放历史推理等 导出OpenTelemetry跟踪（OTLP）并将Prometheus指标导出到您喜欢的应用程序可观察性工具 即将推出：AI辅助调试和根本原因分析；AI辅助数据标记 📈 LLM优化 发送生产指标和人工反馈，以轻松优化您的提示、模型和推理策略——使用UI或通过编程进行。 使用监督微调、RLHF和其他技术来优化模型 使用像GEPA这样的自动化提示工程算法来优化提示 使用动态上下文学习、最佳/N混合采样等来优化推理策略 为您的LLM启用反馈循环：数据和学习飞轮将生产数据转化为更智能、更快和更便宜的模型 即将推出：合成数据生成 📊 LLM评估 使用启发式和LLM评估支持的评估比较提示、模型和推理策略。 使用启发式或LLM评估进行推理评估，对单个推理进行评估（≈ LLM的单元测试） 使用工作流评估对端到端工作流进行评估，具有完全灵活性（≈ LLM的集成测试） 像优化TensorZero的其他功能一样优化LLM评估，以使其符合人类偏好 即将推出：更多内置评估者；无头评估 评估 » UI评估 » CLI docker compose run --rm evaluations \ --evaluation-name extract_data \ --dataset-name hard_test_cases \ --variant-name gpt_4o \ --concurrency 5 运行ID：01961de9-c8a4-7c60-