返回

文章详情

寻路器:在本地和托管的LLM之间进行确定性路由查询

Hacker News2026年6月28日 04:31

没有模型调用来决定路由 确定性和完全离线 根据自己的数据进行校准 自带密钥 自托管的寻路器读取提示的形状——其长度、标题、列表和代码——以及措辞中的难度线索,如证明、数学和严格限制,并告诉你是否将其发送到你的小型本地模型或大型云模型。它在微秒内决定,离线运行,并且从不调用另一个模型来做出决策。没有API密钥、没有网络、没有模型调用来决定。你得到一个评分和推荐;你如何使用它取决于你。简单的提示留在本地,困难的提示发送到昂贵的模型,你不再为“总结这个”和“修正我的错别字”支付高昂价格。比较 如何比较 大多数路由器通过调用模型决定:训练分类器、LLM评判者或托管API。这增加了延迟、成本,以及在本该为你省钱的确切步骤中带来一点随机性。寻路器读取结构和措辞,因此决策是免费的,并且每次都是一样的。路由器通过模型调用决定?自托管校准 寻路器 确定性 结构评分 否 是 是 RouteLLM 训练分类器(优先数据) 是 是 重新训练 NotDiamond / Martian 学习的,托管 否 否 通过平台 OpenRouter(自动) 托管自动路由器 否 否 — LiteLLM 提供者代理(非复杂路由) 否 是 不适用 寻路器并不追求最高的准确性。它是你可以离线运行的唯一路由器,零模型调用,并根据自己的流量进行调优。默认情况下,它只评分提示结构。它也可以读取词汇线索(证明、数学、限制),但这些默认情况下是关闭的:对独立创作提示的双盲测试显示词汇提升不具普遍性(它捕获了大约20%的未见硬提示,但不如简单的字数基线),所以它们是可选的——只有在你已将其权重调整到自己流量的词汇时才提高它们的权重。一个难度纯粹是语义的提示——一个微妙的代码片段,一个看似无害的“第100个质数是什么?”——没有结构提示,语义路由器将在那里击败它。能在盲测中生存的优势是要领先的:一个确定性的、亚毫秒的、离线的路由决策,没有模型调用。基准测试(进行基准测试)显示了它赢在哪里、输在哪里,对比诚实基线和完美神谕。将其指向RouterBench或RouterArena以获取分级数字。新人,或在权衡中?常见问题解答给出直接答案——包括它失利的地方(在RouterBench的短但困难的项目上,它并不比随机更好)以及为什么你仍然会运行它。尝试演示(无密钥) 通过两种方式查看路由决策——无API密钥、无模型、无网络。在你的终端——在寻路器调色板中进行决策优先的聊天。终端聊天随默认安装一起提供,因此无需额外添加——或者通过uvx以零安装运行它:uvx wayfinder-router chat --dry-run #零安装,零密钥 #或者:pip install wayfinder-router && wayfinder-router chat 每轮显示它的路由位置(● 本地 / ◆ 云),结构评分和原因(/why),以及与总是使用云相比的节省。/init在不离开聊天的情况下设置模型,/route · /local · /cloud强制进行一次行动,且对话在会话间持续(/threads)。在你的浏览器中——带有实时阈值滑块的网络聊天UI:pip install "wayfinder-router[gateway]" wayfinder-router webchat --dry-run #打开http://127.0.0.1:8088/demo webchat是serve之上的轻量启动器(网关及其/demo页面;--no-open,--port,--host 0.0.0.0,--dry-run);serve是无头命令。两个表面显示每条消息的路由位置(本地与云)、复杂性评分和原因(特性分解)以及与总是使用云相比节省的成本。在没有配置的情况下,两个都是决策专用的(--dry-run用于网页;终端的预览),所以你可以在无需设置的情况下进行测试。要获得真实回复,运行wayfinder-router init以搭建[gateway.models](然后wayfinder-router doctor确认你的密钥可解析)——请参见快速入门。与任何兼容OpenAI的API共工作 寻路器将每个调用转发到OpenAI风格的/chat/completions端点——因此如果你的提供者支持该协议(大多数都支持),它就可以正常工作。一个层级是一个base_url,一个模型名和在请求时读取的环境中的密钥;无SDK,无每个提供者代码。将一个免费的本地模型与一个托管模型配对,或运行两个云层级。快速入门 将寻路器放在你的模型前面。你的应用继续使用OpenAI API;你只需更改一个base_url。搭建配置——init写入一个启动的wayfinder-router.toml(无密钥的本地Ollama → Anthropic云)以及一个.env.example,然后检查你的密钥:pip install "wayfinder-router[gateway]" wayfinder-router init #启动配置(混合预设) wayfinder-router init --preset openai #两个OpenAI层级(gpt-4o-mini → gpt-4o) wayfinder-router init --preset gemini #两个Gemini层级(gemini-2.5-flash → gemini-2.5-pro)

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡