返回

文章详情

如果你不运行自己的LLM代理,你如何知道发生了什么?

Hacker News2026年10月18日 21:09

我认为标题完全捕捉到了这个想法,但我会深入探讨,因为这不是推特。你正在处理一个想法、一段代码,或一个每年数十亿的SaaS应用,这可能正在拯救世界。也许你在自动化获取新的Labubu发布图像的克隆过程,并将2D图像与ComfyUI结合,转化为3D CAD,以便更快地开始复制生产,因为春节即将来临,全球制造业在那时通常会停滞。也许你喜欢使用你的代币搜索针对有史以来开发的最强大的计算机软件来获取McRib或某些东西的宏观营养信息。你很可能正在与某种前端聊天,这与你所选择的提供商的付费订阅相连。TUI、GUI、语音通话,随便什么。是你的数据进来,他们的数据回馈给你。这就是他们所出售的,我现在就乐意购买这个。他们会向你展示一些像这样的工作证明:天哪,这真让人分心。那不是供工程师使用的时序数据的代币使用统计。我无法凭这些废话做出决策。我相信大型实验室会有有价值的见解与好奇的用户分享,特别是那些深入分析面板的用户。我无法凭这些废话做出决策。我已经听到你在说,“有OTel导出选项!!1!”不错,我想。但这只是一个原因,还有五个我现在能想到的原因:多提供商,多模型,在单一端点你可以控制调用哪个模型、哪个客户端、在什么时间、状态的日志,使用虚拟API密钥来避免将你的主密钥散落在你的工作、代理和设备上;你可以快速而不需要重设一切(可能是第三次)更改模型和提供商。我不会为你推荐一个代理提供商,只是建议你在一个你能控制的地方自己运行。当你选择一个时,别忘了你可以根据你的实际需求进行修改。我已经修改了我的,以获得更好的洞察、自定义MCP服务器端点和附加功能。无论你选择什么,你应该获得类似这些的数据。当我在编码会话中看到缓存未命中时,我可以在20秒内通过手动方式精准地找到原因。我还没有自动化它,但我使用的代理有一个API,因此自动化是可能的。掌控你的基础设施、应用可见性、数据路径和存储。我在家里这样做,因为这很有趣,也是我喜欢学习的方式。我在工作中这样做,因为如果我不这样做,我就没有做好我的工作。我可能永远无法完全理解大型语言模型是如何工作的,足够清楚地在面试中白板展示。但我可以将其搞定,并确保在提供推理服务时进行监控。

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡