返回

文章详情

代理上下文管理:记忆和成本作为架构问题

Hacker News2026年8月26日 02:35

查看 PDF HTML(实验性)摘要:生产AI代理的失败往往不是因为他们无法进行良好的推理,而是因为他们无法管理推理上下文中的内容:对话历史、大提示、大工具定义以及膨胀的工具输出。代理在自己累积的历史中溺水,而每个回合的代币成本也在不断增加,在对话内外产生缺失的回忆。现有的应对方式将其视为存储和检索问题。我们认为这种框架过于狭窄。积极管理代理所持有的信息是一个生命周期,而不仅仅是一个存储:这涵盖了决定记住什么、提取和结构化信息、为每种数据类型选择合适的存储、在保持来源的前提下进行整合和遗忘、决定现在什么是相关的、预测下一个需要什么,以及在不失去重要内容的情况下将上下文压缩到预算内。在严肃的生产中,这不仅仅是针对单一用户,而是跨越整个组织的范围层级。我们将这一学科称为代理上下文管理(ACM),并将其分解为五个基本元素:架构、摄取、范围、预测以及压缩与整合。然后我们提出经济论证:幼稚的上下文累积使代币成本随对话长度呈平方增长,粗略的摘要以准确性悬崖为代价获得线性成本,而只有经过验证的压缩才能在保持真实度的前提下实现线性成本。我们描述了一个参考实现——Maximem Synap,它将这五个基本元素实现为一个多租户服务,并在第6节中详细描述的配置下,在LongMemEval上报告92%,在LoCoMo上报告93.2%。我们最后提出现有基准尚未捕获的维度:延迟、代币效率和上下文衰退抵抗力,以及这一类别指向的决策层级和组织层级上下文的前沿。备注:23页,6个图,4个表。评估工具和研究数据:此 HTTP URL 主题:人工智能 (cs.AI);信息检索 (cs.IR) ACM 类别:I.2.7;I.2.11;H.3.3 引用格式:arXiv:2607.21503 [cs.AI](或 arXiv:2607.21503v1 [cs.AI] 代表此版本)https://doi.org/10.48550/arXiv.2607.21503 arXiv 发放的 DOI 通过 DataCite 提交历史来自:Gaurav Dadhich [查看电子邮件] [v1] 2026年7月23日 星期四 16:51:31 UTC (123 KB)

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡