返回

文章详情

零记忆:针对LLM代理的零标记内存操作

Hacker News2026年8月5日 04:36

作者:Yilin Xiao, Zhehan Zhu, Yujing Zhang, Jin Chen, Zijin Hong, Luyao Zhuang, Qinggang Zhang, Shengyuan Chen, Xiaocao Ouyang, Lingfei Ren, Xiao Huang 查看PDF HTML(实验性) 摘要:LLM代理需要内存以便在长时间交互中保持一致性,然而许多系统使用额外的LLM调用来操作这些内存。生成中间记录并调解其检索会增加重复的标记和时间成本,而省略或合并的细节可能会模糊原始证据。我们询问结构化内存访问是否完全需要生成。零记忆引入了 extit{零标记内存操作}:除了最终问题回答之外,没有一步调用LLM或消耗LLM输入或输出标记;编码器计算单独计入。零记忆保留原始交互痕迹作为其记录来源。它以两种互补方式组织这些痕迹。实体-上下文图暴露了交互之间的连接,而时间层次保留了对话的局部性和会话状态。对于每个查询,零记忆权衡这两种视图,从两者中检索,并根据它们的结构恢复支持关系或周围上下文。确定性校准首先丢弃冲突的证据,然后保持读者的答案基于检索到的痕迹。只有最终QA读取器调用LLM。在长记忆和长上下文问题回答基准中,零记忆实现了具有竞争力的性能,同时消除了LLM调用和内存操作中的LLM标记消耗。在相同的最终QA读取器和上下文预算下,相较于最快的比较基线,它将内存操作的时间成本减少了57.6%。消融实验支持两种视图及其查询相关协调的贡献。总体结果表明,结构化代理内存不需要生成过去的中介表示。经过同行评审后,代码和实现细节将可在 extcolor{blue}{此https网址}获得。主题:计算与语言(cs.CL) 引用为:arXiv:2607.29377 [cs.CL] (或arXiv:2607.29377v1 [cs.CL] 适用此版本) https://doi.org/10.48550/arXiv.2607.29377 arXiv签发的DOI通过DataCite(待注册) 提交历史 从:Yilin Xiao [查看电子邮件] [v1] 2026年7月31日,星期五 13:01:06 UTC (414 KB)

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡