混合推理代理:减少35%–55%令牌,推理速度提升至2.6倍
查看PDF HTML(实验)摘要:我们如何构建一个不仅能够通过人类语言思考,同时还能在外部环境中通过语言行动的代理?现代的大规模语言模型(LLM)代理仍然通过文本进行推理和互动,而潜在推理提供了一种高效的内部媒介,但缺乏本地工具访问和推理透明度。我们通过混合推理代理(HybridAgents)将这两个方向连接起来,它们在统一的生成过程中动态地在潜在推理和基于文本的互动之间进行切换。从体系结构上看,轻量级的HybridLink使得文本模式和潜在模式之间无缝过渡,同时代理的连续工作记忆在多个回合中保持无损的混合上下文。这些设计保留了工具集成的代理能力,同时使潜在思维可以直接检查。在这一体系结构基础上,我们进一步开发了专门的后训练算法以支持混合推理:HybridSFT通过教导核心与HybridLink协调来稳定工具集成的混合生成,而HybridRL则通过学习何时在潜在空间思考以及何时通过文本行动来扩展推理。我们在11个基准上以3种模型规模对HybridAgent进行评估,涵盖数学、科学、医学、搜索和代理推理。与前沿LLM代理和涵盖文本基础和潜在方法的代理框架相比,HybridAgent的性能始终提高了10.4%,同时实现了35.5%-54.7%的令牌减少,推理速度提升1.8倍至2.6倍,成本节省2.7倍至3.7倍。代码和数据可在该https URL 获得。评论:45页,12个图表 主题:计算和语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)引用为:arXiv:2610.18861 [cs.CL](或arXiv:2610.18861v1 [cs.CL] 以获取此版本)https://doi.org/10.48550/arXiv.2610.18861 arXiv发布的DOI通过DataCite(待注册)提交历史 从:Jiaru Zou [查看电子邮件] [v1] 2026年10月13日,UTC时间17:59:31(8,500 KB)
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡