深度查找弹性计算 (DSec)
作者:黄佳良,唐鸿轩,陈景昌,刘禹轩,陈逸霄,程远,陶一,周晶莉,陈宇鹏,陈灏宇,王家瑞,林升凯,张初奇,邓百宁,郭连,傅哲,高文君,王倚松,赵亮,王泽豪,谢子伟,郭永强,丛佩欣,高子怡,余水平,许汉伟,吴作凡,任志周,周宇扬,张博伟,黄志缓,朱启豪,王磊,林天乐,余汉,胡杰文,杨德简,杨烁,陆尚豪,陈少源,邱俊杰,沙张利,钟银敏,吴永通,王世宇,刘伟,徐秉正,陈龙浩,杜求实,黄宇珍,马世荣,王耀辉,陈铭书,熊通锐,严宇辰,罗浩文,梁浩楠,张晓康,曾伟豪,徐润新,王培怡,朱金华,张若宇,杨文凯,唐琦,余锦平,叶天乐,潘瑞哲,丁洪辉,刘晓东,罗灵霄,邵志鸿,吴宇涵,陆吉白,刘文,张浩凌,胡靖城,叶曜阳,林超凡,张赵辰,唐建安,吴恒旭,李志豪,王奕诚,王露瑶,白宇焯,傅玲月,徐瑞凡,王Y.Z.,李宗霖,魏名奇,沈海洋,张成远,金超,张子力,杨R.H.,徐新博,周剑,朱瑞东,郭宇哲等(另外31位作者未显示) 查看 PDF HTML(实验性) 摘要:大规模自主训练和评估大语言模型(LLMs)依赖于孤立的、状态保持的执行环境,在这些环境中,模型检查存储库,调用工具,执行命令,并与任务特定服务交互。这些工作负载会大规模创建沙箱,跨越异构功能和隔离需求,在长时间交互中保持状态,并从具有有限重用的大型图像库中获取资源。因此,支持它们需要一个弹性执行平台,而不是单一的沙箱运行时。本报告介绍了深度查找弹性计算(DSec),它是一个生产沙箱平台,通过统一的SDK暴露FnCall、容器、微虚拟机和全虚拟机沙箱后端。DSec协调集群内的放置和生命周期管理,从独立版本层组成环境,结合内存共享、回收和CPU调度实现高密度执行,并按需从 Fire-Flyer 文件系统(3FS)加载图像数据,这是一个集群范围内的分布式文件系统。DSec与强化学习(RL)框架共同设计,解耦状态保持的展开执行和可抢占的GPU训练,协调沙箱生命周期与训练以保持展开状态,同时回收闲置资源,并减轻代理错误行为(例如奖励黑客攻击)。单个生产规模的DSec单元覆盖约160个节点,每天服务约300万个沙箱;在生产环境中,它支持超过 380,000 个并发沙箱,并维持每秒超过 5,000 个沙箱创建。我们的评估和部署经验表明,这些机制减少了环境设置和图像分发的开销,提高了内存效率,并在高密度过量承诺下保持延迟敏感性能。 评论:31页,13个图。这一版本相比早期版本有了显著扩展,之前的版本的两页扩展摘要经过了ACM SIGOPS ATC 2026的操作系统轨道的第一轮审查 主题:分布式、并行与集群计算(cs.DC) 引用:arXiv:2609.22978 [cs.DC](或 arXiv:2609.22978v1 [cs.DC]对于本版本) https://doi.org/10.48550/arXiv.2609.22978 arXiv发行的DOI通过DataCite(待注册) 提交历史 发送者:梁文丰 [查看电子邮件] [v1] 2026年9月19日星期六12:20:26 UTC(504 KB)
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡