查看PDF HTML（实验性）摘要：现代GPU采用基于芯片的小模块设计，具有多个私有缓存层次，但当前的编程模型（CUDA/HIP）暴露的是一个平坦的执行层次，无法表达芯片级的局部性或同步。这种不匹配导致冗余的内存流量和在内存受限的工作负载（如LLM推理）中缓存利用率低下。我们提出了Fleet，一种多级任务模型，将计算映射到内存范围。Fleet引入了Chiplet-task，这是一种将工作和数据绑定到芯片并通过其共享的L2缓存实现协调的新抽象。Wavefront级、CU级和设备级任务与现有抽象保持一致，而Chiplet-task则暴露了一个以前未处理的层次。Fleet被实现为一个持久的内核运行时，具有每个芯片的小调度，允许芯片内的工作者协同执行任务，并协调缓存复用。在配备Qwen3-8B的AMD Instinct MI350上，Fleet在批量大小为1-8时通过持久内核执行和每芯片调度实现了比vLLM低1.3-1.5倍的解码延迟。在更大的批量大小下，协作加权切片增加了L2命中率（在批量大小32时从12%提高到54%，在批量大小64时从39%提高到61%），减少了高带宽内存流量高达37%，并在意识不到芯片的小模块基线之上提供了1.27-1.30倍的加速。主题：硬件架构（cs.AR）引用格式：arXiv:2604.15379 [cs.AR]（或arXiv:2604.15379v1 [cs.AR]用于此版本）https://doi.org/10.48550/arXiv.2604.15379 arXiv发布的DOI通过DataCite 提交历史来自：Sangeeta Chowdhary [查看电子邮件] [v1] 2026年4月15日 星期三 21:49:03 UTC (68 KB)