DeepInfer是一个高性能的推理框架，支持DeepSeek的大规模生产服务。这次开源发布提供了离线推理功能，并包含在大规模服务所需的核心功能。支持的模型：DeepSeek-V4.1-Flash。支持的特性：优化的内核、模型和采样器运行时并行性：注意力DP / 平衡CP，MoE EP + EPLB，DSpark和信心调度的验证，SWA有界重放，异步调度（零开销批处理调度器），批不变推理，确定性采样，结构化输出，特性详细信息和配置。优化的内核：FlashMLA，DeepGEMM，DeepEP，TileKernels，DeepSelect和自定义TileLang内核。DSpark和信心调度的验证：通过草稿标记加速解码，并使用信心估算来调度验证。设置DEEPINFER_ENABLE_MTP_VARLEN=1；DEEPINFER_USE_NEXTN_DECODE控制最大草稿长度（默认：5）。解码器SWA有界重放：通过仅重放有界后缀来减少解码器预填充工作。设置DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact和DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140用于默认V4.1设置；保留的后缀必须覆盖SWA窗口加上最大回溯长度。异步调度：将CPU批调度与设备执行重叠。默认启用。批不变推理：在不同批次组合之间保持模型结果相同。使用DEEPINFER_BATCH_INVARIANT=1启用（仅限NVIDIA）。确定性采样：对相同输入标记和采样参数生成相同输出。设置DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0，并将固定的seq_seed传递给SamplingParams（仅限NVIDIA）。结构化输出：将生成限制为正则表达式、JSON模式或EBNF语法。将so_args={"schema_type": ..., "schema": ...}传递给SamplingParams；参见示例。支持的硬件：NVIDIA SM100 GPUs、华为Ascend 950 NPUs。完整推理服务所需的（未包含在此发布中）：KV缓存系统，VE/预填充/解码分离（大多数必要引擎功能已实现），在预填充和解码之间进行数据并行副本的负载平衡。入门指南 先决条件 Linux，GCC >= 13.0，Python 3.12，CUDA 13（仅限NVIDIA），CANN 9.2（仅限Ascend）。从源代码构建。构建DeepInfer之前，请创建并激活一个空的Python 3.12环境。# 在Ascend平台上使用`ascend` # 在您运行DeepInfer的环境中将其导出 export DEEPINFER_ACCELERATOR=nvidia ./build.sh 离线推理 默认检查点deepseek-ai/DeepSeek-V4.1-Flash-1017在第一次运行时下载到Hugging Face缓存中；设置DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017可以从本地副本运行。python examples/offline_inference.py 查看示例以获取详细信息。性能基准 在4个SM100 GPU上测量的预填充和在64个GPU上测得的解码——每个都在一个规模提升域内。要重现基准，请参见run_sweep.sh。评估基准 请参见eval/README.md。许可证 DeepInfer根据Apache许可证2.0发布。有关详细信息，请参见LICENSE。致谢 DeepInfer最初主要是在vLLM上构建的，并从SGLang和TensorRT-LLM中获得了额外的灵感。我们感谢他们的开发人员。引用 @misc { deepinfer2026 , title = { DeepInfer: 高性能、大规模推理框架，用于DeepSeek模型 } , author = { DeepSeek-AI } , year = { 2026 } , publisher = { GitHub } , howpublished = { \url{https://github.com/deepseek-ai/DeepInfer} } , }