跳到主要内容
返回时间线
openbiox Bizard来源发表:

DeepSeek开源生产级推理引擎DeepInfer:离线推理可跑在英伟达SM100与昇腾950上

核心概要

DeepSeek把支撑其大规模生产服务的高性能推理框架DeepInfer以Apache 2.0协议开源,提供面向DeepSeek-V4.1-Flash的离线推理。发布内容包含优化算子、注意力DP与均衡CP、MoE专家并行加EPLB、DSpark与置信度调度验证、SWA有界重放、异步调度、批不变推理、确定性采样和结构化输出,并同时支持英伟达SM100 GPU与华为昇腾950 NPU。完整推理服务所需的KV缓存系统、VE/Prefill/Decode分离和跨数据并行副本负载均衡不在本次发布范围内。

深度剖析

DeepSeek将其大规模生产服务所用的高性能推理框架DeepInfer开源,本次发布提供离线推理,并明确只支持DeepSeek-V4.1-Flash这一款模型。 此前的状况是这套框架只服务于DeepSeek自身的生产环境,外部使用者无法直接获得同一套推理实现。 发布说明把DeepInfer定位为支撑DeepSeek大规模生产服务的框架,并以Apache 2.0协议给出源码,同时列出离线推理示例与复现基准的脚本入口。

框架把大模型推理拆成算子、并行、解码加速和调度几层,每层都有可开关的配置项。 这些能力以环境变量和采样参数的形式暴露,例如DSpark与置信度调度验证由DEEPINFER_ENABLE_MTP_VARLEN开启,草稿长度上限由DEEPINFER_USE_NEXTN_DECODE控制,默认值为5。 算子层列出FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect和自定义TileLang算子;并行层为注意力DP与均衡CP、MoE专家并行加EPLB;解码层用草稿词元加速并用置信度估计安排验证。

发布同时给出两项面向可复现性的开关:批不变推理让模型结果在不同批次组成下保持一致,确定性采样让相同输入词元和采样参数产生相同输出。 这两项都标注为仅限英伟达平台,确定性采样还要求关闭DSpark变长草稿并传入固定的seq_seed。 批不变推理通过DEEPINFER_BATCH_INVARIANT=1开启;确定性采样需同时设置DEEPINFER_BATCH_INVARIANT=1与DEEPINFER_ENABLE_MTP_VARLEN=0,并向SamplingParams传入固定seq_seed。

启示与展望

本次发布的范围是面向DeepSeek-V4.1-Flash的离线推理,硬件限定为英伟达SM100 GPU与华为昇腾950 NPU,构建环境要求Linux、GCC 13.0以上、Python 3.12,英伟达侧需CUDA 13、昇腾侧需CANN 9.2。发布说明明确列出完整推理服务还需要的KV缓存系统、VE/Prefill/Decode分离以及prefill与decode跨数据并行副本的负载均衡,这些不包含在本次发布中。

发布说明称VE/Prefill/Decode分离的大部分所需引擎功能已经实现,但该能力仍被列为完整推理服务所需且不在本次发布内。批不变推理与确定性采样均标注仅限英伟达平台,确定性采样还要求关闭DSpark变长草稿并固定seq_seed。