跳到主要内容
检索

# 投机解码

44 篇关联报道

订阅更新
  1. arXiv

    视觉语言模型投机解码提速:MMFlash按视觉依赖重加权,图像基准平均加速3.00–3.05倍

    MMFlash把扩散式投机解码扩展到视觉语言模型,做法是先测量每个词元对图像的依赖程度,再在训练中给这类词元加权。测量显示,DFlash草稿器在视觉依赖最低四分位的接受率为46%,最高四分位降到22%,多模态训练后这一差距仍在。在Qwen3.5系列上,MMFlash在七个图像基准的贪心解码下平均加速3.00–3.05倍,比DFlash高10.3–10.9%;长视频基准配合稀疏注意力与轻量微调后平均加速2.33–2.71倍。

  2. LMSYS Org

    Muse Spark Open 解码跨过每秒千词:把每层压成一个常驻内核,517 升到 1,109 tok/s

    Muse Spark Open 的解码速度从基线 517 tok/s 提升到 1,109 tok/s,做法是把每一层的注意力和 MoE 合成一个常驻 GPU 的内核,让权重加载、张量核心计算和跨卡通信在同一时刻重叠进行。此前 SGLang 每个解码步要依次启动约 1,450 个内核,内核之间 GPU 会排空再填充,部分 SM 和线程处于空闲。该结果在 Blackwell GPU 上以批大小为 1、配合 DFlash V2 推测解码测得,尚未扩展到更大批量。

  3. arXiv

    投机解码草稿模型换训练目标:D-REAL 一轮后训练,DFlash2 在 GSM8K 吞吐提升 9.4%

    投机解码的草稿模型通常按逐词交叉熵训练,但固定开销下真正决定加速比的是目标模型连续接受的草稿词数,即接受长度。D-REAL 把这一接受长度写成沿草稿实际采样轨迹的期望,并用带停止梯度的接受率比值构造可微替代损失,使梯度估计无偏。在 DSpark 与 DFlash2 两种并行草稿模型、十个基准上,一轮后训练把宏平均接受长度从 5.07 提到 5.13、从 4.88 提到 5.10;GSM8K 并发服务中 DFlash2 输出吞吐提升 9.4%。

  4. Modal Blog

    Sakana Namazu 以 NVFP4 上线:万亿参数模型保住日语能力,草稿模型把 p99 延迟从 68 秒压到 52 秒

    Sakana AI 与 Modal 合作,把约 1 万亿参数的混合专家模型 Sakana Namazu 以 NVFP4 精度部署到生产 API。压缩只作用于承载大部分参数的路由专家,注意力、路由器和共享专家保持 BF16,并用偏重日语的对话数据校准,使模型在日语指令遵循上与生产检查点相当。定制草稿模型在超过 300 亿原始 token 上训练,相比通用草稿模型把投机 token 接受率提高 25%;上线后用约 100 万条真实请求重训的第二版草稿模型,在 1000 条留出请求回放中把平均接受长度从 3.51 提到 5.01,p99 延迟从 68 秒降到 52 秒。

  5. vLLM Blog

    vLLM 为 Kimi K3 训出 DSpark 草稿模型:数学推理单流交互从约110升到约435 tok/s/user

    vLLM 项目的 Speculators 训练库新增对 2.8 万亿参数 Kimi K3 的支持,训练出五层、50 亿参数的 DSpark 草稿模型,用并行块加顺序校正做投机解码。在数学推理负载上,单流交互速度从约 110 提升到约 435 tok/s/user,并发下同等交互水平时输出吞吐最高约 3.5 倍;九个评测域的宏平均接受长度为每轮验证 4.11 个 token。

  6. PyTorch

    Meta 的 816B 稀疏模型搬上单台四芯片 TPU:整步合成一个内核,单请求每 token 快 1.94 倍

    Meta 的开源混合专家模型 Muse Spark Open 总参数 816B、每 token 约激活 42B,此前在 TPU v7 上服务时,一次验证步的耗时是单纯从 HBM 流式读取权重所需时间的 2.9 倍。SGLang-TorchTPU 把一次解码或验证步的全部 62 层写成一个 Pallas 程序,让权重、KV 与跨设备传输都排在计算之前发出。单请求下每输出 token 从 3.78 ms 降到 1.95 ms,两个并发请求时为 1.85 倍,并发继续增大时收益收窄。

  7. arXiv

    稀疏MoE上的投机解码比预期更划算:细粒度模型在批大小1附近反而提速最高

    此前按“验证时激活的专家权重字节数”估算投机解码成本,认为稀疏MoE的加速比随批大小呈凹形、在低批大小收益有限。对10个30B至1T参数、8至512专家的稀疏MoE模型实测后,细粒度模型多在批大小1附近达到最高加速比。原因有两层:相邻草稿位置的路由重叠让验证时真正加载的唯一专家数比独立假设少21%至34%,而GPU上MoE核与注意力核的带宽利用差异和L2缓存复用又让运行时间不再正比于专家字节。

  8. LMSYS Org

    DeepSeek开源DeepInfer后,SGLang用同一套基准追平或反超,预填充吞吐最高1.04倍

    DeepSeek开源了自家服务背后的推理引擎DeepInfer及其内核,SGLang随后把Mega系列内核、DSpark投机解码、SWA有界重放和两种Engram放置方式接入主线,并用DeepInfer自己的基准在同一硬件上对比。在4块GB300与4块B300上,SGLang预填充吞吐最高达到DeepInfer的1.04倍,其余测试点相差在1%以内;在64块GB300上,每GPU 16到256个请求时解码步长缩短1.1%到7.4%,8个请求时持平。SGLang还补齐了DeepInfer发布说明中列为未包含的KV缓存系统、预填充与解码分离以及跨副本负载均衡。

  9. arXiv

    关系约束也能当草稿:FactorSpec 让结构化输出每步多验 10.5 个 token,记录还全部合法

    结构化输出里,字段之间的关系本可决定大量 token,但服务引擎的草稿器只从提示或学习头猜,语法掩码又只管语法,模型因此常写出违反关系的记录。FactorSpec 把 JSON Schema 与关系编译成因子图,用精确可行性检查把被约束唯一确定的 token 当作必然草稿,并按每个请求单独选择验证宽度。在 SGLang 中,其草稿在行程规划上每步最多接受 10.5 个 token,是最快 n-gram 草稿形状的至多 1.9 倍,解码比按负载调优的投机器快至多 1.43 倍,代价约等于一个语法掩码。

  10. arXiv

    水印不再靠掷硬币选密钥:合并双密钥后,投机解码下多检出18到22个百分点

    大模型水印要在固定密钥下保留输出多样性,又要在投机解码中不降低草稿接受率,这两点此前难以兼得。TextSeal2把两个密钥的高斯值合并成一个虚拟密钥,再用高斯 copula 与新鲜噪声耦合,使检测器对每个词元都能读到完整信号;在投机解码下,它用草稿竞速的剩余量再做一次指数竞速来决定每轮最后一个词元。在三个模型上、相同多样性下,它比 TextSeal 多检出8到22个百分点的100词元答案,投机解码下比 TextSeal 和 textGrain 分别多检出18和22个百分点的200词元答案,接受率不变。