跳到主要内容
检索

# Spin(影子预测索引器)

1 篇关联报道

订阅更新
  1. arXiv

    SPIN用历史索引分数预测KV块重要性,在DeepSeek-V4上跳过30–40%索引器输入块并提升vLLM吞吐14.9%

    SPIN(Shadow Predictive Indexer)利用每个DSA层前几次解码迭代的索引器分数统计,沿垂直与对角模式维护EMA来预测KV块重要性,从而在索引器之前跳过部分上下文块;在DeepSeek-V4 Flash与Pro的长上下文与智能体基准上,30–40%块稀疏度下任务质量基本保持,集成到vLLM后输出吞吐最高提升14.9%、中位token间延迟最多降低13.2%。

已读完全部报道