跳到主要内容
检索

# EntroPrefill

1 篇关联报道

订阅更新
  1. arXiv

    EntroPrefill 用 Rényi 熵引导的上下文剪枝给出条件稳定性保证,但未报告任何实测加速或精度结果

    EntroPrefill 提出一种在预填充中期删除完整检索文档块的方案:用汇聚查询头注意力的 Rényi 碰撞熵排序候选块,用显式丢弃注意力质量约束筛选删除集,并用独立观测者审计控制自适应选层误差;论文给出混合到单头的删除包络、可行删除的对偶上界、首 token 扰动界与决策裕度推论,同时用一个反例说明浅层注意力集中不能推出无条件输出保证,全文为理论设计,未报告任何基准、加速或精度结果。

已读完全部报道