跳到主要内容
检索

# 深度自适应推理

1 篇关联报道

订阅更新
  1. arXiv

    CDB 让循环语言模型按 token 自适应深度推理,在 Ouro 1.4B 上实现约 99% 的早退可用加速

    该工作提出并首次端到端实现连续深度批处理(CDB),通过把循环语言模型的推理拆成 prefill、prelude、循环核心与 coda 四个阶段队列、在循环步之间重组批次、管理深度索引 KV 缓存并用前瞻门提前一步预测退出,从而让不同循环深度的 token 共享前向过程;在 Ouro 1.4B 与 Huginn 3.5B 上,CDB 分别实现约 99% 与 83%–96% 的估计最大加速,并显示完全循环架构最适合深度自适应推理。

已读完全部报道