CDB 让循环语言模型按 token 自适应深度推理,在 Ouro 1.4B 上实现约 99% 的早退可用加速
该工作提出并首次端到端实现连续深度批处理(CDB),通过把循环语言模型的推理拆成 prefill、prelude、循环核心与 coda 四个阶段队列、在循环步之间重组批次、管理深度索引 KV 缓存并用前瞻门提前一步预测退出,从而让不同循环深度的 token 共享前向过程;在 Ouro 1.4B 与 Huginn 3.5B 上,CDB 分别实现约 99% 与 83%–96% 的估计最大加速,并显示完全循环架构最适合深度自适应推理。