跳到主要内容
返回时间线
arXiv来源发表:

百度把解码器注意力窗口改成固定大小,Unlimited OCR 一次前向转录数十页文档

核心概要

百度推出 Unlimited OCR,把 DeepSeek OCR 解码器里的全部注意力层换成参考滑动窗口注意力(R-SWA),让生成阶段的 KV 缓存不再随输出变长而增长。此前端到端 OCR 模型无法在一次前向中解析十页文档,只能逐页循环处理并在每页重置记忆。在 OmniDocBench v1.5 上,Unlimited OCR 总体得分 93.23,比 DeepSeek OCR 基线高 6.22;在 32K 最大长度下可一次转录数十页文档。

AI-generated editorial illustration: Unlimited OCR WorksWelcome the Era of One-shot Long-horizon Parsing

深度剖析

Unlimited OCR 让端到端文档解析在一次前向中覆盖数十页,而不再需要逐页循环。 此前的端到端 OCR 模型无法在一次前向中解析十页文档,只能按页循环处理,并在每一步重置记忆。 在 OmniDocBench v1.5 上,Unlimited OCR 总体得分 93.23,DeepSeek OCR 为 87.01,相差 6.22;在 v1.6 上总体得分为 93.92。

解码器每个新生成的 token 都能看到全部视觉与提示 token,但只看最近一段已生成 token。 参考滑动窗口注意力(R-SWA)把注意力限制在由前缀窗口 m 和因果滑动窗口 n 组成的两段窗口内,n 默认为 128。 在约 2M 文档 OCR 样本上从 DeepSeek OCR 检查点继续训练 4000 步,冻结 DeepEncoder,只训练 LLM 参数,序列长度 32K。

生成阶段的 KV 缓存被限制为前缀长度加窗口宽度,不再随输出长度线性增长。 标准多头注意力的缓存大小随已生成 token 数 T 线性增长,而 R-SWA 的解码侧缓存上界为前缀长度加 n。 在固定前缀长度、理想并发条件下,输出 6000 token 时 DeepSeek OCR 的吞吐比 Unlimited OCR 低 35%;在 OmniDocBench 上 Unlimited OCR 达到 5580 TPS,DeepSeek OCR 为 4951 TPS。

启示与展望

演示范围是文档 OCR:以 DeepSeek OCR 为基线,保留其 DeepEncoder 的 16 倍 token 压缩,在 32K 最大长度下处理单页与多页 PDF;多页评测使用自建测试集,按 2、5、10、15、20、40+ 页分组,每组不少于十本书。作者提出短期训练 128K 上下文以支持更多页的预填充,长期构建预填充池让模型自动取用 KV 块。

作者说明在有限上下文(如 32K)下无法做到真正无限解析,预填充长度仍随页数累积而增长。40 页以上出现的重复错误多集中在 PDF 小字难以辨认处,作者将其归因于多页条件下使用 1024×1024 的 Base 编码模式,而非 R-SWA 在长程解析中丢失方向。