百度文心Unlimited OCR 2开源 可读整册小说缓存降96%

一款全新的多页文档解析OCR模型正式发布并开源,它的核心能力是能完整读取整部长篇小说,无需分页拆分。
在测试中,该模型展现出极强的超长文档处理能力:可连续识别、转写《哈利·波特》系列7部共3600余页内容,或是《三体》全集1200余页,全程无中断;针对884页的《指环王》英文版,仅用约43分钟完成解析,每页平均耗时约2.9秒,且跨页合并识别准确率极高,抽查的第600页与第750页正文均与原文一致,系统还自动标记了466处跨页合并,将分页截断的句子重新拼接完整。
这类超长文档解析的核心瓶颈在于显存占用。推理过程中,模型需要保留的中间信息(KV缓存)会随页数增加而大幅增长,相当于边读边记的“小抄”,页数越多,“小抄”越厚,不仅占用空间大,读取效率也会降低。
为解决这一问题,该模型提出了两项核心技术:一是稀疏参考滑动窗口注意力机制(SR-SWA),二是无限解码机制。
SR-SWA的设计借鉴了人类抄书的思路:人手抄书时只会关注当前正在抄写的页面,仅在需要对照时翻阅相关页面,不会同时摊开整本书。该机制通过两层筛选减少不必要的计算:第一层是“页面筛选”,仅保留与当前解析位置相关的页面;第二层是“信息块筛选”,从选中页面中挑出与当前内容最相关的局部信息块,而非所有内容,避免了无关信息的“陪跑”计算。
配合无限解码机制,模型可将文档划分为大小可控的块依次处理,相邻块重叠一页,进入下一块时直接复用该重叠页的缓存,同时保留上一段输出的文本缓存,确保内容衔接;已用不上的页面缓存则及时释放,将显存占用控制在当前处理块的规模内,无需保留整份文档的所有缓存。
在技术测试中,该模型的表现远超传统方案:百页级单序列测试中,峰值KV缓存占用从传统方案的47GB降至1.77GB,降幅约96%;16路并发测试中,端到端吞吐量从360提升至1315令牌/秒,约为传统方案的3.65倍。此外,在多页文档解析基准测试中,该模型取得了84.59的综合得分;在专为百页级文档设计的基准测试中,得分达77.06,两项测试的得分均为参评模型中的最高值。
研究团队将文档解析技术的演进分为三个阶段:早期的OCR 1.0是流水线式处理,多页解析需逐页处理再拼接,容易出现错误传递;OCR 2.0是端到端解析,可处理数十页文档;而该模型代表的OCR 3.0,以“持续处理整份文档”为目标,实现了无限解析、无中断的能力。
该模型的命名还带有创意性的致敬:“无限OCR之力”的命名参考了经典作品中的“无限剑制”,相关的技术报告引言中还加入了用户改写的咏唱,将技术能力与作品设定结合,既体现了技术突破,又带有独特的文化趣味。

