文章摘要
HyOCR-1.5是仅10亿参数的端到端多任务OCR模型,实现三大突破:引入DFlash提速6.37倍;用智能体驱动的数据生产闭环扩展能力边界;训练范式升级为预训练→SFT→RL。全维度评测表现亮眼,对部署者、研究者和应用侧均具价值,已开源。

在日常处理合同、发票、PDF论文等文档时,用户往往期待OCR工具既能精准还原复杂表格、公式与多栏版面,又能在数秒内输出结果,但现实中,结构化程度越高、长度越长的文档,自回归大模型的解码速度就越慢,要么牺牲精度,要么需要更高配置的硬件。基于HyOCR-1.0验证的轻量端到端OCR专家模型路线,HyOCR-1.5进一步实现了三大突破:让模型跑得更快、能力更强、覆盖场景更全面,同时保持仅10亿参数的轻量体量。

作为端到端OCR大模型领域首个实现训练、推理、模型权重全栈开源的专家模型,HyOCR-1.5公开了从数据构造方法、训练配方到推理加速框架的全部内容,任何开发者都可以基于该项目进行复现、微调与二次开发。更重要的是,这款模型足够轻量化——不仅可以部署在服务器集群中,还能通过llama.cpp运行在CPU、消费级显卡乃至普通笔记本电脑上,让高性能OCR能力真正走进个人设备;同时功能覆盖全面,既支持传统的文字检测识别与文档解析任务,还囊括了信息抽取、拍照翻译、图表解析、古文字识别、视频字幕提取、多页文档问答等多项能力。

一、提速6.37倍:用DFlash破解长文档解码瓶颈

端到端OCR一直面临一个难以绕开的痛点:长自回归解码延迟。文档越密集、表格越大、公式越长,模型就需要逐个token进行解码,延迟会随内容长度线性增长,成为真实部署中的最大瓶颈之一。

为此,HyOCR-1.5引入了基于DFlash的投机解码框架:这款仅约9070万参数的轻量级block-diffusion草稿模型,可以通过一次并行前向运算“猜”出一整块候选token,再交由目标模型一次性验证并接受最长的正确前缀。整个过程严格保持目标模型的输出分布,也就是说,速度提升的同时,输出结果完全不变。

在官方评测中,DFlash让HyOCR-1.5在Transformers环境下取得6.37倍加速、在vLLM环境下取得2.14倍加速,成为所有OCR VLMs中推理速度最快的模型。

整体速度:一次并行验证,多推进多个token

采用权威文档解析基准OmniDocBench进行测试,在单请求推理配置下,DFlash的效果立竿见影:

  • vLLM环境:平均延迟从3.032秒降至1.408秒,吞吐从466.9提升至1002.3 token/s,页速从0.330提升至0.706 page/s,整体加速2.14倍;
  • Transformers环境:由于原生自回归基线更接近逐token朴素解码,加速效果更为显著,整体加速高达6.37倍。

越长越结构化,速度提升越明显

投机解码的天然特性是,输出内容越长,加速效果越显著。在vLLM框架下,加速比从0-256 token的1.31倍提升至2048+ token的2.30倍;在原生Transformers环境下,加速比更是从4.56倍提升至6.67倍。从内容类型来看,表格页面的加速效果最为突出(vLLM下2.39倍、Transformers下7.81倍),其次是公式页与纯文本页,这是因为高度规整的结构化内容更容易让草稿模型预测出准确的后续token,有效接受长度更长。

端到端速度对比:比两阶段级联方案更快

在同等算力条件下,搭载DFlash加速的HyOCR-1.5在OmniDocBench测试集的端到端推理速度上领先所有参评方案,达到每页1.408秒、0.706页每秒,甚至比GLM-OCR、PaddleOCR-VL-1.6这类两阶段级联方案更快,同时保持了无需版面切分、无需分区级联的统一端到端形态。

除了面向服务器的vLLM部署,HyOCR-1.5还支持通过llama.cpp进行本地PC端推理,可运行在CPU、消费级显卡乃至普通笔记本电脑上,真正实现了轻量OCR的随处可用。

二、能力边界扩展:智能体驱动的数据生产闭环

如果说DFlash解决了速度问题,那么HyOCR-1.5的能力提升则源于全新的Agentic Data Flow(智能体驱动数据流)数据构造哲学。与传统依赖人工写脚本、搜集素材、标注数据的管线不同,这套思路将模型的具体短板(比如低资源语种覆盖不足、古文字感知薄弱、多图理解能力缺失)转化为可执行的数据需求,交由智能体完成全闭环处理。算法工程师仅需用自然语言提出目标能力,智能体就会自主拆解任务、搜集素材、调用工具验证、开发数据管线,并与工程师持续迭代,最终沉淀出可复用的数据生产流程。

智能体主要完成三项关键工作:

  • 素材搜索与整理:自主调用网络搜索等工具,为低资源OCR搜集多语种语料、TTF字体与渲染背景,为古文字搜集七体相关字体与古籍风格背景,为多图问答整理多页PDF并抽取页级文本与结构;
  • 工具辅助的清洗与质检:调用HyOCR-1.0等服务对背景图做多模型交叉验证,过滤含干扰文字或质量不稳定的素材,测试字体渲染兼容性,批量运行推理挖掘漏识、结构错乱、表格解析失败等难例;
  • 面向短板的数据管线开发与迭代:自主创建数据项目、编写渲染/问答生成脚本,从单模板原型逐步演化为支持多版式、多增强、多任务格式的数据生产系统。

这套系统在HyOCR-1.5中落地到三个代表性能力扩展方向:

  • 低资源OCR:借鉴SynthText/SynthDoG思路构建多语种合成管线,最终维护了覆盖331种语言的解析数据;
  • 古文字OCR:面向汉字“七体之变”,按照历史文档的书写方向、版式、视觉风格合成解析数据,补齐罕见历史字形;
  • 多图问答:基于多页PDF生成跨页检索、多页比对、证据聚合类问答,并过滤掉仅需单页即可作答的样本,确保任务真正需要多图理解能力。

三、训练范式升级:高分辨率与强化学习加持

在训练侧,HyOCR-1.5沿用了HyOCR的分阶段训练范式,但将目标从构建通用OCR能力转向扩展能力边界、提升任务上限,形成了预训练→SFT→RL的完整训练链路。

  • 预训练(重规划Stage 3):注入了Agentic Data Flow产出的新能力数据、多图数据与历史OCR数据,同时将最大图像分辨率提升至4K、上下文窗口扩展至128K,让模型能够稳健适配高分辨率文档、长上下文与多页多图输入;
  • SFT:从1.0版本的后训练数据出发进行彻底清洗,去除标注错误、格式不一致、图文不匹配等问题,并统一各任务的prompt接口,为后续RL训练打下干净、结构化的基础;
  • RL(精心设计的强化学习方案):采用了IcePop(GRPO风格)优化方案,设计了三类互补奖励:面向文档解析的事实性奖励、面向通用问答的一致性评判奖励、以及抑制超长/重复输出的退化抑制奖励,共同推动模型向“更忠实、更强、更全面”的方向优化。

四、越级表现:全维度评测结果亮眼

我们没有依赖单一基准测试,而是构建了一套能力导向的评测体系,既验证了从1.0版本继承的核心能力是否得到进一步强化,也考察了新拓展的边界能力是否真正融入模型。

① 文档解析:OmniDocBench v1.6端到端第一梯队

在OmniDocBench v1.6评测中,HyOCR-1.5取得了94.74的Overall分数,在端到端OCR专家模型中达到SOTA水平,尤其在表格(TEDS 93.67 / TEDS-S 94.71)与阅读顺序识别上表现突出,而所有这一切都是在保持轻量端到端架构的前提下实现的。

② 古文字OCR:1B参数内的SOTA

在覆盖汉字“七体之变”的Chronicles-OCR评测中,HyOCR-1.5在古早字体(甲骨/金文/篆书)上取得平均分0.54,在成熟字体(隶/楷/行/草)上取得平均分0.79,大幅领先包括GPT-5、Gemini 3.1 Pro、Kimi K2.5在内的众多大模型,验证了古文字数据构造与训练策略的有效性。

③ 图表解析:1B体量打出8B级水准

在细粒度图表解析基准ChartArena上,HyOCR-1.5以仅1B参数的体量,取得EN 48.9 / ZH 64.1的平均分,达到甚至超越了8B级模型的水平。

④ 多语种、多图、复杂表格:全面开花

  • MORE(149语种低资源解析):Overall 91.90,位列OCR专家模型第一;
  • TableVerse-5K(复杂表格):TEDS 78.23 / TEDS-S 84.84,为专家OCR模型中的最佳成绩;
  • DUDE(文档级多图问答):54.64,逼近通用多模态模型Qwen3.5-0.8B的56.41;
  • 文本图像翻译(MMTIT / DoTA):多语种、多场景翻译能力得到进一步优化。

⑤ 幻觉抑制:更“忠于所见”

我们专门提出了CHAOS-Bench评测基准,用于评估模型是否做到“所见即所得”——通过在图像中把选定词替换为无意义的扰动词,检验模型是否会忠实保留视觉上真实存在的文字。HyOCR-1.5以14.15的页均召回率取得最佳成绩,说明它比现有模型更少被语言先验带偏,但绝对值仍有提升空间,也表明“忠实生成”方向仍有待进一步攻坚。

⑥ 不遗忘:核心能力稳中有升

在文本检测识别、信息抽取、视频字幕、OCRBench等继承能力上,HyOCR-1.5相较HyOCR-1.0均保持稳定甚至有所提升。特别地,它新增了负样本处理能力:在1000张无文字内部测试集上,正确处理率达到99.8%(1.0版本为78.1%),有效避免了“凭空幻觉出检测框”的问题。

五、项目的核心价值与意义

HyOCR-1.5想要证明的,并非“堆大参数就能获得更强能力”,而是一条更务实的OCR模型发展路径:

  • 对部署者而言:一款仅10亿参数的端到端模型,既能在服务器上以最快速度批量处理文档,也能在个人电脑本地运行,真正实现了“又快、又强、又轻”的三重优势,不再需要在三者之间做取舍;
  • 对研究者而言:DFlash框架证明了投机解码在长结构化OCR生成上的巨大价值;Agentic Data Flow则提供了一种“以模型短板驱动数据生产”的可复用范式,进一步指向了未来由智能体主导的数据闭环与模型自进化路径;
  • 对应用侧而言:从密集文档、复杂表格图表,到多语种、古文字、多图问答与幻觉抑制,HyOCR-1.5的能力边界被系统性地向长尾场景推进,覆盖了更多此前难以兼顾的应用需求。

一个真正实用的OCR模型,不该只是“更大的文档解析器”,而应是一个又快、又准、又能覆盖多元任务的统一端到端专家。

我们开源了全套模型权重与训练、推理代码,为社区提供可复现、可微调、可扩展的基础设施,推动OCR感知、文档理解与多任务建模的下一步发展。

让OCR大模型“跑得更快、看得更准、功能更全”,从来不是单点优化,而是速度、能力与部署三者的协同。HyOCR-1.5用10亿参数的小身板,把这三条线同时向前推了一步——我们希望它能成为轻量端到端OCR走向真实世界的一块坚实基石。

📌 相关开源地址:https://github.com/opensource/hyocr

📌 技术论文地址:https://arxiv.org/pdf/2607.04884

📌 模型权重下载地址:https://huggingface.co/opensource/hyocr

欢迎学界、产业界共同推动轻量OCR与文档智能的下一步发展。


塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台,致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴,你不仅可以学习众多AIGC类实战课程,获得与时俱进的AIGC技能和视野,还有机会获得长期商业合作和接单机会!点击进入:https://www.tahou.com/

AI生成内容提示:本文由人工智能辅助创作,内容仅供参考,不代表平台观点。请注意核实信息的准确性,并理性判断。

以上内容不代表本平台立场,仅供读者参考