MinerU 再次改变 OCR，5 倍提升|grid|image|ocr|命令提示符|示例

关于 OCR 这个话题，我之前写过不少：

今天这篇要聊的东西可能是 OCR 领域近年来最大的范式转换，MinerU 团队用扩散模型重新定义了文档 OCR 的解码方式

MinerU：OCR 领域的扛把子

先说说 MinerU 这个项目在 OCR 圈子的地位

MinerU 由上海人工智能实验室的 OpenDataLab 团队开发，最初诞生于 InternLM 大模型的预训练数据处理过程中

做过 RAG 的朋友应该都知道，文档解析是 RAG 流水线上最关键的一环——你的知识库质量上限，就取决于你的文档解析能力

而 MinerU 几乎是开源文档解析工具的事实标准：

全格式覆盖：支持 PDF、图片、DOCX 输入，输出 Markdown 和 JSON
109 种语言的 OCR 支持
全平台兼容：Windows、Linux、Mac，CPU/GPU/NPU/MPS 都能跑
功能全面：自动去除页眉页脚页码、保留文档结构、提取表格公式、处理复杂多栏布局

刚刚，MinerU 发布了3.0.0 大版本更新——新增了原生 DOCX 解析、pipeline 后端在 OmniDocBench v1.5 上得分达到 86.2，上线了多 GPU 部署路由

更关键的是，MinerU 的 VLM 版本 MinerU2.5 在 OmniDocBench 等权威 Benchmark 上一直是各路 OCR 模型的对标基准。

新范式：用 Diffusion 重新思考 OCR

好了，铺垫完背景，来说今天的主角——MinerU-Diffusion

这是 MinerU 团队在 3 月 24 日放出的全新框架，论文标题非常到位：

Rethinking Document OCR as Inverse Rendering via Diffusion Decoding（将文档 OCR 重新定义为通过扩散解码的逆渲染问题）

一句话总结：把传统的自回归（从左到右一个字一个字吐）解码，换成了并行的扩散去噪解码

这个思路非常有意思

为什么自回归解码不适合 OCR？

现在主流的 OCR 方案，本质上都是一个路子：视觉编码器把图片变成特征，然后语言模型一个 token 一个 token 地从左到右生成文字

这个架构有三个致命问题：

1. 速度瓶颈

自回归解码是串行的——生成第 100 个 token 必须等前 99 个都完成。

文档越长，越慢，延迟线性增长。

2. 错误累积

前面错了一个，后面大概率跟着错。

就像多米诺骨牌，一倒一片。

对于长文档、复杂表格和公式这种动辄几千 token 的场景，这个问题尤为致命。

3. 依赖语言先验而非视觉证据

这是论文中最犀利的观察

自回归模型在解码时会不自觉地依赖"语义补全"——它更多是靠上下文猜接下来的字是什么，而非认真看图片上写的是什么

论文专门设计了一个Semantic Shuffle测试来证明这个问题：把文档中的单词打乱顺序，重新排版成图片，让模型去识别。

结果自回归模型的准确率随着打乱程度直线下跌，而扩散模型基本纹丝不动。

下图就是 Semantic Shuffle 测试的结果，可以清楚看到 AR（自回归）和 Diffusion（扩散）两种解码方式面对语义打乱时的表现差异：

这说明什么？自回归模型做 OCR 时有很大程度上是在"理解"文本然后"猜"出来的。而 OCR 的本质应该是忠实地"看"图片上写了什么，跟文字有没有语义无关。

MinerU-Diffusion 如何解题？

MinerU-Diffusion 的核心思想是：把 OCR 看作"逆渲染"

什么意思？文档渲染是：结构化文本 → 2D 图片

OCR 就是反过来：2D 图片 → 结构化文本

既然渲染过程不需要从左到右逐字生成，OCR 解码凭什么必须从左到右？

下图展示了自回归解码和扩散解码两种方式的对比：

基于这个洞察，MinerU-Diffusion 设计了三大核心技术：

1. Block-wise 分块扩散解码器

不搞全局的扩散（那样计算量太大），把输出序列分成若干个 Block。Block 内部用扩散并行生成，Block 之间保留粗粒度的自回归结构，兼顾了效率和全局一致性。

扩散解码的过程如下——黑色 token 是已确认的，红色 token 正在更新，黄色 token 是未处理的 mask，整个过程是并行推进的：

2. 不确定性驱动的两阶段课程学习

训练分两步走：

第一阶段：用大规模多样化数据建立基础能力（约 750 万样本）
第二阶段：通过多次推理找出模型"不确定"的硬骨头样本，人工精标后重点训练

这个策略非常聪明。扩散模型的训练比自回归更不稳定，数据利用效率也更低，分阶段先建立基本功、再专攻难点，是一个务实的工程选择。

下图展示了 MinerU-Diffusion 的训练架构——左侧是 mask 训练过程，右侧是 Block 注意力机制的结构：

3. 动态置信度调度

解码时，模型会根据每个 token 的置信度动态决定是否"落笔确认"。高置信的直接定了，低置信的继续去噪。这个阈值就像一个"旋钮"，可以在速度和精度之间灵活调节。

跑分：快 3 倍，准确率不掉

直接看数据：

在 OmniDocBench v1.5 评测中（带 GT Layout），以 τ=0.97 动态解码对比：

指标

MinerU2.5 (自回归)

MinerU-Diffusion (扩散, τ=0.97)

Overall ↑

Text Edit ↓

Formula CDM ↑

Table TEDS ↑

吞吐量 TPS

Overall 分数几乎一模一样，但吞吐量接近 2 倍！

而且这还只是置信度阈值 0.97 的结果

调到 0.95（Overall 93.37，精度与 MinerU2.5 几乎无差），吞吐量达到 108.9 TPS，2.1 倍加速

再放到 0.6，164.8 TPS，3.26 倍加速，准确率仍然超过 90%

下面这张图非常直观地展示了精度-吞吐量的权衡曲线：

在公式识别和表格识别上，MinerU-Diffusion 也表现出色：

公式识别（UniMER-Test）：CPE 91.6 / HWE 91.6 / SCE 92.0 / SPE 96.8，全面碾压 GPT-4o（CPE 82.7 / HWE 85.9 / SCE 87.8），每个指标都领先 4~9 分
表格识别（OCRBench v2）：TEDS 81.18 / TEDS-S 88.66，跟一众 AR 模型不相上下

效果展示：看看扩散解码到底怎么工作的

光看数字不过瘾，论文里给了大量的定性示例，非常直观

端到端文档解析效果

下面展示几种典型文档页面的完整识别结果，每组从左到右分别是：原始页面、布局检测结果、最终解析渲染输出。

学术论文页面——包含表格、图片、标题、公式等复杂元素，布局检测精确，解析结果完整保留了文档结构：

报纸版面——密集的多栏排版，阅读顺序正确恢复：

公式密集的试卷——大量数学公式精准识别为 LaTeX：

扩散解码的渐进生成过程

这组图更有意思——展示了扩散解码器在不同任务上是怎么"一步步去噪"的

上面是原始输入，下面是解码过程的可视化，可以看到 token 从 mask 状态逐步被确认的全过程。

布局检测的扩散解码——模型逐步确认页面各区域的位置和类别：

文本识别的扩散解码——文字从 mask 中并行"浮现"出来：

表格识别的扩散解码——表格结构和内容同步恢复：

公式识别的扩散解码——LaTeX 符号从噪声中逐步精确还原：

可以看到，扩散解码是全局并行推进的——不像自回归那样从左上角一路写到右下角，而是整个页面同时"显影"。这种解码模式天然适合文档这种二维空间结构。

模型规格与使用

MinerU-Diffusion-V1 是一个2.5B 参数的模型，支持四种任务：

Prompt 类型

功能

输出格式

Layout Detection

页面级布局解析

边界框 + 标签

Text Recognition

纯文本 OCR

原始 OCR 文本

Formula Recognition

公式提取

LaTeX

Table Recognition

表格提取

OTSL 结构化表格

支持三种推理引擎：HuggingFace Transformers、Nano-DVLM（单 GPU 推理）、SGLang（高性能服务化部署）。

快速上手

安装环境：

conda create -n dmineru python=3.12 -y
conda activate dmineru


 pip install torch==2.8.0 torchvision==0.23.0 torchaudio==2.8.0 --index-url https://download.pytorch.org/whl/cu128
pip install "transformers>=4.52.1"
# flash-attn 需要单独安装预编译 wheel（需匹配 CUDA/PyTorch 版本）
wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.8.3/flash_attn-2.8.3+cu12torch2.8cxx11abiFALSE-cp312-cp312-linux_x86_64.whl
pip install flash_attn-2.8.3+cu12torch2.8cxx11abiFALSE-cp312-cp312-linux_x86_64.whl
pip install -r requirements.txt

用 Transformers 跑一下：

import torch
from transformers import AutoModel, AutoProcessor, AutoTokenizer

 model_id = "opendatalab/MinerU-Diffusion-V1-0320-2.5B"
image_path = "path/to/page.png"

 tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True, use_fast=False)
model = AutoModel.from_pretrained(
    model_id, trust_remote_code=True,
    torch_dtype=torch.bfloat16, low_cpu_mem_usage=True
).eval().to("cuda")

 messages = [
    {"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant."}]},
    {"role": "user", "content": [
        {"type": "image", "image": image_path},
        {"type": "text", "text": "\nText Recognition:"},
    ]},
]

 prompt_text = processor.apply_chat_template(messages, add_generation_prompt=True)
if isinstance(prompt_text, tuple):
    prompt_text = prompt_text[0]

 inputs = processor(images=[image_path], text=prompt_text, truncation=True, max_length=4096, return_tensors="pt")
input_ids = inputs["input_ids"].to(torch.long).to("cuda")
pixel_values = inputs["pixel_values"].to(torch.bfloat16).to("cuda")
image_grid_thw = inputs.get("image_grid_thw")
if image_grid_thw isnotNone:
    image_grid_thw = image_grid_thw.to(torch.long).to("cuda")

 with torch.no_grad():
    outputs = model.generate(
        pixel_values=pixel_values,
        image_grid_thw=image_grid_thw,
        input_ids=input_ids,
        mask_token_id=tokenizer.convert_tokens_to_ids("<|MASK|>"),
        denoising_steps=32,
        gen_length=1024,
        block_length=32,
        temperature=1.0,
        remasking_strategy="low_confidence_dynamic",
        dynamic_threshold=0.95,
        tokenizer=tokenizer,
        stopping_criteria=["<|endoftext|>", "<|im_end|>"],
    )

 output_ids = outputs[0] if isinstance(outputs, tuple) else outputs
text = tokenizer.decode(output_ids[0], skip_special_tokens=False)
for stop in ("<|endoftext|>", "<|im_end|>"):
    text = text.split(stop, 1)[0]
print(text.strip())

端到端页面解析也支持：

cd /path/to/MinerU-Diffusion
MODEL_PATH=/path/to/model \
IMAGE_PATH=/path/to/input-page.png \
OUTPUT_PATH=/path/to/output.md \
bash scripts/run_end2end.sh

HuggingFace 上也有 Gradio Demo 可以直接体验：MinerU-Diffusion Demo

这个项目的意义，在我看来不只是"一个更快的 OCR 模型"。它验证了一个根本性的观点——OCR 的本质是视觉任务，解码方式应该与任务本质对齐。自回归解码是语言模型的标配，但 OCR 不是语言生成——你是在读图片，不是在写文章。

MinerU 团队从 MinerU 到 MinerU2.5 再到今天的 MinerU-Diffusion，一路走来持续在 OCR 领域推动技术前沿。这次用 Diffusion 思路来解 OCR，确实是一步好棋。

制作不易，如果这篇文章觉得对你有用，可否点个关注。给我个三连击：点赞、转发和在看。若可以再给我加个，谢谢你看我的文章，我们下篇再见！