OCRFlux 3B 多模态 PDF 转 Markdown 工具技术分析

一、概述

1. 简介

A. 项目背景

OCRFlux 是由 ChatDOC 团队开发的开源多模态大语言模型工具包，专注于将 PDF 文档和图像转换为高质量的 Markdown 文本。该项目于 2025 年 6 月 17 日发布 v0.1.0 版本，在复杂布局处理、复杂表格解析和跨页内容合并方面取得了显著突破。

B. 核心定位

  • 基于 3B 参数的视觉语言模型（VLM）
  • 可在消费级 GPU（如 GTX 3090）上运行
  • 开创性地支持跨页表格和段落合并功能
  • 在单页解析和跨页合并任务上均达到业界领先水平

C. 应用场景

  • 学术论文 OCR 处理
  • 技术文档数字化
  • 财务报表解析
  • 多语言文档处理（支持中英文）

2. 技术亮点

A. 单页解析优势

在自建的 OCRFlux-bench-single 基准测试中，OCRFlux-3B 达到了 0.967 的编辑距离相似度（EDS），相比基线模型 olmOCR-7B-0225-preview（0.872）、Nanonets-OCR-s（0.858）和 MonkeyOCR（0.780），分别提升了 0.095、0.109 和 0.187。

B. 跨页合并能力

首次在开源项目中支持跨页表格和段落合并，解决了 PDF 分页导致的内容碎片化问题。在 OCRFlux-bench-cross 基准测试中，跨页检测任务达到了 0.986 的 F1 分数和 0.986 的准确率。

C. 轻量级部署

相比需要更大显存的 7B 模型，3B 参数的模型设计使其能够在 12GB 显存的 GPU 上运行，大幅降低了硬件门槛。

二、系统架构

1. 整体架构

OCRFlux 采用模块化的流水线架构，将 PDF 转换过程分解为多个阶段，每个阶段专注于特定的子任务。

graph TB
    Input[PDF/Image 文件] --> Render[PDF 页面渲染]
    Render --> PageParse[单页解析]
    PageParse --> PageElements[页面元素提取]
    PageElements --> DetectMerge{跨页检测}
    DetectMerge -->|需要合并| CrossPageMerge[跨页合并]
    DetectMerge -->|无需合并| Output[生成 Markdown]
    CrossPageMerge --> TableMerge[表格合并]
    CrossPageMerge --> ParaMerge[段落合并]
    TableMerge --> Output
    ParaMerge --> Output

OCRFlux 系统架构

2. 核心组件

A. PDF 渲染模块

负责将 PDF 页面转换为图像格式，使用 poppler-utils 进行高质量渲染。支持自定义图像尺寸（通过 target_longest_image_dim 参数控制）。

B. 单页解析模块

基于 3B 参数的视觉语言模型，将页面图像转换为结构化的 Markdown 元素列表。该模块能够：

  • 识别多栏布局并按自然阅读顺序排序
  • 解析复杂表格和数学公式
  • 自动移除页眉和页脚

C. 跨页检测模块

分析相邻页面的 Markdown 元素列表，判断是否存在需要合并的跨页内容。使用精确率、召回率和 F1 分数评估检测性能。

D. 跨页合并模块

针对检测到的跨页内容进行智能合并：

  • 段落合并：直接拼接文本内容
  • 表格合并：处理表头重复、单元格跨页、垂直分割等复杂场景

三、核心功能

1. 单页解析功能

A. 布局理解

OCRFlux 能够处理多种复杂布局场景：

  • 多栏布局（如学术论文的双栏排版）
  • 图文混排
  • 插入框和侧边栏

B. 表格解析

支持简单表格和复杂表格（包含 rowspan 和 colspan 的单元格）。在 OCRFlux-pubtabnet-single 基准测试中：

  • 简单表格 TEDS：0.912
  • 复杂表格 TEDS：0.807
  • 总体 TEDS：0.861

C. 公式处理

支持 LaTeX 数学公式的识别和转换。

D. 页面清理

自动识别并移除重复的页眉和页脚，保留页面核心内容。

2. 跨页合并功能

A. 跨页检测

输入：两个连续页面的 Markdown 元素列表
输出：需要合并的元素索引

检测评估指标（OCRFlux-bench-cross）：

语言精确率召回率F1 分数准确率
英语0.9920.9640.9780.978
中文1.0000.9880.9940.994
总体0.9960.9760.9860.986

B. 跨页段落合并

对于跨页段落，直接将文本内容拼接，确保语义连贯性。

C. 跨页表格合并

处理以下复杂场景：

  • 表头重复：第二页表格的第一行往往是第一页的表头重复
  • 单元格跨页：长内容单元格在不同页面间分割
  • 垂直分割：多列表格在不同页面间垂直分割

表格合并评估（OCRFlux-pubtabnet-cross）：

表格类型TEDS 分数
简单表格0.965
复杂表格0.935
总体0.950

四、技术实现

1. 模型规格

A. 基础配置

  • 参数量：3B（30 亿参数）
  • 模型类型：多模态大语言模型（VLM）
  • 推理引擎：vLLM
  • 数据类型支持：bfloat16、float16、float32

B. 硬件要求

  • 最低配置：12GB 显存的 NVIDIA GPU（如 GTX 3090）
  • 推荐配置：24GB+ 显存（如 RTX 4090、L40S、A100、H100）
  • 存储空间：20GB 可用磁盘空间
  • 系统依赖：poppler-utils、字体包

2. 推理优化

A. GPU 内存管理

通过 gpu_memory_utilization 参数控制 GPU 内存使用率（默认 0.8），支持在有限显存下运行模型。

B. 张量并行

对于显存较小的 GPU，可通过 tensor_parallel_size 参数将模型分布到多个 GPU 上运行。

C. 数据类型选择

  • 支持 bf16 的 GPU（如 RTX 3090、4090）：使用 bfloat16 提升性能
  • 不支持 bf16 的 GPU（如 V100）：使用 float32 确保兼容性

3. 部署方式

A. 离线推理

直接在代码中调用 OCRFlux，无需启动在线服务：

from vllm import LLM
from ocrflux.inference import parse

llm = LLM(model="model_dir/OCRFlux-3B",
           gpu_memory_utilization=0.8,
           max_model_len=8192)
result = parse(llm, 'test.pdf')

B. 在线服务

启动 vLLM 服务器，支持多客户端并发请求：

bash ocrflux/server.sh /path/to/model 30024

C. Docker 容器

提供预配置的 Docker 镜像，简化部署流程：

docker run -it --gpus all \
  -v /path/to/localworkspace:/localworkspace \
  -v /path/to/test_pdf_dir:/test_pdf_dir \
  chatdoc/ocrflux:latest

五、基准测试

1. 单页解析基准

A. OCRFlux-bench-single

  • 样本数量：2000 页 PDF（1000 英文 + 1000 中文）
  • 标注方式：人工多轮标注校验
  • 评估指标：编辑距离相似度（EDS）

性能对比：

模型英文 EDS中文 EDS平均 EDS
olmOCR-7B-0225-preview0.8850.8590.872
Nanonets-OCR-s0.8700.8460.858
MonkeyOCR0.8280.7310.780
OCRFlux-3B0.9710.9620.967

B. OCRFlux-pubtabnet-single

  • 样本来源：公共 PubTabNet 数据集
  • 样本数量：9064 个 HTML 表格样本
  • 分类：简单表格（无 rowspan/colspan）和复杂表格
  • 评估指标：树编辑距离相似度（TEDS）

表格解析性能：

表格类型olmOCR-7BNanonetsMonkeyOCROCRFlux-3B
简单表格0.8100.8820.8800.912
复杂表格0.6760.7720.8260.807
总体0.7440.8280.8530.861

2. 跨页合并基准

A. OCRFlux-bench-cross

  • 样本数量：1000 个跨页样本（500 英文 + 500 中文）
  • 标注内容：相邻两页的 Markdown 元素列表及需要合并的元素索引
  • 评估指标：精确率、召回率、F1 分数、准确率

检测性能：

语言精确率召回率F1 分数准确率
英语0.9920.9640.9780.978
中文1.0000.9880.9940.994
总体0.9960.9760.9860.986

B. OCRFlux-pubtabnet-cross

  • 样本数量：9064 对分割表格片段
  • 评估指标：合并后表格与真实表格的 TEDS

合并性能：

表格类型TEDS 分数
简单表格0.965
复杂表格0.935
总体0.950

六、使用指南

1. 环境配置

A. 系统依赖

Ubuntu/Debian 系统安装：

sudo apt-get update
sudo apt-get install poppler-utils poppler-data \
  ttf-mscorefonts-installer msttcorefonts \
  fonts-crosextra-caladea fonts-crosextra-carlito \
  gsfonts lcdf-typetools

B. Python 环境

创建干净的 conda 环境：

conda create -n ocrflux python=3.11
conda activate ocrflux

C. 安装 OCRFlux

git clone https://github.com/chatdoc-com/OCRFlux.git
cd OCRFlux
pip install -e . --find-links https://flashinfer.ai/whl/cu124/torch2.5/flashinfer/

2. 基本使用

A. 处理单个文件

python -m ocrflux.pipeline ./localworkspace \
  --data test.pdf \
  --model /model_dir/OCRFlux-3B

B. 批量处理

python -m ocrflux.pipeline ./localworkspace \
  --data test_pdf_dir/*.pdf \
  --model /model_dir/OCRFlux-3B

C. 生成 Markdown 文件

python -m ocrflux.jsonl_to_markdown ./localworkspace

3. 高级配置

A. 跳过跨页合并

加速处理过程，但会牺牲部分质量：

python -m ocrflux.pipeline ./localworkspace \
  --data test.pdf \
  --model /model_dir/OCRFlux-3B \
  --skip_cross_page_merge

B. 多 GPU 推理

python -m ocrflux.pipeline ./localworkspace \
  --data test.pdf \
  --model /model_dir/OCRFlux-3B \
  --tensor_parallel_size 2

C. 数据类型选择

# V100 GPU（不支持 bf16）
python -m ocrflux.pipeline ./localworkspace \
  --data test.pdf \
  --model /model_dir/OCRFlux-3B \
  --dtype float32

七、性能分析

1. 优势分析

A. 单页解析质量

OCRFlux-3B 在中英文混合数据集上的平均 EDS 达到 0.967，显著优于同类开源模型。这得益于：

  • 3B 参数规模的模型设计平衡了性能和效率
  • 针对复杂布局的专门训练
  • 表格和公式解析的专项优化

B. 跨页合并能力

作为首个支持跨页合并的开源项目，OCRFlux 解决了 PDF 处理中的关键痛点：

  • 避免内容碎片化
  • 保持表格和段落的完整性
  • 提升最终输出文档的可读性

C. 部署灵活性

  • 支持离线推理和在线服务两种模式
  • 可在消费级 GPU 上运行
  • 提供 Docker 容器化部署方案

2. 局限性

A. 复杂表格合并

在 OCRFlux-pubtabnet-single 的复杂表格解析中，TEDS 为 0.807，略低于 MonkeyOCR 的 0.826。这表明在极端复杂的表格场景下仍有提升空间。

B. 硬件依赖

虽然降低了硬件门槛，但仍需要 NVIDIA GPU，无法在 CPU 或其他厂商的 GPU 上运行。

C. 语言支持

当前基准测试主要覆盖中英文，对其他语言的支持能力尚未充分验证。

八、项目生态

1. 开源许可

采用 Apache 2.0 许可证，允许商业使用和修改。

2. 团队背景

由 ChatDOC 团队开发和维护，ChatDOC 是一个专注于文档 AI 的产品公司。

3. 代码复用性

项目提供多个可复用的代码模块：

  • pipeline.py：大规模 PDF 批处理流水线
  • jsonl_to_markdown.py：JSONL 转 Markdown 工具
  • inferencer.py：离线推理接口
  • server.py：vLLM 服务器启动脚本
  • client.py：在线推理客户端
  • 多个评估脚本：用于模型性能测试

九、应用前景

1. 学术研究

OCRFlux 的高质量解析能力使其成为学术文献数字化的理想工具，特别是：

  • 多栏布局的学术论文
  • 复杂表格和数据图表
  • 跨页表格和公式

2. 企业应用

  • 财务报表自动化处理
  • 合同文档数字化归档
  • 技术文档批量转换

3. 个人使用

  • 电子书制作和整理
  • 笔记归档和检索
  • 文献资料管理

十、总结

OCRFlux 作为轻量级多模态 PDF 转 Markdown 工具，在单页解析和跨页合并两个核心任务上均表现出色。其 3B 参数的模型设计使得高质量 OCR 技术能够在消费级硬件上运行，降低了技术使用门槛。开创性的跨页合并功能解决了 PDF 处理中的长期痛点，为文档数字化提供了新的解决方案。

从技术角度看，OCRFlux 的成功体现了以下几个关键点：

  • 专注核心场景的模型设计
  • 高质量基准测试的构建
  • 工程化部署的完善
  • 开源社区的积极参与

未来可期待的改进方向包括：

  • 支持更多语言
  • 进一步提升复杂表格解析能力
  • 降低硬件依赖（如支持 CPU 推理）
  • 优化长文档处理效率

参考资料

  1. OCRFlux GitHub 仓库
最后修改：2026 年 01 月 26 日
© 允许规范转载
如果觉得我的文章对你有用，请随意赞赏