I/O 圖

圖片

jina-ocr-v1

PDF

Markdown

帕雷托前緣
1B3.0B10B30B100B406080Chandra-OCR-0.1.0chandra-ocr-2DeepSeek-OCR-2dots.mocrdots.ocrGLM-OCRGOT-OCRHunyuanOCRInfinity-Parser-7BInfinity-Parser2-FlashInfinity-Parser2-ProMinerU-2.5MinerU2.5-ProMistral Small 4Nanonets-OCR-sNanonets-OCR2-3BolmOCRolmOCR-2PaddleOCR-VLPaddleOCR-VL-1.5Qianfan-OCRQwen2-VL-7BQwen2.5-VL-72BQwen2.5-VL-7BQwen3-VL-2BQwen3.5-2BSurya OCR 2jina-ocr-v1參數量(對數)score
本模型
在前緣上
Jina AI
其他
olmOCR-Bench
83.40
參數量
3.4B
按分數的排名
5 / 33
帕雷托前緣
在前緣之後
選擇要比較的模型
論文 (1)

概述

jina-ocr-v1 一次就把頁面變成 Markdown:文字、公式、表格與閱讀順序一併給出。它不一樣的地方在於工程資源投在哪裡。解析品質的競爭已經很激烈,於是模型改攻生產環境中真正花錢的環節——解碼。OCR 輸出在局部是可預測的,模型因此提前起草 3 個詞元,再讓驗證器以貪心方式檢查。由於驗證是貪心的,結果無損,與一般自回歸解碼逐位元組一致;模型每輪驗證平均確認 2.7 個詞元,而非 1 個。

其餘設計都源自同一個目標。它是總參數 3.4B 的專家混合模型,每個詞元只啟用約 570M,執行成本相當於小模型,容量卻不只如此。在預設動態解析度設定下,OmniDocBench v1.6 得分 91.14,olmOCR-Bench 得分 83.4。

語言覆蓋承襲自基礎模型。DeepSeek-OCR 曾在涵蓋約 100 種語言的 3,000 萬頁 PDF 上預訓練,jina-ocr-v1 保留同一組編碼器與解碼器,因此文件解析也具備同樣的廣度。

ReaderLM-v2 把已經抽取出來的 HTML 轉成 Markdown。jina-ocr-v1 則提早一步,直接讀取渲染後的頁面。

方法

架構繼承 DeepSeek-OCR 的 DeepEncoder 與專家混合解碼器。DeepEncoder 約 380M 參數,把 80M 的 SAM 階段串接 16 倍卷積壓縮器,再接上 300M 的 CLIP-L 階段,因此 1024×1024 的一頁只需 256 個視覺詞元。Gundam 動態解析度模式每多一個圖塊加 100 個詞元,單頁最多 1,156 個詞元。解碼器是 DeepSeek-3B-MoE:12 層、隱藏維度 1280、64 個路由專家加 2 個共享專家(top-6 路由)、詞彙表 129,280、位置上限 32,768。

解碼速度來自 FastMTP:用單一稠密草稿區塊遞迴跑 K=3 個預測步,而不是 K 個獨立的頭。驗證是貪心的,因此投機路徑無損,輸出的文字與一般自回歸解碼完全相同。

後訓練包含指令對齊、針對困難與退化文件的穩健性微調,以及在稠密可驗證獎勵下的 GRPO——這裡的獎勵是確定性的公式、表格與結構檢查,給部分分而非單一的通過/不通過訊號。訓練資料把清理過的公開 OCR 語料(olmOCR-mix、FinePDFs、DoclingMatrix、SynthChartNet、UniMER),與 Europeana 報紙、美國國會圖書館轉錄稿、NARA 退休金檔案等歷史及退化素材,以及帶著 olmOCR-Bench 風格單元測試的定向合成頁面混在一起,讓獎勵在關鍵處有覆蓋。

效能

olmOCR-Bench 上,模型總體得分 83.4。按子集看,Base 99.9 與對比組最佳並列,其後是 LongTiny 93.2、Tables 88.8、Hdr/Ftr 88.7、ArXiv 86.1、Multi-column 85.5、OldScans-Math 82.3、OldScans 42.6。OmniDocBench v1.6 上總體 91.14,文字編輯距離 0.046、公式 CDM 93.28、表格 TEDS 84.68、TEDS-S 89.01、閱讀順序編輯距離 0.142。

效率才是這個模型的重點。在一張 A100 SXM4 40GB、並行度 32、1,403 頁的條件下測得 2.57 頁/秒,為對比組最高,約是 olmOCR-2 的 1.22 的兩倍,同時每頁輸出 1,085 個詞元、每秒 2,792 個詞元。得分更高的模型要慢得多:Infinity-Parser2-Pro 以 87.6 領先品質,但在其批次 H100 配置(TP=2、C=8、doc2json)下每頁需 2.13 秒;Infinity-Parser2-Flash 以 86.0 每頁需 0.95 秒;在這個模型自身的對比表中,chandra-ocr-2 以 85.8 領先品質卻只有 0.38 頁/秒,dots.mocr 以 0.55 頁/秒得 83.9。詞元數具競爭力,但不是整體最佳:PaddleOCR-VL-1.6 每頁更省(1,048),Surya OCR 2 每秒輸出更多(3,760)。

投機解碼讓低成本 GPU 變得可行。在 NVIDIA L4、批次大小 1 上,FastMTP 在 K=3 時把 eager 模式解碼從 42.7 提升到 83.1 輸出詞元/秒,接受率 57.6%,提速 1.95 倍。用 CUDA Graph 時基線已有 158.3 詞元/秒,K=1 是最佳工作點(185.6 詞元/秒),提升 1.17 倍。這些 L4 數字是在不同硬體上以批次大小 1 測得,與上面的 A100 吞吐量不可直接比較。

最佳實務

一般文件請用預設的動態解析度設定,這正是報告成績所依據的配置。輸出即 Markdown,表格與公式已經是結構化格式,不需另外後處理。模型鎖定低預算 GPU:L4 或同級就足以互動式解析單份文件;投機解碼在 eager 模式下收益最大,因此在該模式啟用 K=3,搭配 CUDA Graph 執行時則用 K=1。由於驗證是貪心的,開關投機解碼只會改變吞吐量,永遠不會改變文字。

最適合大量文件匯入、PDF 轉 Markdown 管線、掃描與歷史檔案,以及任何「每美元每秒頁數」比基準分數最後一分更重要的負載。頁首與頁尾是直接丟棄而非轉錄:Hdr/Ftr 子集是獎勵省略的文字缺失測試,模型在該子集得 88.7 分,因此書眉與頁碼不會出現在輸出中。OldScans 仍是最弱的子集(42.6),嚴重退化的掃描件仍值得人工複核。

如果輸入是已經抓取下來的 HTML,要得到同樣的 Markdown,ReaderLM-v2 是更便宜的工具。若要在頁面上做視覺問答而非轉錄,請用 jina-vlm。要對解析結果做檢索,請搭配 jina-embeddings-v4。

提及此模型的部落格