I/O 圖 1

多個

文字

文字

jina-reranker-m0

排序

I/O 圖 2

多個

圖片

文字

jina-reranker-m0

排序

I/O 圖 3

多個

文字

圖片

jina-reranker-m0

排序

I/O 圖 4

多個

圖片

圖片

jina-reranker-m0

排序

帕雷托前緣
300M1B3.0B10B707580859095Argus-Colqwen3.5-2b-v0Argus-Colqwen3.5-4b-v0Argus-Colqwen3.5-9b-v0ColFlorColModernVBERTcolpali-v1.1ColPali-v1.2colpali-v1.3colqwen2-v1.0colSmol-256McolSmol-500MMonoQwen2-VL-v0.1Ops-Colqwen3-4BSauerkrautLM-ColQwen3-1…SauerkrautLM-ColQwen3-2…tomoro-colqwen3-embed-4bjina-reranker-m0參數量(對數)nDCG@5
本模型
在前緣上
Jina AI
其他
ViDoRe v1
91.02
參數量
2.4B
按分數的排名
7 / 24
帕雷托前緣
在前緣之後
取值分佈
AUC 0.9383
語料
翻譯對
文件檢索
程式碼
圖片 / 橫幅
圖片 / 標誌
0.7120.200.400.600.801.00
相關83.2%
困難負例24.7%
無關9.3%
推薦閾值
FPR 0.1 · 0.712
FPR 0.01 · 0.938
FPR 0.001 · 0.968
FPR 0.0001 · 0.972
均衡 · 0.692
AUC
0.9383
雜訊上限
0.965
召回斷崖
0.425
測量樣本對
119 / 2,856
各名次得分
12345678910
各名次位置上的平均得分
誰排在第一位
119 個查詢中有 66% 由正確結果奪得第一
選擇要比較的模型

概述

jina-reranker-m0 是一個建構在視覺語言模型架構上的 2.4B 參數多模態多語言重排模型。它是首個能處理多語言視覺文件(文字、圖片、表格、圖表)的重排模型,在 ViDoRe(91.02 NDCG-5)與多語言長文件檢索(MLDR)上取得 SOTA 效能。該模型支援文字對文字、文字對圖片、圖片對文字與混合模態的重排序。

方法

該模型建構在僅解碼器的 VLM 架構上(2.4B 參數),結合 DFN CLIP ViT 視覺編碼器與 Qwen2 語言解碼器。傳統交叉編碼器只處理文字,VLM 骨幹則原生處理文字與圖片輸入,因此含有視覺內容的文件(掃描 PDF、資訊圖表、簡報、內嵌圖表的表格)也能重排序。10K 詞元上下文視窗可容納每張圖片最多 768 個詞元(以 768×28×28 圖塊處理)。訓練使用多模態對比目標,資料涵蓋多種語言的多種文件型態。僅解碼器架構讓 listwise 重排序成為可能,也為文件去重與基於注意力機制的排序分數可解釋性開闢空間——這些都是僅編碼器架構做不到的。

效能

在文字對文字重排序中,該模型在 BEIR 上取得 NDCG-10 58.95,勝過 jina-embeddings-v3(55.81)與 bge-reranker-v2-m3(56.51)。在多語言內容上,它在 MIRACL(18 種語言)取得 NDCG-10 66.75。長文件基準 MLDR 上,它在 13 種語言取得 NDCG-10 59.83。程式碼檢索在 CoIR 上達 NDCG-10 63.55。視覺文件檢索是它的強項:ViDoRe 上 NDCG-5 91.02,Winoground(視覺語言組合推理)上平均 43.92。部分模態組合(例如圖片對圖片)在零樣本模式下也能用,不需特定訓練資料。

最佳實務

該模型可經 Jina API、AWS、Azure、GCP 市集取得,也可透過 Hugging Face 在地端使用。使用 API 時,可傳文字字串、base64 圖片或圖片 URL——新使用者可獲得 10M 免費詞元。模型支援最多 10K 輸入詞元,每張圖片最多 768 個詞元。為求最佳效果,它在文字對文字、文字對圖片、圖片對文字與文字對混合模態任務上表現最好;圖片對圖片則屬零樣本。僅解碼器架構帶來的不只是重排序:混合模態重排序、listwise 重排序、文件去重,以及基於注意力的排序可解釋性。當文件含有純文字重排模型處理不了的視覺內容(掃描 PDF、圖表、資訊圖表)時,就用這個模型。若只要更低成本的純文字重排序,請用 jina-reranker-v3.5。

提及此模型的部落格