概述
jina-reranker-m0 是一個建構在視覺語言模型架構上的 2.4B 參數多模態多語言重排模型。它是首個能處理多語言視覺文件(文字、圖片、表格、圖表)的重排模型,在 ViDoRe(91.02 NDCG-5)與多語言長文件檢索(MLDR)上取得 SOTA 效能。該模型支援文字對文字、文字對圖片、圖片對文字與混合模態的重排序。
方法
該模型建構在僅解碼器的 VLM 架構上(2.4B 參數),結合 DFN CLIP ViT 視覺編碼器與 Qwen2 語言解碼器。傳統交叉編碼器只處理文字,VLM 骨幹則原生處理文字與圖片輸入,因此含有視覺內容的文件(掃描 PDF、資訊圖表、簡報、內嵌圖表的表格)也能重排序。10K 詞元上下文視窗可容納每張圖片最多 768 個詞元(以 768×28×28 圖塊處理)。訓練使用多模態對比目標,資料涵蓋多種語言的多種文件型態。僅解碼器架構讓 listwise 重排序成為可能,也為文件去重與基於注意力機制的排序分數可解釋性開闢空間——這些都是僅編碼器架構做不到的。
效能
在文字對文字重排序中,該模型在 BEIR 上取得 NDCG-10 58.95,勝過 jina-embeddings-v3(55.81)與 bge-reranker-v2-m3(56.51)。在多語言內容上,它在 MIRACL(18 種語言)取得 NDCG-10 66.75。長文件基準 MLDR 上,它在 13 種語言取得 NDCG-10 59.83。程式碼檢索在 CoIR 上達 NDCG-10 63.55。視覺文件檢索是它的強項:ViDoRe 上 NDCG-5 91.02,Winoground(視覺語言組合推理)上平均 43.92。部分模態組合(例如圖片對圖片)在零樣本模式下也能用,不需特定訓練資料。
最佳實務
該模型可經 Jina API、AWS、Azure、GCP 市集取得,也可透過 Hugging Face 在地端使用。使用 API 時,可傳文字字串、base64 圖片或圖片 URL——新使用者可獲得 10M 免費詞元。模型支援最多 10K 輸入詞元,每張圖片最多 768 個詞元。為求最佳效果,它在文字對文字、文字對圖片、圖片對文字與文字對混合模態任務上表現最好;圖片對圖片則屬零樣本。僅解碼器架構帶來的不只是重排序:混合模態重排序、listwise 重排序、文件去重,以及基於注意力的排序可解釋性。當文件含有純文字重排模型處理不了的視覺內容(掃描 PDF、圖表、資訊圖表)時,就用這個模型。若只要更低成本的純文字重排序,請用 jina-reranker-v3.5。








