jina-reranker-m0

jina-reranker-m0 是一款突破性的多模態多語言重排模型，用於對多語言視覺文件排序。它的過人之處在於能同時處理查詢和視覺資訊豐富的文件影象，涵蓋含文字、圖形、表格及各類版式的頁面，支援 29 種語言，並按與查詢的相關性輸出排序後的文件列表。以往的重排模型受困於「模態鴻溝」問題，影象只與影象靠近、文字只與文字靠近，而 jina-reranker-m0 在單個純解碼器模型中統一了文字與視覺模態，能把影象和文字文件放在一起有效排序，帶來順暢的多模態搜尋體驗。

jina-reranker-m0 的架構與以往方案有本質區別。它基於 24 億參數的 Qwen2-VL-2B 構建，從經典的交叉編碼器架構轉向純解碼器的視覺語言模型。該方案沿用 Qwen2-VL 預訓練好的視覺編碼器和投影器，用 LoRA（低秩自適應）微調其大語言模型，並接一個後訓練的 MLP 輸出排序 logits，用於衡量查詢與文件的相關性。這一判別式模型最多可處理 32K 詞元，支援從 56×56 像素到 4K 解析度的圖像。處理圖像時，視覺 Transformer（ViT）和投影器會把相鄰的 2×2 詞元合併為一個視覺詞元，特殊詞元則清晰標出視覺詞元的邊界，讓語言模型能夠統一整合視覺與文本資訊並進行推理。

Jina-reranker-m0 在多項基準測試中成績亮眼。文字到文字重排方面，BEIR 上取得 58.95 NDCG-10，優於 jina-embeddings-v3（55.81）和 bge-reranker-v2-m3（56.51）等對手。多語言內容方面，覆蓋 18 種語言的 MIRACL 上取得 66.75 NDCG-10。長文件方面，覆蓋 13 種語言的 MLDR 上取得 59.83 NDCG-10。程式碼檢索方面，CoIR 上取得 63.55 NDCG-10，大幅領先同類。而它真正的高光在視覺文件檢索：ViDoRe 上取得 91.02 NDCG-5；在考察圖文組合推理的 Winoground 上取得 43.92 的平均分，說明它在理解圖文關係上明顯強於其他模型。

要把 jina-reranker-m0 的潛力發揮到極致，開發者可參考以下幾點。該模型可透過 API、雲服務市場（AWS、Azure、GCP）呼叫，也可從 Hugging Face 下載本地部署。使用 API 時，可傳入文字字串、base64 影象或影象 URL，新使用者可獲贈一千萬免費詞元。得益於充分的訓練，它在文字到文字、文字到影象、影象到文字以及文字到混合單模態等任務上表現優異；不過要注意，影象到影象等組合屬於零樣本支援，未做專門訓練。為獲得最佳效果，請記住模型最多支援 10K 輸入詞元，每張影象最多佔 768 詞元。純解碼器架構還帶來了重排之外的更多可能：真正的混合模態重排、列表式重排、文件去重，以及藉助注意力機制解釋排序得分，這些都是此前純編碼器架構做不到的。