jina-reranker-m0：多語言多模態文件重排序器

jinaai/jina-reranker-m0 · Hugging Face

我們正在透過開源和開放科學來推進和民主化人工智慧。

今天我們發布了 jina-reranker-m0，這是我們新的多語言多模態重排序模型，用於跨多種語言對視覺文件進行排序：它接受查詢以及一系列視覺豐富的文件圖像，包括含有文字、圖表、表格、資訊圖表的頁面，以及跨越多個領域和超過 29 種語言的各種版面配置。它會輸出一個根據與輸入查詢相關性排序的文件列表。與 jina-reranker-v2-base-multilingual 相比，jina-reranker-m0 還改進了多語言內容、長文件和程式碼搜尋任務的文字重排序效果。

tag新架構

與 jina-reranker-v2-base-multilingual 不同，jina-reranker-m0 從傳統的交叉編碼器架構轉向只解碼器視覺語言模型。它利用了預訓練的 Qwen2-VL 的視覺編碼器和投影器，通過 LoRA 微調了其 LLM，並後訓練了一個 MLP 來生成衡量查詢-文件相關性的排序邏輯。這形成了一個針對排序任務優化的判別模型。

這種新架構使 jina-reranker-m0 能夠處理高達 32K 的標記，無縫結合視覺和文字輸入。該模型支援從最小 56×56 像素到 4K 解析度的圖像。在處理圖像時，ViT 和投影器將相鄰的 2×2 標記壓縮成單個視覺標記供 LLM 輸入。特殊標記如 <|vision_start|> 和 <|vision_end|> 清晰地標記視覺標記邊界，使語言模型能夠正確處理視覺資訊並執行結合視覺和文字元素的複雜多模態推理。

這種架構還有效解決了困擾早期模型如 jina-clip-v1 和 jina-clip-v2 的模態差距問題。此前，圖像會聚集在其他圖像附近，而文字會聚集在其他文字附近的表示空間中，造成斷裂。這意味著當你的候選文件同時包含圖像和文字時，使用文字查詢檢索圖像會有問題。有了 jina-reranker-m0，你現在可以不用擔心這個差距就能同時對圖像和文件進行排序，創造真正統一的多模態搜尋體驗。

值得注意的是，我們的訓練限制在最多 10K 輸入標記，每張圖像最多 768 個標記（在 <|vision_start|> 和 <|vision_end|> 標記之間）。此外，我們沒有特別訓練模型用於 image-to-image、image-to-multimodal 或 text-to-multimodal 重排序任務。在這種情況下，「多模態」指的是單個文件在輸入中同時包含圖像和文字標記。查看查詢和文件中圖像和文字標記的所有可能組合，我們可以在下表中總結 jina-reranker-m0 支援的完整任務範圍。

在我們的測試中，我們發現一些證據表明該模型可以推廣到這些未經訓練的排序任務，但在這些領域的任何有效性都應被視為模型零樣本遷移能力或非預期訓練副作用的結果。我們尚未對模型在這些任務上的表現進行嚴格評估，並計劃在未來的研究中更徹底地探索這些能力。

tag開始使用

tag透過 API

以下程式碼展示了如何計算查詢 "small language model data extraction" 與一系列圖像和文字文件之間的相關性分數。您可以傳入文字字串、base64 編碼的圖像或圖像 URL。新使用者可以獲得一個包含 100 萬個免費 token 的 Jina API 金鑰。雖然我們的 API 不支援使用圖像作為查詢，但當您通過 Hugging Face Transformers 函式庫訪問模型時，可以使用圖像作為查詢。

curl -X POST \
  https://api.jina.ai/v1/rerank \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer JINA_API_KEY" \
  -d '{
  "model": "jina-reranker-m0",
  "query": "small language model data extraction",
  "documents": [
    {
      "image": "https://raw.githubusercontent.com/jina-ai/multimodal-reranker-test/main/handelsblatt-preview.png"
    },
    {
      "image": "https://raw.githubusercontent.com/jina-ai/multimodal-reranker-test/main/paper-11.png"
    },
    {
      "image": "https://raw.githubusercontent.com/jina-ai/multimodal-reranker-test/main/wired-preview.png"
    },
    {
      "text": "We present ReaderLM-v2, a compact 1.5 billion parameter language model designed for efficient web content extraction. Our model processes documents up to 512K tokens, transforming messy HTML into clean Markdown or JSON formats with high accuracy -- making it an ideal tool for grounding large language models. The models effectiveness results from two key innovations: (1) a three-stage data synthesis pipeline that generates high quality, diverse training data by iteratively drafting, refining, and critiquing web content extraction; and (2) a unified training framework combining continuous pre-training with multi-objective optimization. Intensive evaluation demonstrates that ReaderLM-v2 outperforms GPT-4o-2024-08-06 and other larger models by 15-20% on carefully curated benchmarks, particularly excelling at documents exceeding 100K tokens, while maintaining significantly lower computational requirements."
    },
    {
      "image": "https://jina.ai/blog-banner/using-deepseek-r1-reasoning-model-in-deepsearch.webp"
    },
    {
      "text": "数据提取么？为什么不用正则啊，你用正则不就全解决了么？"
    },
    {
      "text": "During the California Gold Rush, some merchants made more money selling supplies to miners than the miners made finding gold."
    },
    {
      "text": "Die wichtigsten Beiträge unserer Arbeit sind zweifach: Erstens führen wir eine neuartige dreistufige Datensynthese-Pipeline namens Draft-Refine-Critique ein, die durch iterative Verfeinerung hochwertige Trainingsdaten generiert; und zweitens schlagen wir eine umfassende Trainingsstrategie vor, die kontinuierliches Vortraining zur Längenerweiterung, überwachtes Feintuning mit spezialisierten Kontrollpunkten, direkte Präferenzoptimierung (DPO) und iteratives Self-Play-Tuning kombiniert. Um die weitere Forschung und Anwendung der strukturierten Inhaltsextraktion zu erleichtern, ist das Modell auf Hugging Face öffentlich verfügbar."
    }
  ],
  "return_documents": false
}'
Copy

回應如下所示，其中第一個結果 index=1 對應於我們的 ReaderLM-v2 論文截圖。

{"model":"jina-reranker-m0","usage":{"total_tokens":2829},"results":[{"index":1,"relevance_score":0.9587112551898949},{"index":3,"relevance_score":0.9337408271911014},{"index":7,"relevance_score":0.8922925217195924},{"index":2,"relevance_score":0.8891905997562045},{"index":0,"relevance_score":0.8827516945848907},{"index":4,"relevance_score":0.8701035914834407},{"index":6,"relevance_score":0.8676828987527296},{"index":5,"relevance_score":0.8455347349164652}]}
Copy

tag透過 CSP 市集

jina-reranker-m0 很快就會在 AWS、Azure 和 GCP 上直接提供，價格將列於其中。

tag透過 HuggingFace

您也可以從我們的 Hugging Face 頁面在本地使用該模型。我們準備了一個 Google Colab 筆記本來展示其工作原理。與我們的網頁 API 相比，本地使用模型提供更大的靈活性，例如能夠使用圖像作為查詢並處理多模態文件。

Google Colab

tag評估

[public]-jina-reranker-m0-evaluation-results

Google Docs

tagBEIR（文字對文字，僅英文）

BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models

Existing neural information retrieval (IR) models have often been studied in homogeneous and narrow settings, which has considerably limited insights into their out-of-distribution (OOD) generalization capabilities. To address this, and to facilitate researchers to broadly evaluate the effectiveness of their models, we introduce Benchmarking-IR (BEIR), a robust and heterogeneous evaluation benchmark for information retrieval. We leverage a careful selection of 18 publicly available datasets from diverse text retrieval tasks and domains and evaluate 10 state-of-the-art retrieval systems including lexical, sparse, dense, late-interaction and re-ranking architectures on the BEIR benchmark. Our results show BM25 is a robust baseline and re-ranking and late-interaction-based models on average achieve the best zero-shot performances, however, at high computational costs. In contrast, dense and sparse-retrieval models are computationally more efficient but often underperform other approaches, highlighting the considerable room for improvement in their generalization capabilities. We hope this framework allows us to better evaluate and understand existing retrieval systems, and contributes to accelerating progress towards better robust and generalizable systems in the future. BEIR is publicly available at https://github.com/UKPLab/beir.

arXiv.orgNandan Thakur

BEIR 是一個異質性的資訊檢索基準測試，旨在評估 IR 模型的多樣性和穩健性。它包含來自各個領域的多元數據集，並專注於零樣本評估。使用標準化的評估指標，如 NDCG、Recall@K 和 MRR。

tagMIRACL（Text2Text，多語言，18 種語言）

Making a MIRACL: Multilingual Information Retrieval Across a Continuum of Languages

MIRACL（Multilingual Information Retrieval Across a Continuum of Languages）是我們為 WSDM 2023 Cup 挑戰賽建立的多語言數據集，專注於 18 種不同語言的臨時檢索，這些語言的母語使用者總計超過 30 億人。這些語言具有多樣的類型學特徵，來自多個語系，並且具有不同程度的可用資源——包括研究人員通常所說的高資源和低資源語言。我們的數據集旨在支持創建和評估單語檢索模型，其中查詢和語料庫使用相同的語言。總共，我們為這 18 種語言的維基百科收集了超過 77,000 個查詢的 700,000 多個高質量相關性判斷，所有評估都由我們團隊聘請的母語者執行。我們的目標是促進跨語言連續體的檢索研究，從而提高全球各地人群的資訊獲取能力，特別是那些傳統上未得到充分服務的人群。這篇概述論文描述了我們與社群共享的數據集和基準。MIRACL 網站已上線，網址為 http://miracl.ai/。

arXiv.orgXinyu Zhang

MIRACL 是一個涵蓋 18 種語言的大規模多語言資訊檢索資料集。它覆蓋超過 30 億原生語言使用者，並具有詳盡的人工標註。主要專注於單語言檢索任務。

tagMLDR（Text2Text，多語言長文件，13 種語言）

BGE M3-Embedding：通過自知識蒸餾實現多語言、多功能、多粒度文本嵌入

本論文介紹了一個新的嵌入模型，稱為 M3-Embedding，它以多語言性、多功能性和多粒度性為特色。該模型支援超過 100 種工作語言，在多語言和跨語言檢索任務上取得了新的最佳性能。它可以同時執行嵌入模型的三種常見檢索功能：密集檢索、多向量檢索和稀疏檢索，為實際 IR 應用提供了統一的模型基礎。它能夠處理不同粒度的輸入，從短句到最多 8192 個 tokens 的長文件。M3-Embedding 的有效訓練包含以下技術貢獻。我們提出了一種新穎的自知識蒸餾方法，其中來自不同檢索功能的相關性分數可以整合為教師信號以提高訓練質量。我們還優化了批次處理策略，實現了大批次規模和高訓練吞吐量，以確保嵌入的區分性。據我們所知，M3-Embedding 是第一個實現如此強大通用性的嵌入模型。模型和程式碼將在 https://github.com/FlagOpen/FlagEmbedding 公開。

arXiv.orgJianlv Chen

MLDR 是一個專門為長文檔檢索設計的多語言數據集，涵蓋 13 種語言。它使用 GPT-3.5 為文檔生成問題。該數據集建立在 Wikipedia、Wudao 和 mC4 的基礎之上。

tagMKQA（Text2Text，多語言問答，24 種語言，中文有 3 種變體）

MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering

Progress in cross-lingual modeling depends on challenging, realistic, and diverse evaluation sets. We introduce Multilingual Knowledge Questions and Answers (MKQA), an open-domain question answering evaluation set comprising 10k question-answer pairs aligned across 26 typologically diverse languages (260k question-answer pairs in total). Answers are based on a heavily curated, language-independent data representation, making results comparable across languages and independent of language-specific passages. With 26 languages, this dataset supplies the widest range of languages to-date for evaluating question answering. We benchmark a variety of state-of-the-art methods and baselines for generative and extractive question answering, trained on Natural Questions, in zero shot and translation settings. Results indicate this dataset is challenging even in English, but especially in low-resource languages

arXiv.orgShayne Longpre

MKQA 是一個開放領域問答評估集，包含 10k 個問答配對，橫跨 26 種不同的類型語言。這些問答配對是從 Google Natural Questions 中取樣而來。

tagCoIR（文本對文本，程式碼資訊檢索）

CoIR：程式碼資訊檢索模型的綜合基準

儘管資訊檢索（IR）在各種自然語言處理任務中取得了重大成功，但大多數 IR 系統主要處理自然語言的查詢和語料庫，忽略了程式碼檢索領域。程式碼檢索雖然至關重要，但仍未得到充分研究，現有的方法和基準無法充分代表各個領域和任務中程式碼的多樣性。為解決這個問題，我們提出了 COIR（程式碼資訊檢索基準），這是一個專門設計用於評估程式碼檢索能力的健全而全面的基準。COIR 包含十個精心策劃的程式碼數據集，涵蓋了七個不同領域的八種獨特檢索任務。我們首先討論 COIR 的構建及其多樣化的數據集組成。此外，我們使用 COIR 評估了九種廣泛使用的檢索模型，發現即使是最先進的系統在執行程式碼檢索任務時也存在顯著困難。為了便於在現有研究工作流程中輕鬆採用和整合，COIR 已開發為一個用戶友好的 Python 框架，可通過 pip 輕鬆安裝。它與其他流行的基準（如 MTEB 和 BEIR）共享相同的數據架構，使跨基準評估更加順暢。通過 COIR，我們旨在激發程式碼檢索領域的研究，提供一個多功能的基準工具，鼓勵進一步開發和探索程式碼檢索系統 https://github.com/CoIR-team/coir。

arXiv.orgXiangyang Li

CoIR 是一個全面的基準測試，旨在評估模型在程式碼檢索方面的能力。它包含 10 個精選的程式碼數據集，涵蓋了 7 個不同領域的 8 個檢索任務。該基準測試提供了一個 Python 框架。

tagViDoRe（文本轉圖像、視覺文件檢索基準測試）

ColPali：使用視覺語言模型進行高效文件檢索

文件是具有豐富視覺結構的內容，不僅通過文本，還通過圖表、頁面布局、表格甚至字體來傳遞信息。由於現代檢索系統主要依賴於從文件頁面中提取的文本信息來索引文件（通常通過冗長且脆弱的過程），他們難以有效地利用關鍵的視覺線索。這限制了它們在許多實際文件檢索應用中的能力，如檢索增強生成（RAG）。為了對當前系統在視覺豐富的文件檢索方面進行基準測試，我們引入了視覺文件檢索基準 ViDoRe，其中包含跨越多個領域、語言和實際場景的各種頁面級檢索任務。現代系統的固有複雜性和性能不足促使我們提出一個新概念：通過直接嵌入文件頁面的圖像來進行文件檢索。我們發布了 ColPali，這是一個經過訓練的視覺語言模型，可以從文件頁面的圖像生成高質量的多向量嵌入。結合後期交互匹配機制，ColPali 在性能上大大超越了現代文件檢索流程，同時更加簡單、快速且可端到端訓練。我們在 https://hf.co/vidore 以開放許可發布模型、數據、代碼和基準測試。

arXiv.orgManuel Faysse

ViDoRe 是一個專門設計用來評估檢索系統在使用視覺特徵匹配查詢與相關文件能力的基準測試。它涵蓋了多個領域和語言的各種頁面級檢索任務。該基準測試主要關注文件的視覺元素。

tagM-BEIR（Text2Image、Image2Text、基於指令的多模態檢索基準測試）

UniIR: Training and Benchmarking Universal Multimodal Information Retrievers

目前的資訊檢索（IR）模型通常假設一種同質的格式，這限制了它們在滿足多樣化用戶需求方面的應用，例如使用文本描述搜索圖像、使用標題圖像搜索新聞文章，或使用查詢圖像尋找類似的照片。為了應對這些不同的資訊搜尋需求，我們推出了 UniIR，這是一個統一的指令引導多模態檢索器，能夠處理跨模態的八種不同檢索任務。UniIR 是一個在十個不同多模態 IR 數據集上共同訓練的單一檢索系統，它能解讀用戶指令來執行各種檢索任務，在現有數據集上展現出強大的性能，並能零樣本泛化到新任務。我們的實驗強調，多任務訓練和指令調優是 UniIR 泛化能力的關鍵。此外，我們建立了 M-BEIR，這是一個具有全面結果的多模態檢索基準測試，用於標準化通用多模態資訊檢索的評估。

arXiv.orgCong Wei

M-BEIR 是一個全面的大規模檢索基準測試，專門用於訓練和評估多模態檢索模型。它包含八種多模態檢索任務和來自各種領域和來源的十個數據集。該基準測試主要關注遵循指令的檢索能力。

tagWinoground（Text2Text、Text2Image）

Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality

我們提出了一個新穎的任務和數據集，用於評估視覺和語言模型進行視覺語言組合推理的能力，我們稱之為 Winoground。給定兩張圖像和兩個標題，目標是正確匹配它們——但關鍵在於，兩個標題包含完全相同的詞集，只是順序不同。該數據集經過專家註釋者精心策劃，並標註了豐富的細粒度標籤，以協助分析模型性能。我們測試了各種最先進的視覺和語言模型，令人驚訝的是，它們的表現都不比隨機猜測好多少。顯然，這些模型在視覺語言組合推理方面的技能並不如我們所希望的那樣。我們進行了廣泛的分析，以獲得洞見，幫助未來的工作嘗試減輕這些模型的缺陷。我們希望 Winoground 能作為一個有用的評估集，推動該領域的技術進步。該數據集可在 https://huggingface.co/datasets/facebook/winoground 獲取。

arXiv.orgTristan Thrush

Winoground 是一個新穎的任務和資料集，用於評估視覺和語言模型進行視覺語言組合推理的能力。它使用具有相同詞彙內容的雙胞胎字幕，並採用對比式的圖像-字幕配對。重點在於組合推理。

Winoground 使用三個關鍵指標來評估視覺語言模型：Text Score、Image Score 和 Group Score。Text Score 衡量模型是否正確地將字幕與圖像配對，而 Image Score 則評估模型是否為字幕選擇正確的圖像。Group Score 是最嚴格的指標，要求所有字幕-圖像關係都必須被正確識別。這些分數以百分比表示準確率，分數越高表示推理能力越好。

tag結論

jina-reranker-m0 是我們首次嘗試在單一 decoder-only 模型中統一文本和視覺模態。這個新架構整合了我們從先前的 encoder-only 檢索模型中學到的經驗，包括 jina-clip-v2、jina-embeddings-v3、jina-reranker-v2-base-multilingual 和 jina-embeddings-v2-base-code。

新模型不僅解鎖了多模態檢索任務的能力，如文本到圖像重排序和視覺文件重排序，而且在文本到文本和文本到程式碼重排序任務上，相較於 jina-reranker-v2-base-multilingual 也展現了更好的表現。我們將這個新模型系列稱為「m-series」，以突顯其多模態特性。

在比較 jina-reranker-m0 和 jina-reranker-v2-base-multilingual 時，我們對 m-series 的目標是在實現多模態的同時，在純文本任務上能達到與專門的純文本模型相當的性能。有人可能會質疑，如果在純文本任務上的性能提升看起來微不足道，使用一個大 8 倍的模型是否值得。雖然目前 m0 在純文本應用上可能不會比 v2 帶來顯著的額外價值，但 decoder-only 架構開啟了許多使用 encoder-only 架構無法實現的新可能性，包括：

• 真正的混合模態重排序
• 列表式重排序和文件去重
• 通過注意力機制解釋排名分數

我們未來的工作將專注於進一步升級純文本重排序器，並充分利用這個多模態架構所啟用的新功能，以實現更好且更廣泛的搜尋。