Jina Reranker v3: SOTA多言語検索向け0.6B Listwise 重排器

jinaai/jina-reranker-v3 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

jina-reranker-v3: Last but Not Late Interaction for Document Reranking

jina-reranker-v3 is a 0.6B parameter multilingual document reranker that introduces a novel last but not late interaction. Unlike late interaction models such as ColBERT that perform separate encoding followed by multi-vector matching, our approach conducts causal self-attention between query and documents within the same context window, enabling rich cross-document interactions before extracting contextual embeddings from the last token of each document. This compact architecture achieves state-of-the-art BEIR performance with 61.94 nDCG@10 while being ten times smaller than generative listwise rerankers.

arXiv.orgFeng Wang

最新世代のRerankerであるjina-reranker-v3をリリースできることを嬉しく思います。これは、多言語検索ベンチマーク全体で最先端のパフォーマンスを実現します。この0.6Bパラメーターのドキュメント重排器は、既存の手法とは根本的に異なるアプローチを採用した、新しいlast but not lateインタラクションを導入しています。jina-reranker-v3はリストワイズで動作します。つまり、クエリとすべての候補ドキュメントの間で、単一のコンテキストウィンドウ内で因果的注意を適用し、各ドキュメントの最後のトークンからコンテキスト埋め込みを抽出する前に、豊富なドキュメント間インタラクションを可能にします。当社の新しいモデルは、BEIRで61.94 nDCG@10を達成し、Qwen3-Reranker-4Bよりも6倍小さいサイズでそれを上回っています。

tagモデルアーキテクチャ

jina-reranker-v3は、因果的自己注意を備えたデコーダー専用のトランスフォーマーモデルであるQwen3-0.6Bバックボーン上に構築されています。モデルは、複数のドキュメントとクエリを同時に処理し、効率的な類似性計算のために指定されたトークン位置でコンテキスト埋め込みを抽出します。

クエリと候補ドキュメントのセットが与えられた場合、jina-reranker-v3は、単一のフォワードパス内でドキュメント間インタラクションを可能にする特殊なプロンプトテンプレートを使用して、重排タスクを処理します。入力の構築は、特定の形式に従います。

<|im_start|>system
You are a search relevance expert who can determine
a ranking of passages based on their relevance to the query.
<|im_end|>

<|im_start|>user
I will provide you with k passages, each indicated by a numerical identifier.
Rank the passages based on their relevance to query: [QUERY]

<passage id="1">
[DOCUMENT_1]<|doc_emb|>
</passage>
<passage id="2">
[DOCUMENT_2]<|doc_emb|>
</passage>
...
<passage id="k">
[DOCUMENT_k]<|doc_emb|>
</passage>

<query>
[QUERY]<|query_emb|>
</query>
<|im_end|>

<|im_start|>assistant
<think></think>
コピー

クエリは入力構造に2回表示されます。1回はタスク指示のために先頭に、もう1回は最終的な注意処理のために末尾に表示されます。この二重配置により、最後のクエリ位置は因果的注意を通じて先行するすべてのドキュメントに注意を向けることができます。2つの重要な特別なトークンが埋め込み抽出位置を示します。<|doc_emb|>トークンは、各ドキュメントの後に配置され、ドキュメント埋め込み抽出ポイントを示します。一方、<|query_emb|>トークンは、最後のクエリの後に配置され、クエリ埋め込み抽出ポイントを示します。これらの埋め込みは、ローカルなドキュメントセマンティクスと、共有された因果的自己注意メカニズムを通じてグローバルなドキュメント間コンテキストの両方をキャプチャします。

このクエリとドキュメントのインタラクションを「last but not late」と呼びます。<|doc_emb|>が各ドキュメントの最後のトークンとして配置されているため、「last」です。ドキュメントを個別にエンコードしてからマルチベクターマッチングを行うColBERTなどの遅延インタラクションモデルとは異なり、フォワードパス中に同じコンテキストウィンドウ内でクエリとドキュメント、およびドキュメント間のインタラクションを可能にするため、「not late」です。

最後に、ReLU活性化関数を持つ2層のMLPプロジェクターが、1024次元の隠れ状態を256次元のランキング空間にマッピングします。関連性スコアリングは、投影されたクエリのベクトルモデルと、投影された各ドキュメントのベクトルモデル間のコサイン類似度を用いて計算されます。これにより、入力セット内の各ドキュメントに対して関連性スコアが生成されます。

tagはじめに

tagAPI経由

jina-reranker-v3を使用する最も簡単な方法は、Search Foundation API経由です。

curl -X POST \
  https://api.jina.ai/v1/rerank \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer JINA_API_KEY" \
  -d '{
  "model": "jina-reranker-v3",
  "query": "slm markdown",
  "documents": [
    ...
  ],
  "return_documents": false
}'
コピー

{
  "model":"jina-reranker-v3",
  "usage": {
    "total_tokens":2813
  },
  "results":[
    {
      "index":1,
      "relevance_score":0.9310624287463884
    },
    {
      "index":4,
      "relevance_score":0.8982678574191957
    },
    {
      "index":0,
      "relevance_score":0.890233167219021
    },
    ...
  ]
}
コピー

relevance_scoreフィールドは、各ドキュメントのクエリに対する関連性を示し、スコアが高いほど関連性が高いことを示します。

tagtransformers経由

from transformers import AutoModel

model = AutoModel.from_pretrained(
    'jinaai/jina-reranker-v3',
    dtype="auto",
    trust_remote_code=True,
)
model.eval()
コピー

これで、モデルのrerank関数を使用して、クエリとドキュメントのリストの関連性スコアを計算できます。

query = "What are the health benefits of green tea?"
documents = [
    "Green tea contains antioxidants called catechins that may help reduce inflammation and protect cells from damage.",
    "El precio del café ha aumentado un 20% este año debido a problemas en la cadena de suministro.",
    "Studies show that drinking green tea regularly can improve brain function and boost metabolism.",
    "Basketball is one of the most popular sports in the United States.",
    "绿茶富含儿茶素等抗氧化剂，可以降低心脏病风险，还有助于控制体重。",
    "Le thé vert est riche en antioxydants et peut améliorer la fonction cérébrale.",
]

# Rerank documents
results = model.rerank(query, documents)

# Results are sorted by relevance score (highest first)
for result in results:
    print(f"Score: {result['relevance_score']:.4f}")
    print(f"Document: {result['document'][:100]}...")
    print()
コピー

tag結論

jina-reranker-v3は、効率的なドキュメントの重み付けのためにlast but not lateインタラクションを導入した、新しい0.6Bパラメータの多言語リストワイズ重排器です。ドキュメントはエンコード中に互いに注意を払い、最終的なランキングを通知するインタラクションを確立できます。

主な懸念事項の1つは、そのようなインタラクションが入力順列に対して回復力があるかどうかです。つまり、入力順序をシャッフルした場合、ランキングは同じままになるでしょうか？ランダムな順列を使用して110個の候補ドキュメントに対してクエリでこれをテストし、以下の図に各ランク位置での分散をプロットしました。

重要な発見は、上位ランクの位置が優れた安定性を示すことです。ランク1〜10は分散が最小限であり、最も関連性の高いドキュメントは、入力順序に関係なく、一貫して上位にランク付けされます。これは、nDCG@10および同様の上位kメトリックにとって重要です。無関係なドキュメントは一貫して下位に留まり、関連コンテンツと無関係なコンテンツを明確に分離します。

中央のセクションは、位置の大きな入れ替えを示していますが、これは予想され、許容範囲です。モデルは因果自己注意を使用し、シーケンス内で前に表示されるものに基づいて異なるコンテキスト情報をエンコードします。

実際には、最上位の結果が重要であるため、このような動作は完全に許容できます。私たちの評価では、jina-reranker-v3が、jina-reranker-v2-base-multilingualやjina-colbert-v2などの以前の世代、およびQwen3-Reranker-4Bやjina-reranker-m0などの大規模な代替手段よりも優れていることが確認されています。