jina-reranker-v3

jina-reranker-v3は、0.6Bパラメータの多言語ドキュメントリランカーで、斬新な last but not late（LBNL）インタラクションアーキテクチャを導入しています。ColBERTがマルチベクトルマッチングを用いて個別にエンコーディングするのとは異なり、このモデルはクエリとドキュメントを同一コンテキストウィンドウ内で因果的セルフアテンション（causal self-attention）することで、各ドキュメントの最後のトークンからコンテキスト埋め込みを抽出する前に、ドキュメント間のリッチなインタラクションを可能にします。Qwen3-0.6Bをベースに構築されたこのモデルは、28のTransformerレイヤーと軽量MLPプロジェクター（1024→512→256）を備え、131Kトークンのコンテキストで最大64のドキュメントを同時に処理します。このモデルは、生成的なリストワイズリランカーの10分の1のサイズでありながら、最先端の61.94 nDCG-10というBEIRパフォーマンスを達成しています。

3段階の漸進的トレーニング手法を採用し、InfoNCE、分散損失 (0.45)、二重マッチング損失 (0.85)、類似度損失 (0.85) を組み合わせた多目的損失関数を使用しました。第1段階では、ドメイン固有のデータセット (BGE-M3 および Cornstack を含む) で LoRA ファインチューニング (r=16、α=32) を使用し、各クエリには16のドキュメントが含まれていました。第2段階では、コンテキストを8,192トークンに拡張し、複数の検索システムからハードネガティブサンプルを最大25件、τ=0.05でマイニングしました。第3段階では、0.25から0.65の範囲の重みで特殊モデルをマージしました。特殊トークン doc_emb と query_emb は、埋め込みを抽出する位置を示します。トレーニングでは、システム/ユーザー/アシスタントの役割を持つ構造化プロンプトを使用し、双方向の注意のためにクエリを最初と最後の両方に配置しました。

BEIRデータセットでは、nDCG-10のスコアは61.94に達し、評価対象となったリランカーの中で最高値となり、jina-reranker-v2と比較して4.88%の向上を達成しました。マルチホップ検索においても非常に優れた性能を示し、HotpotQAデータセットでは78.56、FEVERデータセットでは93.95を達成しました。MIRACLデータセットでは、18言語における多言語検索において66.50を達成し、アラビア語では78.69、タイ語では81.06を達成しました。CoIRデータセットでは、コード検索において63.28を達成しました。パラメータ数が2.5分の1でありながら、1.5Bのmxbai-rerank-large（61.44）を上回りました。また、同規模のbge-reranker-v2-m3と比較して5.43%の向上を達成しました。ドキュメントの並び順に対しても比較的安定しており、ランダム（62.54）、降順（61.94）、昇順（61.52）となっています。

埋め込み抽出には、システム／ユーザー／アシスタントの役割と特殊トークンを含む構造化プロンプトテンプレートを使用してください。131Kを超えるコンテキストのコレクションでは、1回のフォワードパスで最大64のドキュメントを処理できます。ドキュメントの並べ替えはランダムソートまたは関連度降順ソートが最適な結果をもたらします。比較ランキングタスクには、ドキュメント間のインタラクション機能が活用されます。多言語アプリケーション向けに、このモデルは18言語間で堅牢なゼロショット転送を提供します。大規模なドキュメントセットのバッチ処理により、バッチ間で一貫したクエリ埋め込みが保証されます。効率的な類似性計算のために、256次元の出力埋め込みが考慮されています。ランキング品質と推論効率の両方が求められるアプリケーション、特にマルチホップ推論やファクトチェックタスクに最適です。