jina-reranker-v3

jina-reranker-v3は、0.6Bのパラメータを持つ多言語ドキュメントリオーダラーで、斬新な「後着順」インタラクションアーキテクチャを導入しています。ColBERTがマルチベクトルマッチングを用いて個別にエンコーディングするのとは異なり、このモデルはクエリとドキュメントを同一コンテキストウィンドウ内で因果的セルフアテンション（causal self-attention）することで、各ドキュメントの最後のトークンからコンテキストベクトル化を抽出する前に、ドキュメント間のリッチなインタラクションを可能にします。Qwen3-0.6Bをベースに構築されたこのモデルは、28のTransformerレイヤーと軽量MLPプロジェクター（1024→512→256）を備え、131Kトークンのコンテキストで最大64のドキュメントを同時に処理します。このモデルは、生成リストベースのリオーダラーの10分の1のサイズでありながら、業界最高水準の61.94 nDCG-10というパフォーマンスを達成しています。

3段階の漸進的トレーニング手法を採用し、InfoNCE、分散損失 (0.45)、二重マッチング損失 (0.85)、類似度損失 (0.85) を組み合わせた多目的損失関数を使用しました。第1段階では、ドメイン固有のデータセット (BGE-M3 および Cornstack を含む) で LoRA ファインチューニング (r=16、α=32) を使用し、各クエリには16のドキュメントが含まれていました。第2段階では、コンテキストを8,192トークンに拡張し、検索システムからハードネガティブサンプルを最大25のネガティブサンプルまでマイニングし、τ=0.05を使用しました。第3段階では、0.25から0.65の範囲の重みで特殊モデルをマージしました。特殊トークン doc_emb と query_emb を使用して、場所をベクトル化して抽出しました。トレーニングでは、システム/ユーザー/アシスタントの役割を持つ構造化キューを使用し、双方向の注意のためにクエリを最初と最後に配置しました。

BEIRデータセットでは、nDCG-10のスコアは61.94に達し、評価対象となったリランカーの中で最高値となり、jina-reranker-v2と比較して4.88%の向上を達成しました。マルチホップ検索においても非常に優れた性能を示し、HotpotQAデータセットでは78.56、FEVERデータセットでは93.95を達成しました。MIRACLデータセットでは、18言語における多言語検索において66.50を達成し、アラビア語では78.69、タイ語では81.06を達成しました。CoIRデータセットでは、コード検索において63.28を達成しました。パラメータ数が2.5倍少ないにもかかわらず、15億個のmxbai-rerank-largeデータセット（61.44）を上回りました。また、同規模のbge-reranker-v2-m3と比較して5.43%の向上を達成しました。ドキュメントの並べ替えでは、ランダム並べ替え (62.54)、降順並べ替え (61.94)、昇順並べ替え (61.52) と比較的安定しています。

ベクトル化抽出は、システム／ユーザー／アシスタントの役割と特殊タグを含む構造化キューテンプレートを用いて実行されます。131Kを超えるコンテキストのコレクションでは、1回のフォワードパスで最大64のドキュメントを処理できます。ドキュメントの並べ替えはランダムソートまたは関連度降順ソートが最適な結果をもたらします。比較ランキングタスクには、ドキュメント間のインタラクション機能が活用されます。多言語アプリケーション向けに、このモデルは18言語間で堅牢なゼロショット転送を提供します。大規模なドキュメントセットのバッチ処理により、バッチ間で一貫したクエリベクトル化が保証されます。効率的な類似性計算のために、256次元の出力ベクトル化が考慮されています。ランキング品質と推論効率の両方が求められるアプリケーション、特にマルチホップ推論やファクトチェックタスクに最適です。