jina-reranker-m0

jina-reranker-m0 は、複数の言語で視覚的なドキュメントをランク付けするように設計された画期的なマルチモーダル多言語リランカーです。このモデルは、29 の言語でのクエリや、視覚的に豊かなドキュメント イメージ (テキスト、グラフィック、表、さまざまなレイアウトを含むページを含む) を処理する能力に優れています。モデルは、入力クエリとの関連性に基づいてランク付けされたドキュメントのリストを出力します。 「モダリティ ギャップ」問題 (画像が他の画像の近くに集まり、テキストがテキストの近くに集まる) に苦労していた以前のリランカーとは異なり、jina-reranker-m0 は、テキストと視覚のモダリティを単一のデコーダーのみのモデルに統合し、画像とテキスト ドキュメントの両方を効率的にランク付けできるシームレスなマルチモーダル検索エクスペリエンスを実現します。

jina-reranker-m0のアーキテクチャは、従来のアプローチとは大きく異なります。24億パラメータを持つQwen2-VL-2Bモデルを基盤とし、従来のクロスエンコーダアーキテクチャから、デコーダのみを含む視覚言語モデルへと進化しました。このシステムは、Qwen2-VLの事前学習済み視覚エンコーダとプロジェクターを活用し、LoRA（Low-Rank Adaptive）によって大規模言語モデルを微調整し、学習済みの多層パーセプトロン（MLP）を用いてクエリ文書の関連性を測定するためのランキングロジスティック値を生成します。この識別モデルは最大32Kの語彙単位を処理でき、56×56ピクセルから4K解像度までの画像をサポートします。画像処理では、視覚トランスフォーマー（ViT）とプロジェクターが隣接する2×2の語彙単位を単一の視覚単位に統合し、特殊単位が視覚単位の境界を明確に示すことで、言語モデルが視覚要素とテキスト要素を正しく統合・推論できるようにします。

Jina-reranker-m0 は複数のベンチマークで素晴らしい結果を達成しました。テキスト間の再ランキングでは、BEIR ベンチマークで 58.95 NDCG-10 のスコアを達成し、jina-embeddings-v3 (55.81) や bge-reranker-v2-m3 (56.51) などの競合製品を上回りました。多言語コンテンツについては、18 言語をカバーする MIRACL ベンチマークで 66.75 NDCG-10 を達成しました。長い文書の MLDR ベンチマークでは、13 の言語で 59.83 NDCG-10 を達成しました。 CoIR ベンチマークでのコード検索では、63.55 NDCG-10 を達成し、競合製品をはるかに上回ります。しかし、このモデルは視覚的な文書検索において真価を発揮します。ViDoRe ベンチマークでは、印象的な 91.02 NDCG-5 スコアを達成し、視覚言語の組み合わせ推論をテストする Winoground では平均スコア 43.92 を達成し、他のモデルと比較してテキストと画像の関係を理解する能力が優れていることを示しています。

jina-reranker-m0 の可能性を最大限に引き出すには、開発者は複数の実装戦略を検討する必要があります。このモデルには、API、クラウド マーケットプレイス (AWS、Azure、GCP)、または Hugging Face でネイティブにアクセスできます。 API を使用する場合、開発者はテキスト文字列、base64 画像、または画像 URL を渡すことができ、新規ユーザーには 1,000 万個の無料トークンが提供されます。広範囲にわたるトレーニングのおかげで、このモデルはテキストからテキスト、テキストから画像、画像からテキスト、およびテキストと混合のユニモーダル タスクで優れたパフォーマンスを発揮しますが、一部の組み合わせ (画像から画像など) は専用のトレーニングなしでゼロ ショット方式でサポートできることは注目に値します。最良の結果を得るには、モデルが最大 10K の入力トークンと、イメージごとに最大 768 のトークンをサポートすることに留意してください。このアーキテクチャのデコーダのみのアプローチは、単純な再ランキングを超えた可能性を開きます。これには、真の混合モダリティの再ランキング、リストの再ランキング、ドキュメントの重複排除、アテンション メカニズムによるランキング スコアの解釈可能性などが含まれます。これは、以前のエンコーダのみのアーキテクチャでは不可能だった機能です。