jina-embeddings-v3

jina-embeddings-v3 は 570M パラメータの多言語テキスト embeddings モデルで、89 言語と 8,192 トークンのコンテキストウィンドウをサポートします。その特徴的な革新はタスク固有 LoRA アダプターの使用です：同じ 570M バックボーンが軽量アダプター重みの切り替え（それぞれ 60M パラメータ未満）により、retrieval、分類、クラスタリング、テキストマッチング用に最適化された embeddings を生成します。リリース時に SOTA の MTEB 性能を達成し、英語タスクで OpenAI と Cohere のプロプライエタリ embeddings を上回りました。

モデルは 24 層の Transformer を持つ jina-XLM-RoBERTa バックボーンに基づいており、RoPE（Rotary Position Embeddings）はチューニング済みの基礎周波数により最大 8,192 トークンまでの長いコンテキストの外挿を使用します。訓練は 3 段階のカリキュラムに従いました：(1) 89 言語での多言語事前訓練、(2) ペアテキストデータセットでの対比ファインチューニングによるベース embeddings 品質の確立、(3) タスク固有 LoRA アダプター訓練。各 LoRA アダプターは総パラメータ数に 3 % 未満を追加しながらモデルを特定のタスクに特化させます：非対称検索用の retrieval.query と retrieval.passage、クラスタリング用の separation、分類用の classification、意味的類似度用の text-matching。Matryoshka Representation Learning（MRL）により、64 次元で 90 % 以上の retrieval 品質を維持しながら embeddings を 1024 から 32 次元に切り詰めることができます。コンテキストウィンドウを超える文書には late chunking がサポートされます。

MTEB で、jina-embeddings-v3 は全タスクで平均スコア 65.52 を達成し、分類（82.58）と文類似度（85.80）で特に強い結果を出しました。多言語タスクすべてで multilingual-e5-large-instruct を上回り、英語タスクで e5-mistral-7b-instruct（パラメータ数 12 倍）に勝利しました。多言語 MTEB では 64.44 を記録し、89 言語にわたって一貫した性能を示しました。MRL 切り詰めは、完全な 1024 に対して 64 次元で 92 % の retrieval 性能を維持しました。2026 年、jina-embeddings-v5-text-small がほとんどのワークロードでこのモデルに取って代わり、32K コンテキストと、パラメータあたりより高い精度をもたらす蒸留ベースの訓練を提供します。

タスクに応じた適切な LoRA アダプターを選択してください：retrieval.query/retrieval.passage は検索用、separation はクラスタリング用、classification は分類用、text-matching は意味的類似度用。8,192 トークンを超える文書には `late_chunking パラメータを使用してください。256 または 512 次元への Matryoshka 切り詰めはストレージ制約のあるインデックスに適しています。re-ranking には完全な 1024 次元を使用してください。本モデルは本番のスループットに CUDA 対応 GPU が必要です。新しい多言語プロジェクトには jina-embeddings-v5-text-small`（32K コンテキスト、蒸留訓練、より高い精度）を優先してください。本モデルはテキスト生成や複雑な推論向けには設計されておらず、テキストではなく embeddings を生成します。