概要
jina-embeddings-v3 は 570M パラメータの多言語テキスト埋め込みモデルで、89 言語と 8,192 トークンのコンテキストウィンドウをサポートします。その特徴的な革新はタスク固有 LoRA アダプタの使用です:同じ 570M バックボーンが軽量アダプタ重みの切り替え(それぞれ 60M パラメータ未満)により、検索、分類、クラスタリング、テキストマッチング用に最適化された埋め込みを生成します。リリース時に SOTA の MTEB 性能を達成し、英語タスクで OpenAI と Cohere のプロプライエタリ埋め込みを上回りました。
手法
モデルは 24 層の Transformer を持つ jina-XLM-RoBERTa バックボーンに基づいており、チューニングしたベース周波数の RoPE(Rotary Position Embeddings)を用いて、最大 8,192 トークンまでの長コンテキスト外挿を可能にしています。訓練は 3 段階のカリキュラムに従いました:(1) 89 言語での多言語事前学習、(2) ペアテキストデータセットでの対照ファインチューニングによるベース埋め込み品質の確立、(3) タスク固有 LoRA アダプタの訓練。各 LoRA アダプタは総パラメータ数に 3% 未満を追加しながらモデルを特定のタスクに特化させます:非対称検索用の retrieval.query と retrieval.passage、クラスタリング用の separation、分類用の classification、意味的類似度用の text-matching。Matryoshka Representation Learning(MRL)により、64 次元で検索品質の 90% 以上を維持しながら、埋め込みを 1024 から 32 次元に切り詰められます。コンテキストウィンドウを超える文書では、レイトチャンキングがサポートされます。
パフォーマンス
MTEB で、jina-embeddings-v3 は全タスクで平均スコア 65.52 を達成し、分類(82.58)と文類似度(85.80)で特に強い結果を出しました。多言語タスクすべてで multilingual-e5-large-instruct を上回り、英語タスクで e5-mistral-7b-instruct(パラメータ数 12 倍)に勝利しました。多言語 MTEB では 64.44 を記録し、89 言語にわたって一貫した性能を示しました。MRL 切り詰めは、完全な 1024 に対して 64 次元で検索性能の 92% を維持しました。2026 年、jina-embeddings-v5-text-small がほとんどのワークロードでこのモデルに取って代わり、32K コンテキストと、パラメータあたりより高い精度をもたらす蒸留ベースの学習を提供します。
ベストプラクティス
タスクに応じた適切な LoRA アダプタを選択してください:retrieval.query/retrieval.passage は検索用、separation はクラスタリング用、classification は分類用、text-matching は意味的類似度用。8,192 トークンを超える文書には `late_chunking パラメータを使用してください。256 または 512 次元への Matryoshka 切り詰めはストレージ制約のあるインデックスに適しています。リランキングには完全な 1024 次元を使用してください。本モデルは本番のスループットに CUDA 対応 GPU が必要です。新しい多言語プロジェクトには jina-embeddings-v5-text-small`(32K コンテキスト、蒸留による学習、より高い精度)を優先してください。本モデルはテキスト生成や複雑な推論向けには設計されておらず、テキストではなく埋め込みを生成します。












