jina-embeddings-v5-text-small

jina-embeddings-v5-text-small は Qwen3-0.6B-Base バックボーン上に構築された 677M パラメータの多言語テキスト埋め込みモデルです。32K トークンのコンテキストをサポートし、Matryoshka 切り捨てを 32 次元まで行える 1024 次元の埋め込みを生成し、1B パラメータ未満の全モデル中で最高の MTEB 平均を達成しています。Jina API のデフォルト埋め込みモデルであり、本番 RAG パイプラインの第一候補です。

モデルは、119 言語で事前学習された多言語対応の言語モデル Qwen3-0.6B-Base に構築されています。Last-Token-Pooling を用いて埋め込みを生成します。訓練は2段階の体制に従います：(1) Qwen3-Embedding-4B（4B パラメータの教師）からの埋め込み蒸留により、高品質な埋め込み表現が 677M の生徒モデルに転移されます；(2) タスク固有のコントラスト損失により、モデルは検索、テキストマッチング、クラスタリング、分類タスクでファインチューニングされます。Geometric Orthogonal Regularization（GOR）は、2 進量子化下でも性能の低下を最小限に抑え、堅牢な埋め込みを保証します。Matryoshka Representation Learning は、256 次元以上で強力な検索品質を維持しながら、次元を 1024 から 32 に切り詰めることができる。32K コンテキストウィンドウは、ベース周波数をチューニングした回転位置埋め込みによって実現され、モデルはさらに長文書検索の頑健性を高めるため長文脈データでも訓練されています。

MMTEB（多言語）では、モデルはタスクレベル平均 67.0、タイプレベル平均 58.9 を達成し、1B パラメータ未満の全モデル中で最高です。タスクレベルスコア：分類 71.3、クラスタリング 53.4、ペア分類 82.9、リランキング 65.7、検索 64.9、STS 78.9。英語 MTEB では平均 71.7 を達成し、指示付き Qwen3-0.6B（70.5）と jina-embeddings-v3（65.7）を上回っています。検索特化：MTEB-M 64.88、RTEB 66.84、BEIR 56.67、LongEmbed 66.39。注目すべきことに、このモデルはペア分類で 4B の教師 Qwen3-Embedding-4B（MMTEB 42.0 対 26.8）を上回り、サイズは 6 分の 1 ながら、蒸留とタスク固有の対照学習を組み合わせることで特定タスクでは教師の性能を超えることを示しています。

適切な LoRA アダプターを選択してください：非対称クエリ-ドキュメント検索には 'retrieval'（クエリに 'Query:' を、パッセージに 'Document:' を前置する）、対称類似度には 'text-matching'（両方の入力に 'Document:' プレフィックスを使用）、関連ドキュメントのグルーピングには 'clustering'、カテゴライズとセンチメント分析には 'classification'。Matryoshka 切り捨てを 256–512 次元にするとストレージ制約のインデックスに適しています；リランキングにはフル 1024 次元を使用してください。2 進量子化は最小の性能損失でサポートされています。32K コンテキストウィンドウはチャンキングなしにネイティブに長文書に対応します。埋め込みの比較にはコサイン類似度を使用してください。Jina AI API、Hugging Face（Sentence Transformers、vLLM）、llama.cpp 用の量子化バリアントで利用可能です。マルチモーダルなワークロードには jina-embeddings-v5-omni-small を代わりに使用してください。