jina-embeddings-v5-text-nano

jina-embeddings-v5-text-nanoは、EuroBERT-210Mバックボーン上に構築され、2億3,900万のパラメータを誇ります。EuroBERT-210Mは、15の主要なヨーロッパ言語と世界言語で事前学習済みの双方向エンコーダです。このモデルは、最終端末プーリングを通じて768次元の埋め込みを生成し、最大32,000語彙単位の長さのコンテキストをサポートします。このモデルには、検索、意味的類似性、クラスタリング、分類のための4つのタスク固有のLoRAアダプタ（それぞれ670万パラメータ）が含まれています。Matryoshka表現学習技術は、埋め込みを32次元まで切り捨てることをサポートします。Qwen3-Embedding-4B埋め込み蒸留とタスク固有のアダプタトレーニングを組み合わせてトレーニングされたこのモデルは、サイズの2倍以上のモデルに匹敵するパフォーマンスを実現し、レイテンシに敏感なエッジデプロイアプリケーションに最適です。

トレーニング プロセスは jina-embeddings-v5-text-small と同じで、2 段階の手順を採用していますが、EuroBERT-210M バックボーン ネットワークに適用されます。最初の段階は埋め込み蒸留です。これは、コサイン距離損失関数を使用して、線形投影層を介して学生モデルの 768 次元埋め込みを教師モデルの空間にマッピングすることで、Qwen3-Embedding-4B からの知識を転送します。トレーニングでは、複数言語の 300 を超えるデータセットのテキスト ペアを使用しました。第 2 段階では、4 つの特定タスク (各アダプターには 670 万のパラメーターが含まれます) の LoRA アダプターが、凍結されたバックボーン ネットワークの重みを使用してトレーニングされました。これらのタスクには、検索 (InfoNCE + 知識蒸留 + GOR)、テキスト マッチング (CoSENT + 知識蒸留)、クラスタリング (タスク固有の教師モデル指示を使用した再蒸留)、分類 (双方向 InfoNCE + リレーショナル知識蒸留) があります。 EuroBERT バックボーン ネットワークは、英語、フランス語、ドイツ語、スペイン語、中国語、日本語、アラビア語、ヒンディー語を含む 15 の主要ヨーロッパ言語と世界各国の言語を網羅した強力な多言語カバレッジを提供します。

MMTEB（多言語）データセットにおいて、jina-embeddings-v5-text-nanoモデルは、わずか2億3,900万パラメータしか使用せず、タスクレベル平均スコア65.5、タイプレベル平均スコア57.7を達成し、KaLM-mini-v2.5（60.1ポイント、4億9,400万パラメータ）、voyage-4-nano（58.9ポイント、4億8,000万パラメータ）、Gemma-300M（61.1ポイント、3億800万パラメータ）など、5億パラメータ未満のすべてのモデルを上回りました。分類スコアは69.2、クラスタリングスコアは52.7、ペア分類スコアは81.9、再ランキングスコアは64.6、検索スコアは63.3、STSスコアは78.2でした。英語MTEBデータセットでは、平均スコア71.0を達成し、よりパラメータ化されたjina-embeddings-v5-text-smallモデル（71.7）とほぼ同等のスコアを示しました。検索ベンチマークでは、この手法はMTEB-Mで63.26、RTEBで64.08、BEIRで56.06、LongEmbedで63.65というスコアを示しました。埋め込みはバイナリ量子化下でも堅牢性を維持し、GOR正則化によりMTEB検索におけるパフォーマンスの低下は2ポイント以内に抑えられています。

タスクに基づいて適切な LoRA アダプターを選択します。非対称クエリ ドキュメント検索の場合は「検索」(クエリの前に「Query:」、段落の前に「Document:」を追加)、対称類似性タスクの場合は「テキスト マッチング」(両方の入力に「Document:」をプレフィックスとして追加)、関連ドキュメントをグループ化する場合は「クラスタリング」、分類の場合は「分類」を選択します。このナノモデルは、レイテンシの影響を受けやすくリソースが制限されるデプロイメントに最適化されている一方で、そのサイズの 2 倍以上のモデルに匹敵する精度を維持しています。Matryoshka 切り捨てにより、埋め込み次元を 768 から 32 まで削減できます。最良の結果を得るには、次元を 256 以上に維持してください。バイナリ量子化がサポートされています。EuroBERT バックボーンは、英語、フランス語、ドイツ語、スペイン語、中国語、日本語、アラビア語、ヒンディー語を含む 15 の主要言語を堅牢にカバーしています。埋め込みの比較は、コサイン類似度を使用して実行されます。これは、Jina AI API、Hugging Face (Sentence Transformers および vLLM)、および llama.cpp の量子化バリアントを通じて取得できます。