jina-clip-v2

jina-clip-v2 は 865M パラメータの多言語マルチモーダル埋め込みモデルで、89 言語と 512×512 画像入力をサポートします。jina-clip-v1 を画像とテキストのクロスリンガルアラインメント、次元削減のための Matryoshka 表現学習（1024→64）、視覚情報の多い文書での性能向上で拡張しています。テキスト単独および単一モダリティの性能を高く保ちながら、クロスリンガル画像検索で SOTA を達成します。

モデルはデュアルエンコーダアーキテクチャを採用し、Jina XLM-RoBERTa テキストエンコーダ（561M パラメータ、89 言語、696,320 トークンコンテキスト）と EVA02-L14 ビジョンエンコーダ（304M パラメータ、512×512 ピクセル入力）を組み合わせます。学習はマルチタスク・マルチステージの対照学習パラダイムを使用します：モデルはテキストペア、テキストトリプレット、画像-テキストペアで同時に学習され、テキスト単独タスクとクロスモーダルタスクの両方をサポートします。学習データセットは、英語以外の 29 言語（ヒンディー語、中国語、ドイツ語、フランス語を含む）の多言語テキストと、視覚情報の多い文書の画像を含めるよう拡張されました。Matryoshka 表現学習により、性能の 99% 以上を維持しながら埋め込み次元を 1024 から 64 次元まで削減できます。モデルは最終埋め込みに Last-Token-Pooling を使用します。

モデルは Flickr30k の画像からテキスト検索で 98.0% の正解率を達成し、jina-clip-v1 と NLLB-CLIP-SigLIP の両方を上回っています。多言語シナリオでは、クロスリンガル画像検索で NLLB-CLIP-SigLIP に対して最大 4% の改善を示します。埋め込み圧縮は非常に効果的で、次元を 75% 削減（1024→256）しても、テキスト・画像・クロスモーダルの各タスクで性能の 99% 以上を維持します。Multilingual MTEB では、検索で 69.86%、意味的類似度で 67.77% を達成し、特化したテキスト埋め込みモデルと競争力のある性能です。89 言語サポートと視覚情報の多い文書処理により、グローバルな Eコマースやコンテンツ管理に特に適しています。

処理前に画像を 512×512 ピクセルにリサイズしてください — 大きな画像は自動的にタイル化され、トークン使用量と処理時間が増えます。モデルは 89 言語で画像を説明文とマッチさせることに長けており、グローバルな Eコマースの商品検索、コンテンツレコメンド、多言語ビジュアル検索に最適です。抽象的な概念や極めて専門的なドメインコンテンツは不得意な場合があります。Matryoshka 次元削減を使用する場合、64 次元の埋め込みでもインデックス用に強い性能を維持します。重要なアプリケーションのリランキングには 512 次元以上の次元を使用してください。モデルは CUDA 対応ハードウェアが必要です。テキスト専用ワークロードでは、jina-embeddings-v5-text-small の方がパラメータあたりの精度が高いです。コード検索には jina-code-embeddings-1.5b を使用してください。Jina API、AWS、Azure、GCP マーケットプレイスで利用可能です。