jina-embeddings-v4

jina-embeddings-v4 は 3.8B パラメータのマルチモーダル embeddings モデルで、テキストと画像の表現を単一のアーキテクチャに統合します。単一ベクトル（dense）とマルチベクトル（late-interaction/ColBERT スタイル）の両方の出力モードを独自にサポートし、モデルを切り替えずにインデックス効率と検索精度のトレードオフが可能です。視覚的にリッチな文書検索で SOTA 性能を達成し、表、チャート、図、混合メディア形式をネイティブに処理します。

アーキテクチャは大きなトランスフォーマーエンコーダバックボーンと Qwen2.5-VL ベースのビジョンエンコーダーを組み合わせ、テキスト（最大 32K トークン）と画像（768×28×28 パッチ）を共有アテンションレイヤーで処理します。3 つのタスク固有 LoRA アダプタ（それぞれ 60M パラメータ）はモデルを以下に特化させます：非対称クエリ-文書検索、セマンティックテキスト類似度、コード検索。デュアル出力設計が中核の革新です：モデルは高速な ANN インデックス向けの 2048 次元の単一 dense ベクトル（Matryoshka 切り捨てで 128 次元まで短縮可能）または、late-interaction スコアリング用の 128 次元トークンレベルベクトルのセットを生成できます。訓練は 2 段階のカリキュラムを使用しました：テキスト-画像とテキスト-テキストペアでの joint コントラスティブ事前訓練に続き、タスク固有 LoRA アダプタ訓練です。32K トークンコンテキストウィンドウを超える文書には late chunking がサポートされます。Qwen Research License が適用されます。

JinaVDR（Visual Document Retrieval）では、モデルは平均 72.19 を記録し、ColPali-v1.2 の 64.50 に対して上回っています。ViDoRe では平均 84.11（マルチベクトルモードでは 90.17）で、ColPali の 83.90 を上回ります。クロスモーダル検索は CLIP ベンチマークで 84.11 を達成し、jina-clip-v2（81.12）と nllb-clip-large-siglip（83.19）を上回っています。テキスト検索スコア：MTEB-en で 55.97、MMTEB で 66.49、LongEmbed で 67.11（jina-embeddings-v3 は 55.66）。セマンティック類似度は English STS で 85.89、多言語 STS で 72.70。コード検索は CoIR で 71.59。クロスモーダルアラインメントはコサイン類似度 0.71（OpenAI CLIP は 0.15）に達します。マルチベクトルモードは視覚的にリッチなタスクで常にシングルベクトルモードを上回り、シングルベクトルモードは標準的なテキスト検索で効率的な性能を提供します。

パイプラインに基づいて出力モードを選択してください：大規模 ANN インデックスにはシングルベクトル（Matryoshka 切り捨てで 128–512 次元が利用可能）、視覚的にリッチな文書の top-k 候補の再ランキングにはマルチベクトル。API のタスクパラメータで LoRA アダプタを選択します：クエリ-文書検索は 'retrieval'、セマンティック類似度は 'text-matching'、コード検索は 'code'。32K トークンを超える文書には `late_chunking を使用してください。LoRA アダプタごとの 60M パラメータオーバーヘッドは無視できるほど小さく（メモリ増加 <2%）で、3 つすべてのアダプタを同時にロードできます。モデルは Qwen Research License の下でライセンスされています（商用ライセンスなしでの商用利用は不可）。本番デプロイには CUDA 対応 GPU を使用してください；モデルは Jina API、AWS、Azure、GCP マーケットプレイスで利用可能です。テキストのみワークロードには、jina-embeddings-v5-text-small` が計算コストの一小部でパラメータあたりの精度を向上させます。