jina-colbert-v2

jina-colbert-v2 は 560M パラメータの多言語レイテインタラクション検索モデルで、89 言語をサポートしています。トークン単位のコンパクトな埋め込み（トークンあたり 64–128 次元）を生成する初の多言語 ColBERT 系モデルであり、スケーラブルでコスト効率の高い多言語検索を可能にします。Matryoshka 表現学習により、128 から 64 への次元削減を性能 1.5% の低下のみで実現し、ストレージ要件を半分にして縮小します。

モデルは、回転位置埋め込みを強化し Flash Attention で最適化された修正 XLM-RoBERTa バックボーン（560M パラメータ）を持つ ColBERT レイテインタラクションアーキテクチャに基づいています。学習は 2 つの重要な段階から成ります：(1) 多様な言語からなる多様な弱監督データによる初期事前学習、(2) ラベル付きトリプレットデータとより大きな教師モデルからの教師あり蒸留によるファインチューニング。主要な革新はマルチベクトル埋め込みへの Matryoshka 表現学習の実装です：モデルは単一の学習プロセスから 128、96、または 64 次元のトークン単位のベクトルを生成し、再学習なしでの動的ストレージ最適化を可能にします。8,192 トークンのドキュメントコンテキスト（12,288 まで拡張可能）と 32 トークンのクエリ制限は、ALiBi 位置エンコーディングによって管理されています。

モデルは英語タスクにおいて元の ColBERT-v2 に対して 6.5% の改善を達成し、14 の BEIR ベンチマークにわたって平均スコア 0.521 を記録しています。MIRACL ベンチマークでは、テストされたすべての言語で従来の BM25 ベースの検索手法を上回り、特にクロスリンガルシナリオで強みを示しています。128 から 64 次元への縮小は性能の低下をわずか 1.5% に留め、ストレージ要件を半分にし、例えば 64 次元ベクトルで 1 億件のドキュメントを保存すると AWS では月額 659.62 ドルで、128 次元では 1,319.24 ドルです。モデルの多言語カバレッジ（89 言語）とコンパクトなトークン埋め込みは、グローバル検索アプリケーションに独特の適性を提供します。

モデルは最適な性能のために CUDA 対応ハードウェアが必要です。クエリは 32 トークンに制限しながら、最大 8,192 トークン（12,288 まで拡張可能）のドキュメント長をサポートします。本番デプロイでは、Jina Search Foundation API、AWS マーケットプレイス、Azure を通じて利用可能で、Hugging Face には非商用バージョンがあります。実装時には、クエリとドキュメントのどちらを埋め込みするかを指定してください — モデルは非対称エンコーディングを使用します。適切なインデックスなしで超大量ドキュメントコレクションをリアルタイム処理するように設計されていません；ANN 検索には FAISS、Qdrant、Weaviate を使用してください。ドメイン固有のタスクには、コーパスでのファインチューニングをご検討ください。より高次元の出力を持つ単一ベクトル検索には、jina-embeddings-v4（マルチベクトルモード）または jina-embeddings-v5-text-small を検討してください。