jina-colbert-v2

Jina-ColBERT-v2 は、複数言語にわたる効率的で高品質な検索という重要な課題を解決する画期的な多言語情報検索モデルです。コンパクト ベクトルを生成する初の多言語 ColBERT 類似モデルとして、世界中のアプリケーションにおけるスケーラブルでコスト効率の高い多言語検索ソリューションに対するニーズの高まりに対応します。電子商取引プラットフォームからコンテンツ管理システムに至るまで、多言語コンテンツを扱う組織はこのモデルを活用して、革新的な次元削減機能によりストレージとコンピューティングのコストを大幅に削減しながら、89 言語で正確な検索結果を提供できます。

このモデルは ColBERT アーキテクチャに基づいており、クエリとドキュメントの照合方法を根本的に変える高度な後期インタラクション メカニズムを導入しています。その中核には、5 億 6,000 万のパラメーターを備えた修正版 XLM-RoBERTa バックボーンが使用され、回転位置埋め込みで強化され、FlashAttention で最適化されています。トレーニング プロセスには 2 つの重要な段階が含まれます。1 つはさまざまな言語の多様な弱教師ありデータを使用した最初の事前トレーニングで、その後はラベル付きトリプレット データを使用した微調整と教師あり蒸留です。このアプローチに特有なのは、Matryoshka 表現学習の実装です。これにより、モデルが単一のトレーニング プロセスから複数次元 (128、96、または 64) の埋め込みを生成できるようになり、再トレーニングを必要とせずに動的なストレージの最適化が可能になります。

実際のテストでは、Jina-ColBERT-v2 は複数のベンチマークで優れた機能を実証しました。オリジナルの ColBERT-v2 よりも英語タスクのパフォーマンスが 6.5% 向上し、14 個の BEIR ベンチマークで平均スコア 0.521 を達成しました。さらに印象的なのは、MIRACL ベンチマークでテストされたすべての言語で従来の BM25 ベースの検索方法よりも優れたパフォーマンスを示し、言語をまたがるシナリオで特に強力であることを示しています。このモデルは、ベクトル次元を削減した場合でもこの高いパフォーマンスを維持します。次元を 128 から 64 に削減しても、ストレージ要件が半分になる一方で、パフォーマンスの低下は 1.5% にとどまりました。これは、制作コストの大幅な節約を意味します。たとえば、64 次元ベクトルを使用して 1 億件のドキュメントを AWS に保存すると、1 か月あたり 659.62 ドルかかりますが、128 次元の場合は 1,319.24 ドルかかります。

Jina-ColBERT-v2 を効果的に導入するには、チームはいくつかの実用的な側面を考慮する必要があります。このモデルは、最適なパフォーマンスを得るために CUDA 対応ハードウェアを必要とし、クエリを 32 トークンに制限しながら、最大 8,192 トークン (12,288 まで拡張可能) のドキュメント長をサポートします。実稼働環境の場合、モデルは Jina Search Foundation API、AWS Marketplace、Azure を通じて入手でき、非商用バージョンは Hugging Face を通じて入手できます。モデルでは非対称エンコーディングが使用されているため、実装する際、チームは埋め込む対象がクエリなのかドキュメントなのかを指定する必要があります。このモデルは、適切なインデックスを作成せずに、非常に大規模なドキュメントのコレクションをリアルタイムで処理するようには設計されていません。また、多言語検索では優れたパフォーマンスを発揮しますが、特定のドメイン向けに微調整されたモデルと比較すると、専門的なドメイン固有のタスクではパフォーマンスがわずかに低下する可能性があります。