jina-embeddings-v3

Jina Embeddings v3 は、組織が言語を超えたテキストの理解と取得に取り組む方法を変える、画期的な多言語テキスト ベクトル モデルです。基本的に、計算要件を制御しながら、複数の言語およびタスクにわたって高いパフォーマンスを維持するという重要な課題を解決します。このモデルは、効率が重要な実稼働環境で特に優れています。わずか 5 億 7,000 万のパラメータで最先端のパフォーマンスを実現し、大規模なモデルの計算オーバーヘッドに余裕がないチームでも利用できるようになります。スケーラブルな多言語検索システムを構築したり、言語の壁を越えてコンテンツを分析したりする必要がある組織は、このモデルが特に価値があると考えられます。

このモデルのアーキテクチャは、ベクトル テクノロジーにおける主要な革新を表しており、24 層の jina-XLM-RoBERTa に基づいて構築され、タスク固有の低ランク アダプティブ (LoRA) アダプターで強化されています。 LoRA アダプターは、パラメーターの数を大幅に増やすことなく、検索、分類、クラスタリングなどのさまざまなタスクに合わせてモデルを最適化する特殊なニューラル ネットワーク コンポーネントです。合計パラメーターの増加は 3% 未満です。このモデルには Matryoshka Representation Learning (MRL) が組み込まれており、パフォーマンスを維持しながらベクトルを 1024 次元から 32 次元に柔軟に削減できます。トレーニングには 3 つの段階が含まれます。89 言語の多言語テキストに関する最初の事前トレーニング、ベクトル品質を向上させるためのペアのテキストの微調整、タスクに合わせて最適化するための特殊なアダプター トレーニングです。このモデルは、回転位置ベクトル (RoPE) を介して最大 8,192 トークンのコンテキスト長をサポートし、革新的な基本周波数調整技術を使用して、短いテキストと長いテキストの両方のパフォーマンスを向上させます。

このモデルは、実世界のテストで優れた効率対パフォーマンス比を実証し、英語タスクではオープンソースの代替案や OpenAI や Cohere の独自ソリューションを上回っていると同時に、多言語シナリオでも良好なパフォーマンスを示しています。最も驚くべきことに、12 倍のパラメータを使用する e5-mistral-7b-instruct よりも優れた結果が得られ、その優れた効率性が強調されます。 MTEB ベンチマーク評価では、すべてのタスクで平均スコア 65.52 を達成し、特に分類精度 (82.58) と文の類似性 (85.80) で優れたパフォーマンスを示しました。このモデルは言語間で一貫したパフォーマンスを維持し、多言語タスクで 64.44 のスコアを獲得しました。次元削減に MRL を使用すると、より低い次元でも強力なパフォーマンスが維持されます。たとえば、64 次元では、完全な 1024 次元と比較して 92% の検索パフォーマンスが維持されます。

Jina Embeddings v3 を効果的に導入するには、チームは特定のユースケースを考慮して適切なタスク アダプターを選択する必要があります。検索アプリケーションの場合は retrieval.query と retrieval.passage、クラスタリング タスクの場合は分離、分類の場合は分類、意味上の類似性の場合はテキスト マッチングです。このモデルでは、最適なパフォーマンスを得るために CUDA 対応ハードウェアが必要ですが、その効率的なアーキテクチャにより、必要な GPU メモリが大規模な代替モデルよりも大幅に少なくなります。実稼働デプロイメントの場合、AWS SageMaker 統合により、簡素化されたスケーラビリティ パスが提供されます。このモデルは多言語アプリケーションでは良好に機能しますが、リソースが少ない言語では追加の評価が必要になる場合があります。最大 8,192 トークンまでの長い文書をサポートしますが、非常に長いテキストの場合は、ポストチャンク機能を使用すると最高のパフォーマンスが得られます。チームは、リアルタイム生成や複雑な推論を必要とするタスクにこのモデルを使用することを避けるべきです。このモデルは、テキスト生成や直接的な質問応答ではなく、ベクトル和の取得を目的として設計されています。