jina-embedding-b-en-v1

Jina Embedding B v1 は、意味論的な意味を維持しながら英語テキストを高次元の数値表現に変換するように設計された特殊なテキスト ベクトル モデルです。このモデルは、運用環境における効率的で正確なテキスト ベクトルに対する重要なニーズに対応しており、計算効率とベクトル品質のバランスをとる必要がある組織にとって特に価値があります。 768 次元のベクトルを生成する 1 億 1,000 万個のパラメータにより、大規模なコンピューティング リソースを必要とせずに、セマンティック検索、ドキュメント クラスタリング、またはコンテンツ推奨システムを実装するチームにとって実用的なソリューションとして機能します。

このモデルは、平均プーリングで強化された T5 エンコーダベースのアーキテクチャを使用して、固定長表現を生成します。このモデルは、元の 16 億の文ペアから選別された 3 億 8,500 万の高品質な文ペアを含む厳選された Linnaeus-Clean データセットでトレーニングされ、2 段階のトレーニング プロセスを経ます。第 1 段階では、対照学習を利用してテキスト ペアに対して InfoNCE 損失を実行します。一方、第 2 段階ではトリプル トレーニングを使用して、類似コンテンツと類似コンテンツを区別するモデルの能力を向上させます。この革新的なトレーニング方法と厳密なデータ フィルタリング (言語検出や一貫性チェックを含む) を組み合わせることで、モデルが微妙な意味関係を効果的にキャプチャできるようになります。

実際の評価では、Jina Embedding B v1 は、特に意味論的なテキストの類似性タスクにおいて優れた機能を実証します。このモデルは、STS12 で 0.751 のスコアで最高のパフォーマンスを達成し、all-mpnet-base-v2 や all-minilm-l6-v2 などの成熟したモデルを上回ります。効率的な推論時間を維持しながら、さまざまなベンチマークで良好なパフォーマンスを発揮します。ただし、このモデルは英語コンテンツに特化して最適化されており、多言語タスクやコード固有のタスクでは最適なパフォーマンスが得られない可能性があることに注意してください。このモデルは、jina-embeddings-v2-base-en および jina-embeddings-v3 に置き換えられ、より幅広いユースケースにわたってパフォーマンスが向上しました。

最適な展開のためには、モデルには CUDA 対応 GPU が必要ですが、その適度なサイズにより標準ハードウェアで効率的な推論が可能になります。このモデルは最大 512 トークンの長さの入力シーケンスを受け入れるため、一貫性のある信頼性の高いベクトル生成が重要な運用環境に最適です。英語コンテンツで最高のパフォーマンスを発揮し、意味検索、文書類似性比較、コンテンツ推奨システムなどのアプリケーションに最適です。チームは、より優れたパフォーマンスとより広範な言語サポートを提供するため、新しいプロジェクトには新しい v2 または v3 バージョンの使用を検討する必要があります。このモデルは、多言語の理解や一般的な英語のテキストを超えた専門分野の知識を必要とするタスクにはお勧めできません。