jina-embeddings-v5-omni-small

jina-embeddings-v5-omni-small（約17億4000万個のパラメータ）は、テキスト、画像、ビデオ、音声データを受け入れ、jina-embeddings-v5-text-smallと整合した共有ベクトル空間に埋め込みを生成するマルチモーダルベクトルモデルです。最初にテキストでインデックスを作成し、任意のモダリティでクエリを実行することも、その逆も、再インデックスなしで実行できます。マルチモーダル学習中は、テキストバックボーンネットワークと4つのタスク固有のLoRAアダプタ（検索、テキストマッチング、クラスタリング、分類）すべてが固定されるため、プレーンテキスト出力はjina-embeddings-v5-text-smallと同一になります。このモデルは1024次元の埋め込みを生成し、マトリョーシカ切り捨てを使用して32次元に削減します。また、32Kトークンのコンテキスト長をサポートします。

トレーニングの第 3 段階では、jina-embeddings-v5-text-small モデルを拡張しました。テキストバックボーンネットワークと 4 つのタスク固有の LoRA アダプタはすべて固定し、クロスモーダルプロジェクターのみを新規にトレーニングしました。SigLIP2 So400m ビジュアルエンコーダは、画像とビデオ (均一にサンプリングされた 32 フレーム) を処理します。Whisper-large-v3 オーディオエンコーダは、オーディオ入力を処理します。PDF ページは画像としてレンダリングされ、ビジュアルパスを介して処理されます。トレーニングでは、コントラスト損失関数を使用し、クロスモーダルハードネガティブサンプルを組み込んで、ビジュアル表現とオーディオ表現を既存のテキスト埋め込み空間に合わせました。

プレーンテキストのパフォーマンスはjina-embeddings-v5-text-smallと同一です。マルチモーダル学習中にテキストバックボーンもLoRAアダプタも変更されていません。クロスモーダル検索では、テキスト-画像、テキスト-音声、テキスト-動画の各タスクにおいて、モデルは高い一貫性を示します。PDFページの検索は、ビジュアルパスを介して行われます。サーバー展開においては、omni-smallモデルがJinaのマルチモーダルベクトルモデルの中で最高の精度と効率のバランスを実現しています。

v5-text-small と同じ 4 つの LoRA アダプタ (retrieval、text-matching、clustering、classification) を使用します。API を介して渡されるマルチモーダル入力の場合、画像 URL、音声ファイル URL、ビデオファイル URL、または PDF URL を直接渡すことができます。モデルは、各モダリティのデータを適切なエンコーダにルーティングします。サポートされている音声フォーマットには、WAV、MP3、FLAC、OGG、M4A、および Opus があります。ビデオ入力は、均一にサンプリングされた 32 フレームとして処理されます。異なるモダリティを単一のバッチで自由に混合できます。埋め込み空間はすべてのモダリティで共有されます。比較にはコサイン類似度が使用されます。1024 次元から 32 次元への Matryoshka 切り捨てがサポートされています。テキストのみの埋め込みは jina-embeddings-v5-text-small とドロップイン互換であり、アップグレード時に再インデックス化は必要ありません。