jina-embeddings-v5-omni: テキスト、画像、音声、動画のためのベクトルモデル

jina-embeddings-v5-omni - a jinaai Collection

Multimodal (text + image + video + audio) embedding models aligned with jina-embeddings-v5-text-*. Two sizes, four task variants each.

a jinaai Collection

jina-embeddings-v5-omni: Text-Geometry-Preserving Multimodal Embeddings via Frozen-Tower Composition

In this work, we introduce frozen-encoder model composition, a novel approach to multimodal embedding models. We build on the VLM-style architecture, in which non-text encoders are adapted to produce input for a language model, which in turn generates embeddings for all varieties of input. We present the result: the jina-embeddings-v5-omni suite, a pair of models that encode text, image, audio, and video input into a single semantic embedding space. Our method is to extend the two Jina Embeddings v5 Text models to support additional media by adding encoders for images and audio. The backbone text embedding models and the added non-text media encoders remain frozen. We only trained the connecting components, representing 0.35% of the total weights of the joint model. Training is therefore much more efficient than full-parameter retraining. Additionally, the language model remains effectively unaltered, producing exactly the same embeddings for text inputs as the Jina Embeddings v5 Text models. Our evaluations show that this approach produces results that are competitive with the state-of-the-art, yielding nearly equal performance to larger multimodal embedding models.

arXiv.orgFlorian Hönicke

私たちは、v5-text 向量模型を画像、音声、ビデオに拡張した jina-embeddings-v5-omni をリリースします。両モデルとも v5-text と同じ固定されたテキストバックボーンを共有しているため、テキストの 向量模型 は同一であり、インデックスの再構築は不要です。jina-embeddings-v5-omni-small は4つのモダリティ全体で平均 54.04 を記録し、5.7倍少ないパラメータで LCO-7B (54.43) と 0.39 ポイント差の精度を達成しました。一方、jina-embeddings-v5-omni-nano はわずか 0.95B パラメータで競争力のある文書検索性能を発揮します。

tagアーキテクチャ

v5-omni は v5-text バックボーンを完全に固定したまま、事前に学習された視覚および音声エンコーダーを追加し、小さな学習可能なプロジェクターを通じて接続しています：

• 視覚: 2x2 空間マージ（4倍の 詞元 削減）を備えた Qwen3.5 視覚エンコーダー（SigLIP2 から調整）。テキストバックボーンの隠れ次元にマッピングするランダム初期化された層に置き換えた最終投影層 (fc_vision_2) 以外はすべて凍結しています。
• 音声: Qwen2.5-Omni エンコーダー（Whisper-large-v3 から調整）。単一のランダム初期化された fc_audio 層が 1280 次元の出力をテキストバックボーンに投影します。
• ビデオ: 視覚フレームのシーケンスとして扱われ、必要に応じて抽出された音声セグメントが先行します。

このモデルは v5-text の4つのタスク固有 LoRA アダプター（検索、テキストマッチング、分類、クラスタリング）を継承しており、各タスクバリアントに対して個別のプロジェクター重みを学習させます。アーキテクチャは完全にモジュール化されており、テキストのみのデプロイメントでは視覚や音声の重みはロードされず（v5-text と同じフットプリント）、画像のみの場合は音声がスキップされ、フルオムニではすべてがロードされます。

tagはじめに

tagElasticsearch (Elastic Inference Service)

すでに Elasticsearch で jina-embeddings-v5-text を使用している場合、既存のテキストインデックスは v5-omni でそのまま機能します。オムニモデルは v5-text とテキスト入力に対して同一の 向量模型 を生成します。つまり、入力が同じであればベクトルもバイト単位で全く同じです。テキストインデックスを再ベクトル化したり再構築したりする必要はありません。画像、音声、ビデオの検索を既存のテキストデータと併せて開始するには、v5-omni で新しいインデックスを作成し、マルチモーダルコンテンツを取り込むだけです。

v5-omni を推論エンドポイントとして使用する semantic_text インデックスを作成します。EIS は自動的にインデックス作成と検索のための適切な LoRA アダプターを選択します：

テキスト、画像（base64 データ URI 形式）、音声、動画を同じフィールド、同じインデックスに取り込みます：

// テキストの取り込み
POST multimodal-semantic-index/_doc
{
  "content": "'Kraft Dinner' is what Canadians call macaroni and cheese when prepared from a kit."
}

// 画像の取り込み (base64)
POST multimodal-semantic-index/_doc
{
  "content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}
コピー

単一のテキストクエリを使用して、すべてのモダリティを横断して検索します：

GET multimodal-semantic-index/_search
{
  "query": {
    "semantic": {
      "field": "content",
      "query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
    }
  }
}
コピー

tagJina Embedding API

curl https://api.jina.ai/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "jina-embeddings-v5-omni-small",
    "task": "retrieval.query",
    "dimensions": 1024,
    "input": ["What does this image show?"],
    "images": ["data:image/png;base64,..."]
  }'
コピー

tagHugging Face

from sentence_transformers import SentenceTransformer
import torch

model = SentenceTransformer(
    "jinaai/jina-embeddings-v5-omni-small-retrieval",
    model_kwargs={"dtype": torch.bfloat16},
)

# テキストのベクトル化 (v5-text と同一)
text_emb = model.encode("What is knowledge distillation?", prompt_name="query")

# 画像のベクトル化
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)

# クロスモーダルな類似度
similarity = model.similarity(text_emb, img_emb)
コピー

tagトレーニング

核となる考え方は、フリーズしたエンコーダーモデルの構成（frozen-encoder model composition）です。強力なテキストベクトルモデルを採用し、事前学習済みの視覚および音声エンコーダーを追加し、それらを小さな学習可能なプロジェクターで接続します。そして、それらのプロジェクター以外はすべてフリーズさせます。全重みのうちわずか 0.35% のみが学習されるため、3 つの特性が得られます：(1) テキストの同一性の維持 - バックボーンは修正されないため、同じ入力からは同一の出力が得られます；(2) トレーニング効率 - プロジェクターのみをトレーニングすることで、1.8 ～ 3.9 倍高速化され、GPU メモリ消費を 31 ～ 69% 削減できます；(3) モジュール性 - 各タワーを個別にロード可能です。

v5-omni は、v5-text から Matryoshka 次元のサポートを継承しています。画像および音声のベクトルモデルは、次元を削減しても品質をほとんど維持しますが、動画は小さな次元ではより劣化が見られます。

tag結論

従来、マルチモーダルなベクトルモデルにはモデル全体の end-to-end 学習が必要であると考えられてきました。私たちはそれに反対します。v5-omni はテキストのバックボーンをフリーズし、全重みの 0.35% をトレーニングすることで、5 ～ 7 倍のサイズのモデルに匹敵する性能を実現しました。教訓は、「再トレーニングよりも構成が勝る」ということです。強力なテキストエンコーダーを作成するのが最も困難な部分であり、それさえあれば、軽量なプロジェクターを介して視覚や音声を統合することはほとんどタダ同然です。

これは本番環境にとって重要です。既存の v5-text インデックスには一切触れる必要がありません。同じクエリ、同じベクトルで、完全に一致します。ドキュメントを再ベクトル化することなく、画像、音声、動画の検索機能を追加できるのです。これこそが、移行プロジェクトではなく、ドロップイン式のアップグレードとしての真のマルチモーダル検索の解禁です。

jina-embeddings-v5-omni-small は、2B パラメータ未満で最高のパフォーマンスを発揮するオープンウェイトのオムニベクトルモデルです。jina-embeddings-v5-omni-nano は 0.9B で同様の性能を実現しています。両モデルとも、Hugging Face、Jina Search Foundation API、そして Elasticsearch のネイティブ推論エンドポイントとして現在ご利用いただけます。