jina-embeddings-v5-omni：適用於文字、圖像、音訊和視訊的向量模型

jina-embeddings-v5-omni - a jinaai Collection

Multimodal (text + image + video + audio) embedding models aligned with jina-embeddings-v5-text-*. Two sizes, four task variants each.

a jinaai Collection

jina-embeddings-v5-omni: Text-Geometry-Preserving Multimodal Embeddings via Frozen-Tower Composition

In this work, we introduce frozen-encoder model composition, a novel approach to multimodal embedding models. We build on the VLM-style architecture, in which non-text encoders are adapted to produce input for a language model, which in turn generates embeddings for all varieties of input. We present the result: the jina-embeddings-v5-omni suite, a pair of models that encode text, image, audio, and video input into a single semantic embedding space. Our method is to extend the two Jina Embeddings v5 Text models to support additional media by adding encoders for images and audio. The backbone text embedding models and the added non-text media encoders remain frozen. We only trained the connecting components, representing 0.35% of the total weights of the joint model. Training is therefore much more efficient than full-parameter retraining. Additionally, the language model remains effectively unaltered, producing exactly the same embeddings for text inputs as the Jina Embeddings v5 Text models. Our evaluations show that this approach produces results that are competitive with the state-of-the-art, yielding nearly equal performance to larger multimodal embedding models.

arXiv.orgFlorian Hönicke

我們發布了 jina-embeddings-v5-omni，將我們的 v5-text 向量模型擴展至圖像、音訊和影片。這兩個模型共享與 v5-text 相同的凍結文字主幹（backbone），這意味著文字向量是完全相同的——無需重建索引。jina-embeddings-v5-omni-small 在四種模態上的平均得分為 54.04，參數數量減少了 5.7 倍，表現與 LCO-7B（54.43）相差不到 0.39 分；而 jina-embeddings-v5-omni-nano 則在僅 0.95B 參數的情況下提供了極具競爭力的文件檢索能力。

tag架構

v5-omni 完全凍結了 v5-text 主幹，並透過小型可訓練的投影層（projectors）連接預訓練的視覺和音訊編碼器：

• 視覺：Qwen3.5 視覺編碼器（改編自 SigLIP2），採用 2x2 空間合併（4 倍詞元縮減）。我們凍結了除最後一層投影層 (fc_vision_2) 之外的所有部分，該層被替換為隨機初始化的層，映射到文字主幹的隱藏維度。
• 音訊：Qwen2.5-Omni 編碼器（改編自 Whisper-large-v3）。單個隨機初始化的 fc_audio 層將 1280 維輸出投影到文字主幹中。
• 影片：處理為視覺幀序列，可選地在前方加上提取的音訊片段。

模型繼承了 v5-text 的四個特定任務 LoRA 適配器（檢索、文字匹配、分類、聚類），並為每個任務變體訓練單獨的投影權重。架構完全模組化：僅文字部署時不會載入視覺或音訊權重（與 v5-text 佔用空間相同），僅圖像則跳過音訊，全功能 Omni 模式則載入所有組件。

tag入門指南

tagElasticsearch (Elastic Inference Service)

如果您已經在 Elasticsearch 中使用 jina-embeddings-v5-text，您現有的文字索引可以直接與 v5-omni 搭配使用。Omni 模型產生的文字輸入向量與 v5-text 完全相同——相同的輸入，相同的向量，位元組級一致。您無需重新進行向量化或重建任何文字索引。若要開始在現有的文字資料中搜尋圖像、音訊和影片，只需使用 v5-omni 建立一個新索引，並將您的多模態內容匯入其中即可。

建立一個使用 v5-omni 作為推理端點的 semantic_text 索引。EIS 會自動選擇正確的 LoRA 適配器進行索引和檢索：

PUT multimodal-semantic-index
{
  "mappings": {
    "properties": {
      "content": {
        "type": "semantic_text",
        "inference_id": ".jina-embeddings-v5-omni-small"
      }
    }
  }
}
Copy

將文字、圖像（以 base64 資料 URI 形式）、音訊和影片存入同一個欄位、同一個索引中：

// 存入文字
POST multimodal-semantic-index/_doc
{
  "content": "'Kraft Dinner' is what Canadians call macaroni and cheese when prepared from a kit."
}

// 存入圖像 (base64)
POST multimodal-semantic-index/_doc
{
  "content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}
Copy

透過單一文字查詢，跨模態進行搜尋：

GET multimodal-semantic-index/_search
{
  "query": {
    "semantic": {
      "field": "content",
      "query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
    }
  }
}
Copy

tagJina 向量模型 API

curl https://api.jina.ai/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "jina-embeddings-v5-omni-small",
    "task": "retrieval.query",
    "dimensions": 1024,
    "input": ["What does this image show?"],
    "images": ["data:image/png;base64,..."]
  }'
Copy

tagHugging Face

from sentence_transformers import SentenceTransformer
import torch

model = SentenceTransformer(
    "jinaai/jina-embeddings-v5-omni-small-retrieval",
    model_kwargs={"dtype": torch.bfloat16},
)

# 文字向量化 (與 v5-text 相同)
text_emb = model.encode("What is knowledge distillation?", prompt_name="query")

# 圖像向量化
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)

# 跨模態相似度
similarity = model.similarity(text_emb, img_emb)
Copy

tag訓練

其核心概念是凍結編碼器模型組合（frozen-encoder model composition）：採用強大的文字向量模型，添加預訓練的視覺與音訊編碼器，並透過小型可訓練的投影層將它們連接起來，同時凍結除這些投影層之外的所有參數。僅訓練總參數的 0.35%，這使我們獲得了三個特性：(1) 文字識別一致性 —— 骨幹模型未經修改，相同的輸入產生相同的輸出；(2) 訓練效率 —— 僅訓練投影層的速度提升了 1.8 至 3.9 倍，且節省了 31% 至 69% 的 GPU 記憶體；(3) 模組化 —— 各個塔狀結構（towers）可以獨立載入。

v5-omni 繼承了 v5-text 的 Matryoshka 維度支援。圖像與音訊向量在降維後仍能保留大部分品質，而影片在維度較小時降解較為明顯。

tag結論

傳統觀點認為多模態向量模型需要端對端地訓練整個模型。我們並不這麼認為。v5-omni 凍結了文字骨幹，僅訓練 0.35% 的參數，表現卻能媲美比其大 5 至 7 倍的模型。這帶來的啟示是：組合優於重訓。強大的文字編碼器是最難構建的部分 —— 一旦擁有它，透過輕量級投影層連接視覺和音訊幾乎是零成本的。

這對於生產環境至關重要。您現有的 v5-text 索引完全不受影響。相同的查詢、相同的向量，逐位元組完全一致。您無需為單一文件重新進行向量化，即可獲得圖像、音訊和影片搜尋能力。這才是真正的關鍵：多模態檢索作為一種隨插即用的升級，而非遷移專案。

jina-embeddings-v5-omni-small 是 2B 參數以下表現最好的開源權重通用向量模型。jina-embeddings-v5-omni-nano 則在 0.9B 參數下達到了同樣效果。兩者現已可在 Hugging Face、Jina Search Foundation API 以及作為 Elasticsearch 的原生推理端點使用。