jina-embeddings-v5-omni: Embeddings für Text, Bild, Audio und Video

jina-embeddings-v5-omni - eine jinaai Kollektion

Multimodale (Text + Bild + Video + Audio) 向量模型, die auf jina-embeddings-v5-text-* abgestimmt sind. Zwei Größen, jeweils vier Aufgabenvarianten.

eine jinaai Kollektion

jina-embeddings-v5-omni: Text-Geometry-Preserving Multimodal Embeddings via Frozen-Tower Composition

In dieser Arbeit stellen wir die Frozen-Encoder-Modellkomposition vor, einen neuartigen Ansatz für multimodale 向量模型. Wir bauen auf einer Architektur im VLM-Stil auf, bei der Nicht-Text-Encoder so angepasst werden, dass sie Eingaben für ein 大模型 liefern, welches wiederum 向量模型 für alle Arten von Eingaben generiert. Wir präsentieren das Ergebnis: die jina-embeddings-v5-omni-Reihe, ein Paar von Modellen, die Text-, Bild-, Audio- und Videoeingaben in einen einzigen semantischen Vektorraum kodieren. Unsere Methode besteht darin, die beiden Jina Embeddings v5 Text-Modelle durch das Hinzufügen von Encodern für Bilder und Audio für zusätzliche Medien zu erweitern. Die zugrunde liegenden Text-向量模型 und die hinzugefügten Nicht-Text-Medien-Encoder bleiben eingefroren. Wir haben nur die Verbindungskomponenten trainiert, was 0,35 % der Gesamtgewichte des gemeinsamen Modells entspricht. Das Training ist daher weitaus effizienter als eine Umschulung der vollständigen Parameter. Zudem bleibt das 大模型 effektiv unverändert und erzeugt exakt dieselben 向量模型 für Texteingaben wie die Jina Embeddings v5 Text-Modelle. Unsere Evaluierungen zeigen, dass dieser Ansatz Ergebnisse liefert, die mit dem Stand der Technik konkurrenzfähig sind und eine nahezu gleichwertige Leistung wie größere multimodale 向量模型 erbringen.

arXiv.orgFlorian Hönicke

Wir veröffentlichen jina-embeddings-v5-omni und erweitern damit unsere v5-text 向量模型 auf Bilder, Audio und Video. Beide Modelle teilen sich dasselbe eingefrorene Text-Backbone wie v5-text, was bedeutet, dass die 向量模型 identisch sind – es ist kein Neuaufbau des Index erforderlich. jina-embeddings-v5-omni-small erzielt durchschnittlich 53,93 über vier Modalitäten hinweg und entspricht damit LCO-7B (54,43) bei 5,7-fach weniger Parametern, während jina-embeddings-v5-omni-nano eine wettbewerbsfähige Dokumentensuche mit nur 0,95 Mrd. Parametern liefert.

tagArchitektur

v5-omni hält das v5-text-Backbone komplett eingefroren und fügt vortrainierte Vision- und Audio-Encoder hinzu, die durch kleine trainierbare Projektoren verbunden sind:

• Vision: Qwen3.5-Vision-Encoder (angepasst von SigLIP2) mit 2x2 räumlicher Zusammenführung (4-fache Reduzierung der 词元). Wir frieren alles bis auf die finale Projektionsschicht (fc_vision_2) ein, die wir durch eine zufällig initialisierte Schicht ersetzen, welche in die verborgene Dimension des Text-Backbones abbildet.
• Audio: Qwen2.5-Omni-Encoder (angepasst von Whisper-large-v3). Eine einzelne zufällig initialisierte fc_audio-Schicht projiziert den 1280-dimensionalen Output in das Text-Backbone.
• Video: Wird als Abfolge von visuellen Frames behandelt, optional vorangestellt durch ein extrahiertes Audiosegment.

Das Modell übernimmt die vier aufgabenspezifischen LoRA-Adapter von v5-text (Suche, Text-Matching, Klassifizierung, Clustering) und trainiert separate Projektorgewichte für jede Aufgabenvariante. Die Architektur ist vollständig modular: Ein reiner Text-Einsatz lädt keine Vision- oder Audio-Gewichte (identisch mit dem Footprint von v5-text), bei reinen Bildern wird Audio übersprungen, bei Full-Omni wird alles geladen.

tagErste Schritte

tagElasticsearch (Elastic Inference Service)

Wenn Sie bereits jina-embeddings-v5-text in Elasticsearch verwenden, funktionieren Ihre bestehenden Textindizes sofort mit v5-omni. Die Omni-Modelle erzeugen identische Vektor-Modelle (Embeddings) für Texteingaben wie v5-text – gleiche Eingabe, gleicher Vektor, Byte für Byte. Sie müssen keinen Textindex neu erstellen oder Daten erneut einbetten. Um neben Ihren bestehenden Textdaten auch nach Bildern, Audio und Video zu suchen, erstellen Sie einfach einen neuen Index mit v5-omni und fügen Sie Ihre multimodalen Inhalte dort hinzu.

Erstellen Sie einen semantic_text-Index mit v5-omni als Inference-Endpunkt. EIS wählt automatisch den korrekten LoRA-Adapter für Indizierung und Abfrage aus:

PUT multimodal-semantic-index
{
  "mappings": {
    "properties": {
      "content": {
        "type": "semantic_text",
        "inference_id": ".jina-embeddings-v5-omni-small"
      }
    }
  }
}
Kopieren

Fügen Sie Text, Bilder (als base64-Daten-URIs), Audio und Video in dasselbe Feld und denselben Index ein:

// Ingest text
POST multimodal-semantic-index/_doc
{
  "content": "'Kraft Dinner' is what Canadians call macaroni and cheese when prepared from a kit."
}

// Ingest an image (base64)
POST multimodal-semantic-index/_doc
{
  "content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}
Kopieren

Suchen Sie über alle Modalitäten hinweg mit einer einzigen Textabfrage:

GET multimodal-semantic-index/_search
{
  "query": {
    "semantic": {
      "field": "content",
      "query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
    }
  }
}
Kopieren

tagJina Embedding API

curl https://api.jina.ai/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "jina-embeddings-v5-omni-small",
    "task": "retrieval.query",
    "dimensions": 1024,
    "input": ["What does this image show?"],
    "images": ["data:image/png;base64,..."]
  }'
Kopieren

tagHugging Face

from sentence_transformers import SentenceTransformer
import torch

model = SentenceTransformer(
    "jinaai/jina-embeddings-v5-omni-small-retrieval",
    model_kwargs={"dtype": torch.bfloat16},
)

# Text embedding (identisch zu v5-text)
text_emb = model.encode("What is knowledge distillation?", prompt_name="query")

# Image embedding
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)

# Cross-modal similarity
similarity = model.similarity(text_emb, img_emb)
Kopieren

tagTraining

Die Kernidee ist die Zusammensetzung von Modellen mit eingefrorenem Encoder (frozen-encoder model composition): Man nimmt ein leistungsstarkes Text-Vektor-Modell, fügt vortrainierte Vision- und Audio-Encoder hinzu, verbindet sie mit kleinen, trainierbaren Projektoren und friert alles außer diesen Projektoren ein. Nur 0,35 % der gesamten Gewichte werden trainiert, was uns drei Eigenschaften verleiht: (1) Erhaltung der Textidentität – das Grundmodell bleibt unverändert, dieselbe Eingabe erzeugt dieselbe Ausgabe; (2) Trainingseffizienz – das Training nur der Projektoren ist 1,8- bis 3,9-mal schneller bei 42-64 % weniger GPU-Speicherbedarf; (3) Modularität – die Komponenten können unabhängig geladen werden.

v5-omni erbt die Unterstützung für Matryoshka-Dimensionen von v5-text. Bild- und Audio-Vektor-Modelle behalten die meiste Qualität bei einer Reduzierung der Dimensionen bei, während die Qualität bei Video in kleinen Dimensionen stärker abnimmt.

tagFazit

Die herkömmliche Meinung besagt, dass multimodale Vektor-Modelle das Training des gesamten Modells von Grund auf erfordern. Wir sind anderer Meinung. v5-omni friert das Text-Grundmodell ein, trainiert 0,35 % der Gewichte und erreicht die Leistung von Modellen, die 5- bis 7-mal größer sind. Die Lehre daraus: Zusammensetzung schlägt Umschulung. Ein starker Text-Encoder ist der schwierigste Teil – sobald man ihn hat, ist das Hinzufügen von Vision- und Audio-Funktionen über leichtgewichtige Projektoren fast kostenlos.

Dies ist für die Produktion entscheidend. Ihre bestehenden v5-text-Indizes bleiben unberührt. Gleiche Abfrage, gleicher Vektor, Byte für Byte. Sie erhalten eine Suchfunktion für Bilder, Audio und Video, ohne ein einziges Dokument neu einbetten zu müssen. Das ist der wahre Durchbruch: multimodales Retrieval als Drop-in-Upgrade, kein Migrationsprojekt.

jina-embeddings-v5-omni-small ist das leistungsstärkste Open-Weight-Omni-Embedding-Modell unter 2 Mrd. Parametern. jina-embeddings-v5-omni-nano erreicht dies bei 0,9 Mrd. Parametern. Beide sind ab sofort auf Hugging Face, über die Jina Search Foundation API und als nativer Inference-Endpunkt in Elasticsearch verfügbar.