Florian Hönicke
Wir veröffentlichen jina-embeddings-v5-omni und erweitern damit unsere v5-text 向量模型 um Bilder, Audio und Video. Beide Modelle teilen sich dasselbe eingefrorene Text-Backbone wie v5-text, was bedeutet, dass Text-向量模型 identisch sind – ein Neuaufbau des Index ist nicht erforderlich. jina-embeddings-v5-omni-small erreicht einen Durchschnitt von 54,04 über vier Modalitäten hinweg, liegt innerhalb von 0,39 Punkten von LCO-7B (54,43) bei 5,7-mal weniger Parametern, während jina-embeddings-v5-omni-nano eine wettbewerbsfähige Dokumentensuche mit nur 0,95 Mrd. Parametern liefert.
tagArchitektur
v5-omni hält das v5-text-Backbone komplett eingefroren und fügt vortrainierte Vision- und Audio-Encoder hinzu, die durch kleine trainierbare Projektoren verbunden sind:
- Vision: Qwen3.5 Vision-Encoder (angepasst von SigLIP2) mit 2x2 räumlicher Zusammenführung (4-fache Reduktion der 词元). Wir frieren alles bis auf die letzte Projektionsschicht (
fc_vision_2) ein, die wir durch eine zufällig initialisierte Schicht ersetzen, welche in die verborgene Dimension des Text-Backbones abbildet. - Audio: Qwen2.5-Omni-Encoder (angepasst von Whisper-large-v3). Eine einzelne zufällig initialisierte
fc_audio-Schicht projiziert die 1280-dimensionale Ausgabe in das Text-Backbone. - Video: Wird als Sequenz visueller Frames behandelt, optional vorangestellt durch ein extrahiertes Audiosegment.
Das Modell erbt die vier aufgabenspezifischen LoRA-Adapter von v5-text (Retrieval, Text-Matching, Klassifizierung, Clustering) und trainiert separate Projektorgewichte für jede Aufgabenvariante. Die Architektur ist vollständig modular: Eine reine Text-Implementierung lädt keine Vision- oder Audio-Gewichte (identischer Speicherbedarf wie v5-text), reine Bild-Implementierungen überspringen Audio, und eine vollständige Omni-Implementierung lädt alles.
| Merkmal | jina-embeddings-v5-omni-small | jina-embeddings-v5-omni-nano |
|---|---|---|
| Basis-Textmodell | jina-embeddings-v5-text-small (Qwen3-0.6B) | jina-embeddings-v5-text-nano (EuroBERT-210m) |
| Gesamtparameter | ~1,56 Mrd. | ~1,04 Mrd. |
| Modalitäten | Text, Bild, Audio, Video, PDF | Text, Bild, Audio, Video, PDF |
| Einbettungsdimensionen | 1024 | 768 |
| Matryoshka-Dimensionen | 32, 64, 128, 256, 512, 768, 1024 | 32, 64, 128, 256, 512, 768 |
| Maximale Sequenzlänge | 32768 词元 | 8192 词元 |
| Vision-Encoder | Qwen3.5-2B ViT (SigLIP2) | SigLIP2 Base |
| Audio-Encoder | Whisper-large-v3 | Whisper-large-v3 |
| Aufgaben | Retrieval, Text-Matching, Klassifizierung, Clustering | Retrieval, Text-Matching, Klassifizierung, Clustering |
| Text-Kompatibilität | Identisch mit jina-embeddings-v5-text-small | Identisch mit jina-embeddings-v5-text-nano |
| Trainierbare Parameter | ~18 Mio. Projektoren (0,35 %) | ~7 Mio. Projektoren (0,35 %) |
| Pooling | Last-token | Last-token |
| Lizenz | CC BY-NC 4.0 | CC BY-NC 4.0 |
tagErste Schritte
tagElasticsearch (Elastic Inference Service)
Wenn Sie bereits jina-embeddings-v5-text in Elasticsearch verwenden, funktionieren Ihre bestehenden Text-Indizes sofort mit v5-omni. Die Omni-Modelle erzeugen identische 向量模型 für Texteingaben wie v5-text – gleiche Eingabe, gleicher Vektor, Byte für Byte. Sie müssen keine Texte neu einbetten oder Indizes neu erstellen. Um mit der Suche nach Bildern, Audio und Video neben Ihren vorhandenen Textdaten zu beginnen, erstellen Sie einfach einen neuen Index mit v5-omni und fügen Sie Ihre multimodalen Inhalte dort ein.
Erstellen Sie einen semantic_text-Index mit v5-omni als Inference-Endpunkt. EIS wählt automatisch den richtigen LoRA-Adapter für Indizierung und Retrieval aus:
PUT multimodal-semantic-index
{
"mappings": {
"properties": {
"content": {
"type": "semantic_text",
"inference_id": ".jina-embeddings-v5-omni-small"
}
}
}
}Speisen Sie Text, Bilder (als base64-Daten-URIs), Audio und Video in dasselbe Feld, denselben Index ein:
// Text einspeisen
POST multimodal-semantic-index/_doc
{
"content": "'Kraft Dinner' ist das, was Kanadier zu Makkaroni mit Käse sagen, wenn es aus einer Fertigpackung zubereitet wird."
}
// Ein Bild einspeisen (base64)
POST multimodal-semantic-index/_doc
{
"content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}Suchen Sie mit einer einzigen Textabfrage über alle Modalitäten hinweg:
GET multimodal-semantic-index/_search
{
"query": {
"semantic": {
"field": "content",
"query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
}
}
}tagJina Embedding API
curl https://api.jina.ai/v1/embeddings \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{
"model": "jina-embeddings-v5-omni-small",
"task": "retrieval.query",
"dimensions": 1024,
"input": ["What does this image show?"],
"images": ["data:image/png;base64,..."]
}'tagHugging Face
from sentence_transformers import SentenceTransformer
import torch
model = SentenceTransformer(
"jinaai/jina-embeddings-v5-omni-small-retrieval",
model_kwargs={"dtype": torch.bfloat16},
)
# Text-Embedding (identisch zu v5-text)
text_emb = model.encode("What is knowledge distillation?", prompt_name="query")
# Bild-Embedding
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)
# Cross-modale Ähnlichkeit
similarity = model.similarity(text_emb, img_emb)tagTraining
Die Kernidee ist die Zusammensetzung von Modellen mit eingefrorenem Encoder (frozen-encoder model composition): Man nimmt ein starkes Text-Vektormodell, fügt vortrainierte Vision- und Audio-Encoder hinzu, verbindet sie mit kleinen trainierbaren Projektoren und friert alles außer diesen Projektoren ein. Nur 0,35 % der gesamten Gewichte werden trainiert, was uns drei Eigenschaften verleiht: (1) Erhaltung der Textidentität – das Rückgrat bleibt unverändert, die gleiche Eingabe erzeugt die identische Ausgabe; (2) Trainingseffizienz – das Training nur der Projektoren ist 1,8- bis 3,9-mal schneller bei 31-69 % weniger GPU-Speicherverbrauch; (3) Modularität – die Komponenten (Towers) können unabhängig voneinander geladen werden.
v5-omni erbt die Unterstützung für Matryoshka-Dimensionen von v5-text. Bild- und Audio-Vektoren bewahren bei einer Reduzierung der Dimensionen den Großteil ihrer Qualität, während die Videoqualität bei kleinen Dimensionen stärker abnimmt.
tagFazit
Die herkömmliche Meinung besagt, dass multimodale Vektormodelle ein vollständiges End-to-End-Training des gesamten Modells erfordern. Dem widersprechen wir. v5-omni friert das Text-Rückgrat ein, trainiert 0,35 % der Gewichte und erreicht die Leistung von Modellen, die 5-7-mal so groß sind. Die Lektion lautet: Zusammensetzung ist besser als Umschulung. Ein starker Text-Encoder ist die größte Herausforderung – sobald man diesen hat, ist das Anbinden von Vision und Audio über leichtgewichtige Projektoren fast kostenlos.
Das ist für die Produktion entscheidend. Ihre bestehenden v5-text-Indizes bleiben unberührt. Dieselbe Abfrage, derselbe Vektor, Byte für Byte. Sie erhalten Bild-, Audio- und Videosuche, ohne ein einziges Dokument erneut vektorisieren zu müssen. Das ist der wahre Durchbruch für multimodales Retrieval als Drop-in-Upgrade, nicht als Migrationsprojekt.
jina-embeddings-v5-omni-small ist das leistungsfähigste Open-Weight-Omni-Vektormodell unter 2 Milliarden Parametern. jina-embeddings-v5-omni-nano erreicht dies mit 0,9 Milliarden. Beide sind ab sofort auf Hugging Face, über die Jina Search Foundation API sowie als nativer Inference-Endpunkt in Elasticsearch verfügbar.
