jina-embeddings-v5-omni: Modelli di embedding per testo, immagini, audio e video

jina-embeddings-v5-omni - una collezione jinaai

Modelli di 向量模型 multimodali (testo + immagine + video + audio) allineati con jina-embeddings-v5-text-*. Due dimensioni, quattro varianti di task ciascuno.

una collezione jinaai

jina-embeddings-v5-omni: 向量模型 multimodali che preservano la geometria del testo tramite composizione "frozen-tower"

In questo lavoro, introduciamo la composizione di modelli con encoder congelati (frozen-encoder), un approccio innovativo ai modelli di 向量模型 multimodali. Ci basiamo sull'architettura in stile VLM, in cui gli encoder non testuali sono adattati per produrre input per un 大模型, che a sua volta genera 向量模型 per tutte le varietà di input. Presentiamo il risultato: la suite jina-embeddings-v5-omni, una coppia di modelli che codificano input di testo, immagine, audio e video in un unico spazio di 向量模型 semantici. Il nostro metodo consiste nell'estendere i due modelli Jina Embeddings v5 Text per supportare media aggiuntivi aggiungendo encoder per immagini e audio. I modelli di 向量模型 testuali di base e gli encoder multimediali non testuali aggiunti rimangono congelati. Abbiamo addestrato solo i componenti di collegamento, che rappresentano lo 0,35% dei pesi totali del modello congiunto. L'addestramento è quindi molto più efficiente rispetto a una riqualificazione dell'intero parametro. Inoltre, il 大模型 rimane effettivamente inalterato, producendo esattamente gli stessi 向量模型 per gli input di testo dei modelli Jina Embeddings v5 Text. Le nostre valutazioni mostrano che questo approccio produce risultati competitivi con lo stato dell'arte, offrendo prestazioni quasi uguali a modelli di 向量模型 multimodali più grandi.

arXiv.orgFlorian Hönicke

Stiamo rilasciando jina-embeddings-v5-omni, estendendo i nostri modelli di 向量模型 v5-text a immagini, audio e video. Entrambi i modelli condividono lo stesso backbone testuale congelato di v5-text, il che significa che i 向量模型 testuali sono identici: non è necessaria alcuna ricostruzione dell'indice. jina-embeddings-v5-omni-small ottiene un punteggio medio di 54,04 su quattro modalità, entro 0,39 punti da LCO-7B (54,43) con 5,7 volte meno parametri, mentre jina-embeddings-v5-omni-nano offre un recupero di documenti competitivo con soli 0,95 miliardi di parametri.

tagArchitettura

v5-omni mantiene il backbone v5-text completamente congelato e aggiunge encoder di visione e audio pre-addestrati collegati tramite piccoli proiettori addestrabili:

• Visione: Encoder di visione Qwen3.5 (adattati da SigLIP2) con fusione spaziale 2x2 (riduzione dei 词元 di 4x). Congeliamo tutto tranne l'ultimo strato di proiezione (fc_vision_2), che sostituiamo con uno strato inizializzato casualmente che mappa nella dimensione nascosta del backbone testuale.
• Audio: Encoder Qwen2.5-Omni (adattato da Whisper-large-v3). Un singolo strato fc_audio inizializzato casualmente proietta l'output a 1280 dimensioni nel backbone testuale.
• Video: Gestito come una sequenza di fotogrammi visivi, preceduti facoltativamente da un segmento audio estratto.

Il modello eredita i quattro adattatori LoRA specifici per il task di v5-text (recupero, corrispondenza di testo, classificazione, clustering) e addestra pesi del proiettore separati per ogni variante di task. L'architettura è completamente modulare: il deployment solo testo non carica pesi di visione o audio (identico al footprint di v5-text), solo immagine salta l'audio, omni completo carica tutto.

tagPer iniziare

tagElasticsearch (Elastic Inference Service)

Se stai già utilizzando jina-embeddings-v5-text in Elasticsearch, i tuoi indici di testo esistenti funzionano con v5-omni immediatamente. I modelli omni producono 向量模型 identici per input di testo rispetto a v5-text: stesso input, stesso vettore, byte per byte. Non è necessario ri-eseguire l'embedding o ricostruire alcun indice di testo. Per iniziare a cercare immagini, audio e video insieme ai tuoi dati di testo esistenti, crea semplicemente un nuovo indice con v5-omni e inserisci il tuo contenuto multimodale.

Crea un indice semantic_text con v5-omni come endpoint di inferenza. EIS seleziona automaticamente l'adattatore LoRA corretto per l'indicizzazione e il recupero:

PUT multimodal-semantic-index
{
  "mappings": {
    "properties": {
      "content": {
        "type": "semantic_text",
        "inference_id": ".jina-embeddings-v5-omni-small"
      }
    }
  }
}
Copy

Inserisci testo, immagini (come URI di dati base64), audio e video nello stesso campo, nello stesso indice:

// Inserimento testo
POST multimodal-semantic-index/_doc
{
  "content": "'Kraft Dinner' è come i canadesi chiamano i maccheroni al formaggio quando preparati da un kit."
}

// Inserimento immagine (base64)
POST multimodal-semantic-index/_doc
{
  "content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}
Copy

Cerca tra tutte le modalità con un'unica query testuale:

GET multimodal-semantic-index/_search
{
  "query": {
    "semantic": {
      "field": "content",
      "query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
    }
  }
}
Copy

tagJina Embedding API

curl https://api.jina.ai/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "jina-embeddings-v5-omni-small",
    "task": "retrieval.query",
    "dimensions": 1024,
    "input": ["What does this image show?"],
    "images": ["data:image/png;base64,..."]
  }'
Copy

tagHugging Face

from sentence_transformers import SentenceTransformer
import torch

model = SentenceTransformer(
    "jinaai/jina-embeddings-v5-omni-small-retrieval",
    model_kwargs={"dtype": torch.bfloat16},
)

# Embedding di testo (identico a v5-text)
text_emb = model.encode("What is knowledge distillation?", prompt_name="query")

# Embedding di immagine
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)

# Similarità cross-modale
similarity = model.similarity(text_emb, img_emb)
Copy

tagAddestramento

L'idea centrale è la composizione di modelli con encoder bloccati: prendi un robusto modello di 向量模型 per il testo, aggiungi encoder pre-addestrati per visione e audio, connettili con piccoli proiettori addestrabili e blocca tutto tranne quei proiettori. Solo lo 0,35% dei pesi totali viene addestrato, il che ci conferisce tre proprietà: (1) conservazione dell'identità testuale - la struttura di base è invariata, lo stesso input produce lo stesso output; (2) efficienza di addestramento - l'addestramento dei soli proiettori è da 1,8 a 3,9 volte più veloce con il 31-69% in meno di memoria GPU; (3) modularità - le torri possono essere caricate indipendentemente.

v5-omni eredita il supporto per le dimensioni Matryoshka da v5-text. Gli 向量模型 di immagini e audio mantengono la maggior parte della qualità durante il troncamento, mentre il video degrada maggiormente a dimensioni ridotte.

tagConclusione

La saggezza convenzionale sostiene che i 向量模型 multimodali richiedano l'addestramento dell'intero modello end-to-end. Noi non siamo d'accordo. v5-omni blocca la struttura testuale, addestra lo 0,35% dei pesi ed eguaglia modelli da 5 a 7 volte più grandi. La lezione: la composizione batte il ri-addestramento. Un robusto encoder testuale è la parte più difficile: una volta ottenuto, aggiungere visione e audio tramite proiettori leggeri è quasi gratuito.

Questo è importante per la produzione. I tuoi indici v5-text esistenti rimangono intatti. Stessa query, stesso vettore, byte per byte. Hai appena ottenuto la ricerca di immagini, audio e video senza dover ri-vettorizzare un singolo documento. Questo è il vero sblocco: il recupero multimodale come aggiornamento immediato, non come progetto di migrazione.

jina-embeddings-v5-omni-small è il miglior modello di 向量模型 omni a pesi aperti sotto i 2 miliardi di parametri. jina-embeddings-v5-omni-nano raggiunge lo stesso obiettivo a 0,9 miliardi. Entrambi sono disponibili ora su Hugging Face, Jina Search Foundation API e come endpoint di inferenza nativo in Elasticsearch.