jina-embeddings-v5-omni : Embeddings pour le texte, l'image, l'audio et la vidéo

jina-embeddings-v5-omni - une collection jinaai

Modèles de vecteurs multimodaux (texte + image + vidéo + audio) alignés avec jina-embeddings-v5-text-*. Deux tailles, quatre variantes de tâches chacune.

une collection jinaai

jina-embeddings-v5-omni : Vecteurs multimodaux préservant la géométrie du texte via la composition de tours gelées

Dans ce travail, nous introduisons la composition de modèles à encodeur gelé, une approche novatrice pour les modèles de vecteurs multimodaux. Nous nous appuyons sur l'architecture de type VLM, dans laquelle les encodeurs non textuels sont adaptés pour produire des entrées destinées à un grand modèle (LLM), qui à son tour génère des vecteurs pour toutes sortes d'entrées. Nous présentons le résultat : la suite jina-embeddings-v5-omni, une paire de modèles qui encodent des entrées texte, image, audio et vidéo dans un espace vectoriel sémantique unique. Notre méthode consiste à étendre les deux modèles Jina Embeddings v5 Text pour prendre en charge des médias supplémentaires en ajoutant des encodeurs pour les images et l'audio. Les modèles de vecteurs de texte dorsaux et les encodeurs de médias non textuels ajoutés restent gelés. Nous n'avons entraîné que les composants de connexion, représentant 0,35 % du total des poids du modèle conjoint. L'entraînement est donc beaucoup plus efficace qu'un réentraînement complet des paramètres. De plus, le grand modèle reste effectivement inchangé, produisant exactement les mêmes vecteurs pour les entrées texte que les modèles Jina Embeddings v5 Text. Nos évaluations montrent que cette approche produit des résultats compétitifs par rapport à l'état de l'art, offrant des performances presque égales à celles de modèles de vecteurs multimodaux plus grands.

arXiv.orgFlorian Hönicke

Nous lançons jina-embeddings-v5-omni, étendant nos modèles de vecteurs v5-text aux images, à l'audio et à la vidéo. Les deux modèles partagent la même dorsale texte gelée que v5-text, ce qui signifie que les vecteurs de texte sont identiques : aucune reconstruction d'index n'est nécessaire. jina-embeddings-v5-omni-small obtient un score moyen de 54,04 sur quatre modalités, à moins de 0,39 point de LCO-7B (54,43) avec 5,7 fois moins de paramètres, tandis que jina-embeddings-v5-omni-nano offre une recherche documentaire compétitive avec seulement 0,95 milliard de paramètres.

tagArchitecture

v5-omni garde la dorsale v5-text complètement gelée et ajoute des encodeurs vision et audio pré-entraînés connectés via de petits projecteurs entraînables :

• Vision : encodeurs vision Qwen3.5 (adaptés de SigLIP2) avec fusion spatiale 2x2 (réduction de 4x des tokens). Nous gelons tout sauf la couche de projection finale (fc_vision_2), que nous remplaçons par une couche initialisée aléatoirement projetant vers la dimension cachée de la dorsale texte.
• Audio : encodeur Qwen2.5-Omni (adapté de Whisper-large-v3). Une seule couche fc_audio initialisée aléatoirement projette la sortie de dimension 1280 dans la dorsale texte.
• Vidéo : traitée comme une séquence d'images visuelles, éventuellement précédée d'un segment audio extrait.

Le modèle hérite des quatre adaptateurs LoRA spécifiques aux tâches de v5-text (recherche, correspondance de texte, classification, clustering) et entraîne des poids de projecteur distincts pour chaque variante de tâche. L'architecture est entièrement modulaire : le déploiement texte uniquement ne charge aucun poids de vision ou d'audio (empreinte identique à v5-text), l'image uniquement ignore l'audio, et le mode omni complet charge tout.

tagPrise en main

tagElasticsearch (Elastic Inference Service)

Si vous utilisez déjà jina-embeddings-v5-text dans Elasticsearch, vos index texte existants fonctionnent avec v5-omni sans aucune configuration supplémentaire. Les modèles omni produisent des vecteurs identiques pour les entrées texte que v5-text : même entrée, même vecteur, octet pour octet. Vous n'avez pas besoin de re-vectoriser ou de reconstruire un quelconque index texte. Pour commencer à effectuer des recherches sur des images, de l'audio et de la vidéo parallèlement à vos données texte existantes, créez simplement un nouvel index avec v5-omni et ingérez-y votre contenu multimodal.

Créez un index semantic_text avec v5-omni comme point de terminaison d'inférence. EIS sélectionne automatiquement l'adaptateur LoRA approprié pour l'indexation et la recherche :

PUT multimodal-semantic-index
{
  "mappings": {
    "properties": {
      "content": {
        "type": "semantic_text",
        "inference_id": ".jina-embeddings-v5-omni-small"
      }
    }
  }
}
Copier

Ingérez du texte, des images (sous forme d'URI de données base64), de l'audio et de la vidéo dans le même champ, au sein du même index :

// Ingestion de texte
POST multimodal-semantic-index/_doc
{
  "content": "'Kraft Dinner' est le nom que les Canadiens donnent aux macaronis au fromage lorsqu'ils sont préparés à partir d'un kit."
}

// Ingestion d'une image (base64)
POST multimodal-semantic-index/_doc
{
  "content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}
Copier

Effectuez des recherches sur toutes les modalités avec une seule requête textuelle :

GET multimodal-semantic-index/_search
{
  "query": {
    "semantic": {
      "field": "content",
      "query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
    }
  }
}
Copier

tagAPI de vecteurs Jina

curl https://api.jina.ai/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "jina-embeddings-v5-omni-small",
    "task": "retrieval.query",
    "dimensions": 1024,
    "input": ["What does this image show?"],
    "images": ["data:image/png;base64,..."]
  }'
Copier

tagHugging Face

from sentence_transformers import SentenceTransformer
import torch

model = SentenceTransformer(
    "jinaai/jina-embeddings-v5-omni-small-retrieval",
    model_kwargs={"dtype": torch.bfloat16},
)

# Vecteur de texte (identique à v5-text)
text_emb = model.encode("What is knowledge distillation?", prompt_name="query")

# Vecteur d'image
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)

# Similarité inter-modale
similarity = model.similarity(text_emb, img_emb)
Copier

tagEntraînement

L'idée centrale est la composition de modèles à encodeur figé : prendre un modèle de vecteurs de texte performant, ajouter des encodeurs de vision et d'audio pré-entraînés, les connecter avec de petits projecteurs entraînables, et figer tout le reste à l'exception de ces projecteurs. Seuls 0,35 % des poids totaux sont entraînés, ce qui nous confère trois propriétés : (1) préservation de l'identité textuelle – la structure principale est inchangée, la même entrée produit une sortie identique ; (2) efficacité de l'entraînement – l'entraînement des seuls projecteurs est 1,8 à 3,9 fois plus rapide avec une réduction de 31 à 69 % de la mémoire GPU utilisée ; (3) modularité – les tours peuvent être chargées indépendamment.

v5-omni hérite de la prise en charge des dimensions Matryoshka de v5-text. Les vecteurs d'images et d'audio conservent l'essentiel de leur qualité après troncature, tandis que la vidéo se dégrade davantage avec de petites dimensions.

tagConclusion

L'opinion conventionnelle veut que les vecteurs multimodaux nécessitent l'entraînement du modèle complet de bout en bout. Nous ne sommes pas d'accord. v5-omni fige la structure textuelle, entraîne 0,35 % des poids et égale des modèles 5 à 7 fois plus gros. La leçon à retenir : la composition surpasse le ré-entraînement. Un encodeur de texte robuste est la partie la plus difficile – une fois que vous l'avez, l'ajout de la vision et de l'audio via des projecteurs légers est presque gratuit.

C'est crucial pour la production. Vos index v5-text existants ne sont pas touchés. Même requête, même vecteur, octet pour octet. Vous avez simplement gagné la recherche d'images, d'audio et de vidéo sans avoir à re-vectoriser un seul document. C'est la véritable innovation : la récupération multimodale comme mise à niveau instantanée, et non comme un projet de migration.

jina-embeddings-v5-omni-small est le modèle de vecteurs omni à poids ouverts le plus performant sous la barre des 2 milliards de paramètres. jina-embeddings-v5-omni-nano y parvient avec 0,9 milliard. Tous deux sont disponibles dès maintenant sur Hugging Face, via l'API Jina Search Foundation, et en tant que point de terminaison d'inférence natif dans Elasticsearch.