jina-embeddings-v5-omni: Embeddings para texto, imagen, audio y video

jina-embeddings-v5-omni - una colección de jinaai

Modelos de向量模型 multimodales (texto + imagen + video + audio) alineados con jina-embeddings-v5-text-*. Dos tamaños, cuatro variantes de tarea cada uno.

una colección de jinaai

jina-embeddings-v5-omni: 向量模型 multimodales que preservan la geometría del texto mediante la composición de torres congeladas

En este trabajo, presentamos la composición de modelos con codificadores congelados, un enfoque novedoso para modelos de 向量模型 multimodales. Nos basamos en la arquitectura estilo VLM, en la que los codificadores que no son de texto se adaptan para generar entradas para un 大模型, que a su vez genera 向量模型 para todas las variedades de entrada. Presentamos el resultado: la suite jina-embeddings-v5-omni, un par de modelos que codifican entradas de texto, imagen, audio y video en un espacio de 向量模型 semántico único. Nuestro método consiste en ampliar los dos modelos de texto Jina Embeddings v5 para que admitan medios adicionales añadiendo codificadores para imágenes y audio. Los modelos base de 向量模型 de texto y los codificadores de medios que no son de texto añadidos permanecen congelados. Solo entrenamos los componentes de conexión, que representan el 0,35% del total de los pesos del modelo conjunto. Por lo tanto, el entrenamiento es mucho más eficiente que el reentrenamiento de parámetros completos. Además, el 大模型 permanece prácticamente inalterado, produciendo exactamente los mismos 向量模型 para las entradas de texto que los modelos Jina Embeddings v5 Text. Nuestras evaluaciones muestran que este enfoque produce resultados competitivos con el estado del arte, obteniendo un rendimiento casi igual al de modelos de 向量模型 multimodales más grandes.

arXiv.orgFlorian Hönicke

Estamos lanzando jina-embeddings-v5-omni, ampliando nuestros modelos de 向量模型 v5-text a imágenes, audio y video. Ambos modelos comparten la misma base de texto congelada que v5-text, lo que significa que los 向量模型 de texto son idénticos: no se requiere reconstrucción de índice. jina-embeddings-v5-omni-small obtiene una puntuación de 54.04 en promedio a través de cuatro modalidades, a menos de 0.39 puntos de LCO-7B (54.43) con 5.7 veces menos parámetros, mientras que jina-embeddings-v5-omni-nano ofrece una recuperación de documentos competitiva con solo 0.95B de parámetros.

tagArquitectura

v5-omni mantiene la base de v5-text completamente congelada y añade codificadores de visión y audio preentrenados conectados a través de pequeños proyectores entrenables:

• Visión: codificadores de visión Qwen3.5 (adaptados de SigLIP2) con fusión espacial 2x2 (reducción de 4x 词元). Congelamos todo excepto la capa de proyección final (fc_vision_2), que reemplazamos con una capa inicializada aleatoriamente que mapea a la dimensión oculta de la base de texto.
• Audio: codificador Qwen2.5-Omni (adaptado de Whisper-large-v3). Una única capa fc_audio inicializada aleatoriamente proyecta la salida de 1280 dimensiones hacia la base de texto.
• Video: manejado como una secuencia de cuadros visuales, opcionalmente precedido por un segmento de audio extraído.

El modelo hereda los cuatro adaptadores LoRA específicos de tarea de v5-text (recuperación, coincidencia de texto, clasificación, agrupamiento) y entrena pesos de proyector separados para cada variante de tarea. La arquitectura es totalmente modular: el despliegue solo de texto no carga pesos de visión o audio (idéntico a la huella de v5-text), el despliegue solo de imagen omite el audio, el omni completo carga todo.

tagCómo empezar

tagElasticsearch (Servicio de Inferencia Elástica)

Si ya estás usando jina-embeddings-v5-text en Elasticsearch, tus índices de texto existentes funcionan con v5-omni de inmediato. Los modelos omni producen 向量模型 idénticos para entradas de texto que v5-text: misma entrada, mismo vector, byte por byte. No necesitas volver a generar 向量模型 ni reconstruir ningún índice de texto. Para comenzar a buscar imágenes, audio y video junto con tus datos de texto existentes, simplemente crea un nuevo índice con v5-omni e ingesta tu contenido multimodal en él.

Crea un índice semantic_text con v5-omni como punto final de inferencia. EIS selecciona automáticamente el adaptador LoRA correcto para la indexación y recuperación:

PUT multimodal-semantic-index
{
  "mappings": {
    "properties": {
      "content": {
        "type": "semantic_text",
        "inference_id": ".jina-embeddings-v5-omni-small"
      }
    }
  }
}
Copiar

Ingresa texto, imágenes (como URIs de datos base64), audio y video en el mismo campo y en el mismo índice:

// Ingesta de texto
POST multimodal-semantic-index/_doc
{
  "content": "'Kraft Dinner' es como los canadienses llaman a los macarrones con queso cuando se preparan a partir de un kit."
}

// Ingesta de una imagen (base64)
POST multimodal-semantic-index/_doc
{
  "content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}
Copiar

Busca entre todas las modalidades con una única consulta de texto:

GET multimodal-semantic-index/_search
{
  "query": {
    "semantic": {
      "field": "content",
      "query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
    }
  }
}
Copiar

tagAPI de Vectorización de Jina

curl https://api.jina.ai/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "jina-embeddings-v5-omni-small",
    "task": "retrieval.query",
    "dimensions": 1024,
    "input": ["What does this image show?"],
    "images": ["data:image/png;base64,..."]
  }'
Copiar

tagHugging Face

from sentence_transformers import SentenceTransformer
import torch

model = SentenceTransformer(
    "jinaai/jina-embeddings-v5-omni-small-retrieval",
    model_kwargs={"dtype": torch.bfloat16},
)

# Vectorización de texto (idéntica a v5-text)
text_emb = model.encode("What is knowledge distillation?", prompt_name="query")

# Vectorización de imagen
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)

# Similitud intermodal
similarity = model.similarity(text_emb, img_emb)
Copiar

tagEntrenamiento

La idea central es la composición de modelos con codificador congelado: tomar un modelo de vectores de texto potente, añadir codificadores de visión y audio preentrenados, conectarlos con pequeños proyectores entrenables y congelar todo excepto esos proyectores. Solo se entrena el 0,35 % de los pesos totales, lo que nos proporciona tres propiedades: (1) preservación de la identidad del texto: el modelo base no se modifica, la misma entrada produce una salida idéntica; (2) eficiencia de entrenamiento: el entrenamiento exclusivo de proyectores es entre 1,8 y 3,9 veces más rápido, con un ahorro de memoria GPU del 31 al 69 %; (3) modularidad: las torres se pueden cargar de forma independiente.

v5-omni hereda el soporte de dimensiones Matryoshka de v5-text. Las representaciones de imagen y audio conservan la mayor parte de la calidad bajo truncamiento, mientras que el video se degrada más en dimensiones pequeñas.

tagConclusión

La sabiduría convencional dice que los vectores multimodales requieren entrenar todo el modelo de principio a fin. No estamos de acuerdo. v5-omni congela la base de texto, entrena el 0,35 % de los pesos y alcanza a modelos de 5 a 7 veces su tamaño. La lección: la composición es mejor que el reentrenamiento. Un codificador de texto potente es la parte más difícil; una vez que lo tienes, añadir visión y audio mediante proyectores ligeros es prácticamente gratis.

Esto es importante para la producción. Tus índices v5-text existentes permanecen intactos. Misma consulta, mismo vector, byte a byte. Simplemente has ganado búsqueda de imagen, audio y video sin necesidad de volver a procesar ni un solo documento. Ese es el verdadero desbloqueo de la recuperación multimodal como una actualización directa, no como un proyecto de migración.

jina-embeddings-v5-omni-small es el modelo de vectores omni de pesos abiertos con mejor rendimiento por debajo de los 2 mil millones de parámetros. jina-embeddings-v5-omni-nano lo logra con 0,9 mil millones. Ambos están disponibles ahora en Hugging Face, en la API de Jina Search Foundation y como punto final de inferencia nativo en Elasticsearch.