jina-embeddings-v5-omni: векторные модели для текста, изображений, аудио и видео

jina-embeddings-v5-omni — коллекция от jinaai

Мультимодальные (текст + изображение + видео + аудио) векторные модели, согласованные с jina-embeddings-v5-text-*. Два размера, по четыре варианта задач для каждого.

Коллекция от jinaai

jina-embeddings-v5-omni: мультимодальные векторные модели с сохранением геометрии текста через композицию замороженных слоев (Frozen-Tower Composition)

В этой работе мы представляем композицию моделей с замороженными энкодерами — новый подход к созданию мультимодальных векторных моделей. Мы опираемся на архитектуру в стиле VLM (визуально-языковых моделей), в которой нетекстовые энкодеры адаптируются для создания входных данных для большой языковой модели (LLM), которая, в свою очередь, генерирует векторные представления (embeddings) для всех видов входных данных. Результат — серия jina-embeddings-v5-omni: пара моделей, кодирующих текст, изображения, аудио и видео в единое семантическое векторное пространство. Наш метод заключается в расширении двух моделей Jina Embeddings v5 Text для поддержки дополнительных медиа за счет добавления энкодеров для изображений и аудио. Основные текстовые векторные модели и добавленные нетекстовые медиа-энкодеры остаются замороженными. Мы обучили только связующие компоненты, что составляет 0,35% от общего количества весов совместной модели. Таким образом, обучение проходит гораздо эффективнее, чем при полной перенастройке параметров. Кроме того, языковая модель остается практически неизменной, создавая точно такие же векторные представления для текстовых входов, как и модели Jina Embeddings v5 Text. Наши оценки показывают, что этот подход дает результаты, конкурентоспособные с современными передовыми решениями, обеспечивая почти такую же производительность, как у более крупных мультимодальных векторных моделей.

arXiv.orgФлориан Хёнике

Мы выпускаем jina-embeddings-v5-omni, расширяя наши векторные модели v5-text поддержкой изображений, аудио и видео. Обе модели используют ту же замороженную текстовую основу, что и v5-text, а это означает, что векторные представления текста идентичны — перестраивать индекс не нужно. Модель jina-embeddings-v5-omni-small набирает в среднем 54,04 балла по четырем модальностям, находясь в пределах 0,39 балла от LCO-7B (54,43) при в 5,7 раз меньшем количестве параметров, в то время как jina-embeddings-v5-omni-nano обеспечивает конкурентоспособный поиск документов всего при 0,95 млрд параметров.

tagАрхитектура

Модель v5-omni оставляет основу v5-text полностью замороженной и добавляет предобученные энкодеры зрения и аудио, соединенные через небольшие обучаемые проекторы:

• Зрение (Vision): Визуальные энкодеры Qwen3.5 (адаптированные из SigLIP2) с пространственным объединением 2x2 (уменьшение количества 词元 в 4 раза). Мы замораживаем все, кроме финального проекционного слоя (fc_vision_2), который заменяем случайно инициализированным слоем, проецирующим данные в размерность скрытого состояния текстовой основы.
• Аудио: Энкодер Qwen2.5-Omni (адаптированный из Whisper-large-v3). Единый случайно инициализированный слой fc_audio проецирует 1280-мерный вывод в текстовую основу.
• Видео: Обрабатывается как последовательность визуальных кадров, при необходимости дополненная извлеченным аудиосегментом.

Модель наследует четыре специфичных для задач адаптера LoRA из v5-text (поиск, сопоставление текста, классификация, кластеризация) и обучает отдельные веса проекторов для каждого варианта задачи. Архитектура полностью модульная: развертывание только для текста не загружает веса зрения или аудио (занимает столько же места, сколько v5-text), развертывание только для изображений пропускает аудио, а полное «omni» загружает всё.

tagС чего начать

tagElasticsearch (Elastic Inference Service)

Если вы уже используете jina-embeddings-v5-text в Elasticsearch, ваши существующие текстовые индексы будут работать с v5-omni «из коробки». Omni-модели создают идентичные векторные представления для текстовых входов, что и v5-text — тот же ввод, тот же вектор, побайтово. Вам не нужно переиндексировать или перестраивать какой-либо текстовый индекс. Чтобы начать поиск по изображениям, аудио и видео наряду с существующими текстовыми данными, просто создайте новый индекс с использованием v5-omni и загрузите в него мультимодальный контент.

Создайте индекс semantic_text с v5-omni в качестве точки входа для инференса. EIS автоматически выберет правильный LoRA-адаптер для индексации и поиска:

PUT multimodal-semantic-index
{
  "mappings": {
    "properties": {
      "content": {
        "type": "semantic_text",
        "inference_id": ".jina-embeddings-v5-omni-small"
      }
    }
  }
}
Копировать

Загружайте текст, изображения (в формате base64 data URI), аудио и видео в одно поле, в один и тот же индекс:

// Загрузка текста
POST multimodal-semantic-index/_doc
{
  "content": "'Kraft Dinner' — это то, как канадцы называют макароны с сыром, приготовленные из полуфабриката."
}

// Загрузка изображения (base64)
POST multimodal-semantic-index/_doc
{
  "content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}
Копировать

Выполняйте поиск по всем модальностям с помощью одного текстового запроса:

GET multimodal-semantic-index/_search
{
  "query": {
    "semantic": {
      "field": "content",
      "query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
    }
  }
}
Копировать

tagJina Embedding API

curl https://api.jina.ai/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "jina-embeddings-v5-omni-small",
    "task": "retrieval.query",
    "dimensions": 1024,
    "input": ["What does this image show?"],
    "images": ["data:image/png;base64,..."]
  }'
Копировать

tagHugging Face

from sentence_transformers import SentenceTransformer
import torch

model = SentenceTransformer(
    "jinaai/jina-embeddings-v5-omni-small-retrieval",
    model_kwargs={"dtype": torch.bfloat16},
)

# Текстовые векторные представления (идентичны v5-text)
text_emb = model.encode("What is knowledge distillation?", prompt_name="query")

# Векторное представление изображения
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)

# Кросс-модальное сходство
similarity = model.similarity(text_emb, img_emb)
Копировать

tagОбучение

Основная идея заключается в композиции моделей с замороженным энкодером: берется мощная модель для создания векторных представлений текста, к ней добавляются предобученные визуальные и аудио-энкодеры, которые соединяются небольшими обучаемыми проекторами, при этом всё, кроме самих проекторов, замораживается. Обучается всего 0,35% от общего количества весов, что обеспечивает нам три свойства: (1) сохранение текстовой идентичности — основной каркас остается неизменным, один и тот же входной сигнал дает идентичный выход; (2) эффективность обучения — обучение только проекторов происходит в 1,8–3,9 раза быстрее при экономии 31–69% видеопамяти GPU; (3) модульность — компоненты (башни) могут загружаться независимо.

v5-omni наследует поддержку размерностей Matryoshka от v5-text. Векторные представления изображений и аудио сохраняют большую часть качества при усечении размерности, в то время как качество видео снижается сильнее при малых размерностях.

tagЗаключение

Принято считать, что для мультимодальных векторных представлений требуется обучение всей модели целиком (end-to-end). Мы с этим не согласны. v5-omni замораживает текстовый каркас, обучает 0,35% весов и не уступает моделям, которые в 5–7 раз больше. Урок таков: композиция лучше, чем переобучение. Мощный текстовый энкодер — самая сложная часть; как только он у вас есть, добавление визуальных и аудио-компонентов через легкие проекторы практически не требует затрат.

Это важно для продакшена. Ваши существующие индексы v5-text остаются нетронутыми. Тот же запрос, тот же вектор, байт в байт. Вы просто получили возможность поиска по изображениям, аудио и видео без необходимости переиндексировать хотя бы один документ. В этом и заключается суть: мультимодальный поиск как готовое обновление, а не как проект по миграции.

jina-embeddings-v5-omni-small — лучшая по производительности мультимодальная модель с открытыми весами и менее чем 2 млрд параметров. jina-embeddings-v5-omni-nano достигает того же при 0,9 млрд параметров. Обе доступны прямо сейчас на Hugging Face, через Jina Search Foundation API, а также в качестве нативной конечной точки инференса в Elasticsearch.