jina-embeddings-v5-omni: Векторные модели для текста, изображений, аудио и видео

jina-embeddings-v5-omni — коллекция от jinaai

Мультимодальные (текст + изображение + видео + аудио) векторные модели, согласованные с jina-embeddings-v5-text-*. Два размера, по четыре варианта задач для каждого.

Коллекция от jinaai

jina-embeddings-v5-omni: Мультимодальные векторные модели с сохранением геометрии текста посредством композиции замороженных башен

В этой работе мы представляем композицию моделей с замороженным энкодером — новый подход к созданию мультимодальных векторных моделей. Мы опираемся на архитектуру в стиле VLM, в которой нетекстовые энкодеры адаптируются для создания входных данных для большой языковой модели (LLM), которая, в свою очередь, генерирует векторные представления (embeddings) для всех видов входных данных. Мы представляем результат: пакет jina-embeddings-v5-omni, пару моделей, которые кодируют текст, изображения, аудио и видео в единое семантическое векторное пространство. Наш метод заключается в расширении двух текстовых моделей Jina Embeddings v5 для поддержки дополнительных медиаданных путем добавления энкодеров для изображений и аудио. Базовые текстовые векторные модели и добавленные нетекстовые медиа-энкодеры остаются замороженными. Мы обучили только связующие компоненты, что составляет 0,35% от общего количества весов объединенной модели. Таким образом, обучение проходит гораздо эффективнее, чем при полной перенастройке параметров. Кроме того, языковая модель остается практически неизменной, создавая точно такие же векторные представления для текстовых входных данных, как и модели Jina Embeddings v5 Text. Наши оценки показывают, что этот подход дает результаты, конкурентоспособные с современными аналогами, обеспечивая почти равную производительность с более крупными мультимодальными векторными моделями.

arXiv.orgFlorian Hönicke

Мы выпускаем jina-embeddings-v5-omni, расширяя наши векторные модели v5-text поддержкой изображений, аудио и видео. Обе модели используют ту же замороженную текстовую основу, что и v5-text, а это означает, что векторные представления текста идентичны — переиндексация не требуется. jina-embeddings-v5-omni-small набирает в среднем 53,93 балла по четырем модальностям, что соответствует LCO-7B (54,43) при в 5,7 раза меньшем количестве параметров, в то время как jina-embeddings-v5-omni-nano обеспечивает конкурентоспособный поиск документов всего при 0,95 млрд параметров.

tagАрхитектура

v5-omni сохраняет основу v5-text полностью замороженной и добавляет предварительно обученные визуальные и аудио-энкодеры, связанные через небольшие обучаемые проекторы:

• Зрение: визуальные энкодеры Qwen3.5 (адаптированные из SigLIP2) с пространственным объединением 2x2 (уменьшение количества токенов в 4 раза). Мы замораживаем всё, кроме финального проекционного слоя (fc_vision_2), который заменяем случайным образом инициализированным слоем, проецирующим данные в скрытую размерность текстовой основы.
• Аудио: энкодер Qwen2.5-Omni (адаптирован из Whisper-large-v3). Единственный случайным образом инициализированный слой fc_audio проецирует 1280-мерный вывод в текстовую основу.
• Видео: обрабатывается как последовательность визуальных кадров, при необходимости предваряемая извлеченным аудиосегментом.

Модель наследует четыре специфичных для задач адаптера LoRA от v5-text (поиск, сопоставление текста, классификация, кластеризация) и обучает отдельные веса проектора для каждого варианта задачи. Архитектура полностью модульная: развертывание только для текста не загружает веса зрения или аудио (идентично объему v5-text), только для изображений — пропускает аудио, полный omni — загружает всё.

tagНачало работы

tagElasticsearch (Elastic Inference Service)

Если вы уже используете jina-embeddings-v5-text в Elasticsearch, ваши существующие текстовые индексы будут работать с v5-omni без каких-либо дополнительных настроек. Модели omni генерируют идентичные векторные модели (embeddings) для текстовых входных данных, как и v5-text — тот же ввод, тот же вектор, побайтово. Вам не нужно переиндексировать или перестраивать какой-либо текстовый индекс. Чтобы начать поиск по изображениям, аудио и видео наряду с существующими текстовыми данными, просто создайте новый индекс с v5-omni и добавьте в него свой мультимодальный контент.

Создайте индекс semantic_text с v5-omni в качестве эндпоинта логического вывода (inference). EIS автоматически выбирает правильный LoRA-адаптер для индексации и поиска:

PUT multimodal-semantic-index
{
  "mappings": {
    "properties": {
      "content": {
        "type": "semantic_text",
        "inference_id": ".jina-embeddings-v5-omni-small"
      }
    }
  }
}
Копировать

Добавляйте текст, изображения (в формате base64 data URI), аудио и видео в одно и то же поле и один и тот же индекс:

// Добавление текста
POST multimodal-semantic-index/_doc
{
  "content": "'Kraft Dinner' — это то, как канадцы называют макароны с сыром, приготовленные из набора."
}

// Добавление изображения (base64)
POST multimodal-semantic-index/_doc
{
  "content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}
Копировать

Поиск по всем модальностям с помощью одного текстового запроса:

GET multimodal-semantic-index/_search
{
  "query": {
    "semantic": {
      "field": "content",
      "query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
    }
  }
}
Копировать

tagJina Embedding API

curl https://api.jina.ai/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "jina-embeddings-v5-omni-small",
    "task": "retrieval.query",
    "dimensions": 1024,
    "input": ["What does this image show?"],
    "images": ["data:image/png;base64,..."]
  }'
Копировать

tagHugging Face

from sentence_transformers import SentenceTransformer
import torch

model = SentenceTransformer(
    "jinaai/jina-embeddings-v5-omni-small-retrieval",
    model_kwargs={"dtype": torch.bfloat16},
)

# Текстовые векторные модели (идентичны v5-text)
text_emb = model.encode("What is knowledge distillation?", prompt_name="query")

# Векторные модели для изображений
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)

# Кросс-модальное сходство
similarity = model.similarity(text_emb, img_emb)
Копировать

tagОбучение

Основная идея заключается в композиции моделей с замороженным энкодером: берется мощная модель для создания векторных моделей текста, добавляются предварительно обученные визуальные и аудио-энкодеры, которые соединяются с помощью небольших обучаемых проекторов, после чего всё, кроме этих проекторов, замораживается. Обучаются только 0,35% от общего веса, что дает нам три свойства: (1) сохранение идентичности текста — основа не меняется, один и тот же ввод дает идентичный вывод; (2) эффективность обучения — обучение только проекторов происходит в 1,8–3,9 раза быстрее при использовании на 42–64% меньше видеопамяти; (3) модульность — компоненты могут загружаться независимо.

v5-omni наследует поддержку размерности Matryoshka от v5-text. Векторные модели изображений и аудио сохраняют большую часть качества при усечении, в то время как видео теряет качество сильнее при малых размерностях.

tagЗаключение

Принято считать, что для мультимодальных векторных моделей требуется обучение всей модели целиком. Мы с этим не согласны. v5-omni замораживает текстовую основу, обучает 0,35% весов и соответствует по качеству моделям, которые в 5–7 раз больше. Урок: композиция лучше, чем переобучение. Мощный текстовый энкодер — это самая сложная часть; как только он у вас есть, добавление зрения и аудио через легкие проекторы практически не требует усилий.

Это важно для продакшена. Ваши существующие индексы v5-text остаются нетронутыми. Тот же запрос, тот же вектор, побайтово. Вы просто получаете поиск по изображениям, аудио и видео, не переиндексируя ни единого документа. Это и есть настоящий прорыв: мультимодальный поиск как обновление, которое можно просто установить, а не как проект по миграции.

jina-embeddings-v5-omni-small — это лучшая по производительности открытая мультимодальная модель для создания векторных моделей с количеством параметров менее 2 млрд. jina-embeddings-v5-omni-nano достигает этого при 0,9 млрд параметров. Обе модели уже доступны на Hugging Face, Jina Search Foundation API, а также в качестве нативного эндпоинта логического вывода в Elasticsearch.