jina-embeddings-v4

jina-embeddings-v4 — мультимодальная эмбеддинг-модель на 3,8B параметров, объединяющая представления текста и изображений в одной архитектуре. Это единственная модель, которая поддерживает как одновекторный (dense) режим вывода, так и многовекторный (late-interaction, в стиле ColBERT), позволяя командам выбирать компромисс между эффективностью индексации и точностью поиска без смены модели. Модель достигает передового качества в поиске по визуально насыщенным документам, нативно обрабатывая таблицы, диаграммы, схемы и мультимедийные форматы.

Архитектура объединяет крупный трансформерный энкодер (backbone) с vision-энкодером на базе Qwen2.5-VL, обрабатывая текст (до 32K токенов) и изображения (патчи 768×28×28) через общие слои внимания. Три task-специфичных LoRA-адаптера (по 60M параметров каждый) специализируют модель на асимметричном поиске «запрос-документ», семантическом текстовом сходстве и поиске кода. Двойной вывод — ключевая инновация: модель может формировать единый 2048-мерный dense-вектор (для быстрого ANN-индексирования с обрезкой Matryoshka до 128 измерений) или набор 128-мерных токенных векторов для late-interaction-скоринга. Обучение использовало двухстадийную программу: совместное контрастивное предобучение на парах текст-изображение и текст-текст, затем обучение task-специфичных LoRA-адаптеров. Поддерживается late chunking для документов, превышающих 32K-токенное контекстное окно. Действует Qwen Research License.

На JinaVDR (Visual Document Retrieval) модель набирает в среднем 72,19, против 64,50 у ColPali-v1.2. На ViDoRe она достигает в среднем 84,11 (90,17 в многовекторном режиме), против 83,90 у ColPali. Кросс-модальный поиск достигает 84,11 на бенчмарке CLIP, превосходя jina-clip-v2 (81,12) и nllb-clip-large-siglip (83,19). Показатели текстового поиска: 55,97 на MTEB-en, 66,49 на MMTEB, 67,11 на LongEmbed (против 55,66 у jina-embeddings-v3). Семантическое сходство достигает 85,89 на English STS и 72,70 на мультиязычном STS. Поиск кода набирает 71,59 на CoIR. Кросс-модальное согласование достигает 0,71 косинусного сходства (против 0,15 у OpenAI CLIP). Многовекторный режим последовательно превосходит одновекторный на визуально насыщенных задачах; одновекторный режим обеспечивает эффективные результаты для стандартного текстового поиска.

Выбирайте режим вывода в зависимости от конвейера: одновекторный режим для масштабного ANN-индексирования (доступна обрезка Matryoshka до 128–512 измерений), многовекторный режим для реранжирования top-k кандидатов на визуально насыщенных документах. Выбирайте LoRA-адаптер через параметр task API: 'retrieval' для поиска «запрос-документ», 'text-matching' для семантического сходства, 'code' для поиска кода. Для документов, превышающих 32K токенов, используйте `late_chunking. Оверхед 60M параметров на LoRA-адаптер незначителен (<2 % увеличения памяти), и все три адаптера можно загрузить одновременно. Модель лицензирована под Qwen Research License (только некоммерческое использование; коммерческая лицензия недоступна). Для продакшн-развёртываний используйте CUDA-GPU; модель доступна через Jina API и маркетплейсы AWS, Azure и GCP. Для чисто текстовых задач jina-embeddings-v5-text-small` предлагает лучшую точность на параметр за долю вычислительных затрат.