jina-embeddings-v5-omni-small

jina-embeddings-v5-omni-small (~1,74 млрд параметров) — это мультимодальная модель эмбеддингов, которая принимает текст, изображения, видео и аудио и создает эмбеддинги в общем векторном пространстве, согласованном с jina-embeddings-v5-text-small. Вы можете индексировать текстом и выполнять запросы с использованием любой модальности, или наоборот, без переиндексации. Текстовая основа и все четыре специализированных адаптера LoRA (поиск, сопоставление текста, кластеризация, классификация) замораживаются во время мультимодального обучения, поэтому выходные данные только с текстом побитово идентичны данным jina-embeddings-v5-text-small. Модель создает 1024-мерные эмбеддинги с усечением Matryoshka до 32 измерений и поддерживает длину контекста 32K токенов.

Обучение проводилось на третьем этапе, расширяющем jina-embeddings-v5-text-small. Текстовая архитектура и все четыре специализированных адаптера LoRA были зафиксированы; заново обучались только кросс-модальные проекторы. Для обработки изображений и видео (32 равномерно дискретизированных кадра) использовался графический кодировщик SigLIP2 So400m. Для обработки аудиовхода использовался аудиокодировщик Whisper-large-v3. Страницы PDF-файлов отображались как изображения и обрабатывались через графический канал. В процессе обучения использовалась контрастная функция потерь с кросс-модальными жесткими отрицаниями для выравнивания визуальных и аудиопредставлений с существующим пространством встраивания текста.

Производительность при обработке только текста идентична производительности jina-embeddings-v5-text-small — текстовая основа и адаптеры LoRA остаются неизменными во время мультимодального обучения. При кросс-модальном поиске модель демонстрирует высокую согласованность между задачами текст-изображение, текст-аудио и текст-видео. Поиск страниц PDF осуществляется через путь обработки изображений. Модель omni-small предлагает наилучший компромисс между точностью и эффективностью среди мультимодальных моделей встраивания Jina для развертывания на сервере.

Те же четыре адаптера LoRA, что и в v5-text-small: retrieval, text-matching, clustering и classification. Для мультимодальных входных данных через API передавайте URL-адреса изображений, аудиофайлов, видеофайлов или PDF-файлов напрямую — модель направляет каждую модальность через соответствующий кодировщик. Поддерживаемые аудиоформаты: WAV, MP3, FLAC, OGG, M4A и Opus. Видеовходы обрабатываются как 32 равномерно выбранных кадра. Свободно смешивайте модальности в одном пакете: пространство эмбеддингов используется совместно для всех модальностей. Используйте косинусное сходство для сравнения. Поддерживается усечение Matryoshka с 1024 до 32 измерений. Эмбеддинги только для текста полностью совместимы с jina-embeddings-v5-text-small — при обновлении переиндексация не требуется.