Обзор
jina-reranker-m0 — мультимодальный мультиязычный реранкер на 2,4B параметров, основанный на архитектуре vision-language модели. Это первый реранкер, обрабатывающий визуальные документы (текст, рисунки, таблицы, диаграммы) на нескольких языках, достигая передового качества на ViDoRe (91,02 NDCG-5) и в мультиязычном поиске длинных документов (MLDR). Модель поддерживает text-to-text, text-to-image, image-to-text и реранжирование смешанных модальностей.
Методы
Модель построена на decoder-only VLM архитектуре (2,4B параметров), объединяющей vision-энкодер DFN CLIP ViT с языковым декодером Qwen2. В отличие от традиционных cross-encoder, обрабатывающих только текст, VLM-база нативно обрабатывает и текстовые входы, и входы с изображениями, позволяя ранжировать документы с визуальным содержимым (отсканированные PDF, инфографика, презентации, таблицы со встроенными рисунками). Контекстное окно в 10K токенов вмещает до 768 токенов на изображение (обрабатывается как патчи 768×28×28). Обучение использует мультимодальную контрастивную функцию потерь на разнообразных типах документов на нескольких языках. Decoder-only архитектура позволяет listwise-реранжирование и открывает возможности для дедупликации документов и объяснимости ранговых оценок через механизмы внимания — возможности, недоступные encoder-only архитектурам.
Производительность
В text-to-text ранжировании модель набирает 58,95 NDCG-10 на BEIR, превосходя jina-embeddings-v3 (55,81) и bge-reranker-v2-m3 (56,51). Для мультиязычного контента она достигает 66,75 NDCG-10 на MIRACL (18 языков). На бенчмарке MLDR для длинных документов она набирает 59,83 NDCG-10 по 13 языкам. Поиск кода достигает 63,55 NDCG-10 на CoIR. Особенно сильна модель в поиске визуальных документов: 91,02 NDCG-5 на ViDoRe и 43,92 в среднем на Winoground (визуально-языковое композиционное рассуждение). Некоторые комбинации модальностей (например, image-to-image) поддерживаются в zero-shot режиме без специального обучения.
Рекомендации
Модель доступна через Jina API, маркетплейсы AWS, Azure, GCP или локально через Hugging Face. При использовании API передавайте текстовые строки, base64-изображения или URL изображений — новые пользователи получают 10M бесплатных токенов. Модель поддерживает до 10K входных токенов и до 768 токенов на изображение. Для оптимальных результатов модель лучше всего работает на задачах text-to-text, text-to-image, image-to-text и text-to-mixed-modality; image-to-image — zero-shot. Decoder-only архитектура открывает возможности, выходящие за рамки простого реранжирования: реранжирование смешанных модальностей, listwise-реранжирование, дедупликация документов и объяснимость ранжирования на основе внимания. Используйте эту модель, когда ваши документы содержат визуальное содержимое (отсканированные PDF, диаграммы, инфографику), с которым текстовые реранкеры не справляются. Для чистого текстового реранжирования по меньшей цене используйте jina-reranker-v3.5.








