jina-reranker-v3

jina-reranker-v3 — это многоязычный реранжировщик документов с 0,6 млрд параметров, представляющий новую архитектуру взаимодействия «последний, но не поздний». В отличие от раздельного кодирования ColBERT с многовекторным сопоставлением, эта модель выполняет причинно-следственное самовосприятие между запросом и документами в одном и том же контекстном окне, обеспечивая расширенное междокументное взаимодействие перед извлечением контекстных вложений из последнего токена каждого документа. Модель построена на Qwen3-0.6B с 28 слоями-трансформерами и легковесным проектором многослойного перцептрона (1024→512→256), что позволяет обрабатывать до 64 документов одновременно в контексте из 131 тыс. токенов. Модель достигает передовой производительности BEIR с 61,94 nDCG-10, будучи при этом в 10 раз компактнее генеративных реранжировщиков по спискам.

Использует трёхэтапное прогрессивное обучение с многокритериальными потерями, объединяющее InfoNCE, дисперсионные потери (0,45), потери двойного сопоставления (0,85) и потери сходства (0,85). На этапе 1 используется тонкая настройка LoRA (r = 16, α = 32) на предметно-ориентированных наборах данных, включая BGE-M3, Cornstack, с 16 документами на запрос. На этапе 2 контекст расширяется до 8192 токенов и извлекаются жесткие отрицательные значения в поисковых системах с 25 отрицательными значениями при τ = 0,05. На этапе 3 объединяются специализированные модели с весами 0,25–0,65. Специальные токены doc_emb и query_emb отмечают позиции извлечения вложений. Обучение использует структурированные подсказки с ролями система/пользователь/помощник, размещая запрос как в начале, так и в конце для двунаправленного внимания.

Достигает 61,94 nDCG-10 на BEIR, самого высокого показателя среди всех оцененных переранжировщиков и улучшения на 4,88% по сравнению с jina-reranker-v2. Превосходно справляется с многоадресным поиском с результатом 78,56 на HotpotQA, верификация фактов достигает 93,95 на FEVER. Многоязычная производительность достигает 66,50 на MIRACL для 18 языков, с арабским на уровне 78,69 и тайским на уровне 81,06. Извлечение кода достигает 63,28 на CoIR. Превосходит 1,5-процентный mxbai-rerank-large (61,44) с в 2,5 раза меньшим количеством параметров. Демонстрирует улучшение на 5,43% по сравнению с bge-reranker-v2-m3 того же масштаба. Относительно стабилен при сортировке документов: случайная (62,54), по убыванию (61,94), по возрастанию (61,52).

Используйте структурированный шаблон запроса с ролями системы/пользователя/помощника и специальными токенами для извлечения встраиваемых данных. Обрабатывайте до 64 документов за один прямой проход для коллекций, превышающих 131 000 контекстов. Оптимально подходит для документов, упорядоченных случайным образом или по убыванию релевантности. Используйте возможности взаимодействия между документами для задач сравнительного ранжирования. Для многоязычных приложений модель обеспечивает надежный перенос данных с нулевого выстрела между 18 языками. Реализуйте пакетную обработку для больших наборов документов, поддерживая согласованность встраиваемых данных запросов между пакетами. Рассмотрите 256-мерные выходные встраиваемые данные для эффективного вычисления сходства. Идеально подходит для приложений, требующих как качества ранжирования, так и эффективности вывода, особенно для задач многошагового рассуждения и проверки фактов.