jina-reranker-v3

jina-reranker-v3 — это многоязычный переранжировщик документов с 0,6 млрд параметров, представляющий новую архитектуру взаимодействия «last but not late». В отличие от раздельного кодирования ColBERT с многовекторным сопоставлением, эта модель выполняет каузальное самовнимание между запросом и документами в одном и том же контекстном окне, обеспечивая расширенное междокументное взаимодействие перед извлечением контекстных эмбеддингов из последнего токена каждого документа. Модель построена на Qwen3-0.6B с 28 слоями трансформера и легковесным MLP-проектором (1024→512→256), что позволяет обрабатывать до 64 документов одновременно в контексте из 131 тыс. токенов. Модель достигает передовой производительности BEIR с 61,94 nDCG-10, будучи при этом в 10 раз компактнее генеративных listwise-переранжировщиков.

Использует трёхэтапное прогрессивное обучение с многокритериальными потерями, объединяющее InfoNCE, дисперсионные потери (0,45), потери двойного сопоставления (0,85) и потери сходства (0,85). На этапе 1 используется тонкая настройка LoRA (r = 16, α = 32) на предметно-ориентированных наборах данных, включая BGE-M3, Cornstack, с 16 документами на запрос. На этапе 2 контекст расширяется до 8192 токенов и извлекаются сложные негативы из разных поисковых систем — до 25 негативов при τ = 0,05. На этапе 3 объединяются специализированные модели с весами 0,25–0,65. Специальные токены doc_emb и query_emb отмечают позиции извлечения эмбеддингов. Обучение использует структурированные промпты с ролями система/пользователь/ассистент, размещая запрос как в начале, так и в конце для двунаправленного внимания.

Достигает 61,94 nDCG-10 на BEIR, самого высокого показателя среди всех оцененных переранжировщиков, что на 4,88% лучше jina-reranker-v2. Превосходно справляется с многошаговым (multi-hop) поиском с результатом 78,56 на HotpotQA, верификация фактов достигает 93,95 на FEVER. Многоязычная производительность достигает 66,50 на MIRACL для 18 языков, с арабским на уровне 78,69 и тайским на уровне 81,06. Извлечение кода достигает 63,28 на CoIR. Превосходит mxbai-rerank-large на 1,5 млрд параметров (61,44) при в 2,5 раза меньшем количестве параметров. Демонстрирует улучшение на 5,43% по сравнению с bge-reranker-v2-m3 того же масштаба. Относительно стабилен при разных порядках документов: случайный (62,54), по убыванию (61,94), по возрастанию (61,52).

Используйте структурированный шаблон промпта с ролями система/пользователь/ассистент и специальными токенами для извлечения эмбеддингов. Обрабатывайте до 64 документов за один прямой проход для коллекций, превышающих контекст в 131K токенов. Оптимально подходит для документов, упорядоченных случайным образом или по убыванию релевантности. Используйте возможности взаимодействия между документами для задач сравнительного ранжирования. Для многоязычных приложений модель обеспечивает надежный zero-shot перенос между 18 языками. Реализуйте пакетную обработку для больших наборов документов, поддерживая согласованность эмбеддингов запросов между пакетами. Рассмотрите 256-мерные выходные эмбеддинги для эффективного вычисления сходства. Идеально подходит для приложений, требующих как качества ранжирования, так и эффективности инференса, особенно для задач многошагового рассуждения и проверки фактов.