jina-reranker-v3

jina-reranker-v3 es un reranker de documentos multilingüe de 600 millones de parámetros que presenta una novedosa arquitectura de interacción "last but not late". A diferencia de la codificación independiente de ColBERT con coincidencia multivectorial, este modelo realiza autoatención causal entre la consulta y los documentos dentro de la misma ventana de contexto, lo que permite interacciones complejas entre documentos antes de extraer las incrustaciones contextuales del último token de cada documento. Desarrollado sobre Qwen3-0.6B con 28 capas de transformador y un proyector MLP ligero (1024→512→256), procesa hasta 64 documentos simultáneamente en un contexto de 131 000 tokens. El modelo alcanza un rendimiento BEIR de vanguardia con 61,94 nDCG-10, siendo 10 veces más pequeño que los rerankers generativos por lista.

Emplea un entrenamiento progresivo de tres etapas con pérdida multiobjetivo que combina InfoNCE, pérdida dispersiva (0,45), pérdida de coincidencia dual (0,85) y pérdida de similitud (0,85). La etapa 1 utiliza el ajuste fino de LoRA (r = 16, α = 32) en conjuntos de datos específicos del dominio, incluyendo BGE-M3 y Cornstack, con 16 documentos por consulta. La etapa 2 amplía el contexto a 8192 tokens y extrae negativos duros en sistemas de recuperación con hasta 25 negativos con τ = 0,05. La etapa 3 fusiona modelos especializados con ponderaciones de 0,25 a 0,65. Los tokens especiales doc_emb y query_emb marcan las posiciones de extracción de incrustaciones. El entrenamiento utiliza indicaciones estructuradas con roles de sistema/usuario/asistente, colocando la consulta tanto al principio como al final para una atención bidireccional.

Alcanza una puntuación de nDCG-10 de 61,94 en BEIR, la más alta entre todos los rerankers evaluados, con una mejora del 4,88 % respecto a jina-reranker-v2. Destaca en la recuperación multisalto con 78,56 en HotpotQA y en la verificación de hechos con 93,95 en FEVER. El rendimiento multilingüe alcanza 66,50 en MIRACL en 18 idiomas, con 78,69 en árabe y 81,06 en tailandés. La recuperación de código alcanza 63,28 en CoIR. Supera a mxbai-rerank-large de 1,5B (61,44) con 2,5 veces menos parámetros. Muestra una mejora del 5,43 % respecto a bge-reranker-v2-m3 de la misma escala. Relativamente estable en todos los ordenamientos de documentos: aleatorio (62,54), descendente (61,94) y ascendente (61,52).

Utilice una plantilla de solicitud estructurada con roles de sistema/usuario/asistente y tokens especiales para la extracción de incrustaciones. Procese hasta 64 documentos por pasada para colecciones que superen los 131 K de contexto. Óptimo para documentos ordenados aleatoriamente o por relevancia descendente. Aproveche la capacidad de interacción entre documentos para tareas de clasificación comparativa. Para aplicaciones multilingües, el modelo proporciona una sólida transferencia de cero disparos en 18 idiomas. Implemente el procesamiento por lotes para grandes conjuntos de documentos, manteniendo la consistencia de las incrustaciones de consultas en todos los lotes. Considere las incrustaciones de salida de 256 dimensiones para un cálculo de similitud eficiente. Ideal para aplicaciones que requieren tanto calidad de clasificación como eficiencia de inferencia, en particular razonamiento multisalto y tareas de verificación de hechos.