jina-embeddings-v5-text-nano

jina-embeddings-v5-text-nano es un modelo de embedding de texto multilingüe con 239 millones de parámetros, basado en la red troncal EuroBERT-210M, un codificador bidireccional preentrenado en 15 idiomas europeos e internacionales importantes. Produce embeddings de 768 dimensiones mediante la agrupación del último token y admite longitudes de contexto de hasta 32 000 tokens. El modelo incluye cuatro adaptadores LoRA específicos para cada tarea (6,7 millones de parámetros cada uno) para recuperación, similitud semántica, agrupamiento y clasificación. El aprendizaje de representación Matryoshka permite el truncamiento del embedding a dimensiones de tan solo 32. Entrenado mediante la destilación de embeddings de Qwen3-Embedding-4B, seguido del entrenamiento del adaptador específico para cada tarea, el modelo alcanza un rendimiento competitivo con modelos de más del doble de su tamaño, lo que lo hace adecuado para implementaciones sensibles a la latencia y en el borde.

El entrenamiento sigue el mismo proceso de dos etapas que jina-embeddings-v5-text-small, pero aplicado a la red troncal EuroBERT-210M. En la primera etapa, la destilación de embeddings transfiere el conocimiento de Qwen3-Embedding-4B mediante la pérdida de distancia de coseno con una capa de proyección lineal que mapea los embeddings de 768 dimensiones del estudiante en el espacio del profesor. El entrenamiento utiliza diversos pares de texto multilingües de más de 300 conjuntos de datos. En la segunda etapa, se entrenan cuatro adaptadores LoRA específicos de la tarea (6,7 millones de parámetros cada uno) con pesos de la red troncal congelados: recuperación (InfoNCE + destilación + GOR), coincidencia de texto (CoSENT + destilación), agrupamiento (redestilación con instrucciones específicas de la tarea para el profesor) y clasificación (InfoNCE bidireccional + destilación de conocimiento relacional). La red troncal EuroBERT ofrece una sólida cobertura multilingüe en 15 idiomas europeos e internacionales importantes, como inglés, francés, alemán, español, chino, japonés, árabe e hindi.

En MMTEB (multilingüe), jina-embeddings-v5-text-nano alcanza un promedio de 65,5 (a nivel de tarea) y 57,7 (a nivel de tipo) con tan solo 239 millones de parámetros, superando a todos los modelos con menos de 500 millones de parámetros, incluyendo KaLM-mini-v2.5 (60,1, 494 millones de parámetros), voyage-4-nano (58,9, 480 millones de parámetros) y Gemma-300M (61,1, 308 millones de parámetros). Obtiene una puntuación de 69,2 en clasificación, 52,7 en agrupamiento, 81,9 en clasificación por pares, 64,6 en reordenamiento, 63,3 en recuperación y 78,2 en STS. En inglés MTEB, alcanza un promedio de 71,0, casi igualando al mucho mayor jina-embeddings-v5-text-small (71,7). En las pruebas de recuperación, obtiene una puntuación de 63,26 en MTEB-M, 64,08 en RTEB, 56,06 en BEIR y 63,65 en LongEmbed. Las embeddings se mantienen robustas bajo cuantificación binaria, y la regularización GOR limita la degradación del rendimiento a menos de 2 puntos en la recuperación de MTEB.

Seleccione el adaptador LoRA adecuado para su tarea: «recuperación» para búsqueda asimétrica de documentos (anteponga «Consulta:» a las consultas y «Documento:» a los pasajes), «coincidencia de texto» para tareas de similitud simétrica (use el prefijo «Documento:» para ambas entradas), «agrupación» para agrupar documentos relacionados y «clasificación» para categorización. El modelo nano está optimizado para implementaciones sensibles a la latencia y con recursos limitados, a la vez que mantiene una precisión competitiva con modelos de más del doble de su tamaño. El truncamiento Matryoshka permite reducir los embeddings de 768 a tan solo 32 dimensiones; mantenga las dimensiones por encima de 256 para obtener mejores resultados. Se admite la cuantificación binaria. La red troncal EuroBERT ofrece una amplia cobertura para 15 idiomas principales, entre ellos inglés, francés, alemán, español, chino, japonés, árabe e hindi. Utilice la similitud de coseno para la comparación de embeddings. Disponible a través de Jina AI API, Hugging Face (Sentence Transformers y vLLM) y variantes cuantificadas para llama.cpp.