jina-embeddings-v5-text-small

jina-embeddings-v5-text-small es un modelo de embeddings de texto multilingüe de 600 millones de parámetros, basado en la estructura principal Qwen3-0.6B-Base. Produce incrustaciones de 1024 dimensiones mediante la agrupación del último token y admite longitudes de contexto de hasta 32K tokens mediante incrustaciones posicionales rotatorias (RoPE) con frecuencias base ajustadas. El modelo incluye cuatro adaptadores LoRA específicos de cada tarea para recuperación, similitud semántica, agrupamiento y clasificación, entrenados de forma independiente con pesos de la estructura principal congelados. El aprendizaje de representación Matryoshka permite el truncamiento de la incrustación a dimensiones de hasta 32. El modelo se entrena mediante un proceso de dos etapas: primero, la destilación de incrustaciones desde Qwen3-Embedding-4B para transferir el conocimiento del modelo docente, de mayor tamaño, seguida del entrenamiento del adaptador específico de la tarea con funciones de pérdida especializadas para cada categoría de tarea. Admite la recuperación asimétrica con los prefijos <code>Query:</code> y <code>Document:</code>.

El entrenamiento se desarrolla en dos etapas. En la primera etapa, la destilación de incrustación transfiere el conocimiento de Qwen3-Embedding-4B (un modelo de profesor de parámetros 4B) al modelo de estudiante Qwen3-0.6B-Base utilizando una pérdida de distancia de coseno entre las incrustaciones de estudiante proyectadas y las incrustaciones de profesor. Una capa de proyección lineal mapea el espacio de 1024 dimensiones del estudiante en el espacio de mayor dimensión del profesor. La destilación de propósito general utiliza más de 300 conjuntos de datos en más de 30 idiomas para 50.000 pasos, seguido de un entrenamiento de contexto largo en documentos largos sintéticos y naturales (1.000-4.096 tokens) con parámetros RoPE ajustados. En la segunda etapa, se entrenan cuatro adaptadores LoRA en pesos de backbone congelados: el adaptador de recuperación combina la pérdida contrastiva de InfoNCE con negativos duros, pérdida de destilación continua y un Regularizador Ortogonal Global (GOR) para la robustez de la cuantificación; El adaptador de coincidencia de texto utiliza la pérdida de clasificación CoSENT para la similitud graduada con destilación en pares sin puntuación; el adaptador de agrupamiento utiliza la redestilación con una instrucción del profesor específica para la agrupación; y el adaptador de clasificación utiliza la pérdida bidireccional InfoNCE con regularización de destilación de conocimiento relacional. Las ponderaciones finales del adaptador de recuperación se promedian entre los puntos de control.

En MMTEB (multilingüe), jina-embeddings-v5-text-small alcanza un promedio de 67,0 (nivel de tarea) y 58,9 (nivel de tipo), el más alto de todos los modelos de menos de 1B de parámetros. Obtiene una puntuación de 71,3 en clasificación, 53,4 en agrupamiento, 82,9 en clasificación por pares, 65,7 en reordenamiento, 64,9 en recuperación y 78,9 en STS. En MTEB en inglés, alcanza un promedio de 71,7, superando a Qwen3-0.6B con instrucciones (70,5) y a jina-embeddings-v3 (65,7). En las pruebas de rendimiento específicas de recuperación, obtiene una puntuación de 64,88 en recuperación MTEB-M, 66,84 en RTEB, 56,67 en BEIR y 66,39 en LongEmbed. El modelo supera a su modelo docente Qwen3-4B en la clasificación por pares (42,0 frente a 26,8 en MMTEB) mientras mantiene puntuaciones competitivas en todas las demás categorías a pesar de ser 6 veces más pequeño.

Seleccione el adaptador LoRA adecuado para su tarea: «recuperación» para búsqueda asimétrica de documentos (anteponga «Consulta:» a las consultas y «Documento:» a los pasajes), «coincidencia de texto» para tareas de similitud simétrica como la detección de duplicados y la identificación de paráfrasis (use el prefijo «Documento:» para ambas entradas), «agrupación» para agrupar documentos relacionados y «clasificación» para categorización y análisis de sentimientos. Para las tareas de recuperación, utilice siempre el prefijo correcto, ya que el modelo se entrena con codificación asimétrica. El truncamiento Matryoshka permite reducir las incrustaciones de 1024 a tan solo 32 dimensiones; el rendimiento se mantiene sólido por encima de las 256 dimensiones, pero se degrada notablemente por debajo de ese umbral, en consonancia con los límites de Johnson-Lindenstrauss. La cuantificación binaria se admite con una pérdida mínima de rendimiento gracias a la regularización GOR. La ventana de contexto de 32 K gestiona documentos largos de forma nativa, pero el modelo se entrenó adicionalmente con datos de contexto largo para una recuperación robusta de documentos largos. Utilice la similitud de coseno para la comparación de incrustaciones. El modelo está disponible a través de la API de Jina AI, Hugging Face (con transformadores de oraciones e integración con vLLM) y variantes cuantificadas para llama.cpp.