jina-embeddings-v3

jina-embeddings-v3 est un modèle d'embeddings de texte multilingue de 570M paramètres supportant 89 langues et une fenêtre de contexte de 8 192 tokens. Son innovation définitoire est l'utilisation d'adaptateurs LoRA spécifiques à une tâche : le même backbone de 570M produit des embeddings optimisés pour la recherche, la classification, le clustering et le matching de texte en échangeant des poids d'adaptateurs légers (chacun sous 60M paramètres). Il a atteint un rendement MTEB de pointe au lancement, surpassant les embeddings propriétaires d'OpenAI et Cohere sur les tâches en anglais.

Le modèle est construit sur un backbone jina-XLM-RoBERTa avec 24 couches de transformeur, utilisant des encodings de position rotatifs (RoPE) avec une fréquence de base ajustée pour l'extrapolation de contexte long jusqu'à 8 192 tokens. L'entraînement a suivi un curriculum en trois étapes : (1) pré-entraînement multilingue sur 89 langues, (2) ajustement contrastif sur des ensembles de données de texte apparié pour établir la qualité de base des embeddings, (3) entraînement d'adaptateurs LoRA spécifiques à la tâche. Chaque adaptateur LoRA ajoute moins de 3 % au nombre total de paramètres tout en spécialisant le modèle pour une tâche spécifique : retrieval.query et retrieval.passage pour la recherche asymétrique, separation pour le clustering, classification pour la catégorisation et text-matching pour la similarité sémantique. Le Matryoshka Representation Learning (MRL) permet la troncature des embeddings de 1024 à 32 dimensions en préservant plus de 90 % de la qualité de recherche à 64 dimensions. Le late chunking est pris en charge pour les documents dépassant la fenêtre de contexte.

Sur MTEB, jina-embeddings-v3 a atteint un score moyen de 65,52 sur toutes les tâches, avec des résultats particulièrement forts en classification (82,58) et similarité de phrases (85,80). Il a surpassé multilingual-e5-large-instruct sur toutes les tâches multilingues et battu e5-mistral-7b-instruct (12× le nombre de paramètres) sur les tâches en anglais. Sur MTEB multilingue, il a obtenu 64,44, démontrant un rendement cohérent sur 89 langues. La troncature MRL a préservé 92 % des performances de recherche à 64 dimensions par rapport aux 1024 complets. En 2026, jina-embeddings-v5-text-small remplace ce modèle pour la plupart des charges de travail, offrant un contexte de 32K et un entraînement par distillation qui donne une précision supérieure par paramètre.

Choisissez l'adaptateur LoRA approprié pour votre tâche : retrieval.query/retrieval.passage pour la recherche, separation pour le clustering, classification pour la catégorisation, text-matching pour la similarité sémantique. Utilisez le paramètre `late_chunking pour les documents dépassant 8 192 tokens. La troncature Matryoshka à 256 ou 512 dimensions convient à l'indexation contrainte en stockage ; utilisez les 1024 dimensions complètes pour le re-classement. Le modèle requiert une GPU compatible CUDA pour le débit de production. Pour les nouveaux projets multilingues, préférez jina-embeddings-v5-text-small` (contexte 32K, entraîné par distillation, précision supérieure). Le modèle n'est pas conçu pour la génération de texte ou le raisonnement complexe — il produit des embeddings, pas du texte.