Panoramica
jina-embeddings-v3 è un modello di embedding di testo multilingua da 570M parametri che supporta 89 lingue e una finestra di contesto di 8.192 token. La sua innovazione distintiva è l'uso di adattatori LoRA specifici per il task: lo stesso backbone da 570M produce embedding ottimizzati per retrieval, classificazione, clustering e text-matching scambiando pesi di adattatori leggeri (ciascuno sotto 60M parametri). Ha raggiunto una performance MTEB state-of-the-art al rilascio, superando gli embedding proprietari di OpenAI e Cohere sui task in inglese.
Metodi
Il modello è costruito su un backbone jina-XLM-RoBERTa con 24 layer di transformer, utilizzando Rotary Position Embeddings (RoPE) con una frequenza di base tarata per l'estrapolazione su contesti lunghi fino a 8.192 token. L'addestramento ha seguito un percorso di addestramento in tre fasi: (1) pre-addestramento multilingua su 89 lingue, (2) fine-tuning contrastivo su dataset di coppie di testo per stabilire la qualità di base degli embedding, (3) addestramento di adattatori LoRA specifici per il task. Ogni adattatore LoRA aggiunge meno del 3% al totale dei parametri mentre specializza il modello per un task specifico: retrieval.query e retrieval.passage per la ricerca asimmetrica, separation per il clustering, classification per la categorizzazione e text-matching per la similarità semantica. Matryoshka Representation Learning (MRL) consente la troncatura degli embedding da 1024 a 32 dimensioni preservando oltre il 90% della qualità di retrieval a 64 dimensioni. Il late chunking è supportato per i documenti che superano la finestra di contesto.
Prestazioni
Su MTEB, jina-embeddings-v3 ha raggiunto un punteggio medio di 65,52 su tutti i task, con risultati particolarmente forti in classificazione (82,58) e similarità di frasi (85,80). Ha superato multilingual-e5-large-instruct su tutti i task multilingua e battuto e5-mistral-7b-instruct (12× il numero di parametri) sui task in inglese. Su MTEB multilingua, ha ottenuto 64,44, dimostrando prestazioni coerenti su 89 lingue. La troncatura MRL ha preservato il 92% delle prestazioni di retrieval a 64 dimensioni rispetto ai 1024 completi. Nel 2026, jina-embeddings-v5-text-small supera questo modello per la maggior parte dei carichi di lavoro, offrendo contesto di 32K e addestramento basato sulla distillazione che produce maggiore accuratezza per parametro.
Buone pratiche
Seleziona l'adattatore LoRA appropriato per il tuo task: retrieval.query/retrieval.passage per la ricerca, separation per il clustering, classification per la categorizzazione, text-matching per la similarità semantica. Usa il parametro `late_chunking per i documenti che superano 8.192 token. La troncatura Matryoshka a 256 o 512 dimensioni è adatta all'indicizzazione con vincoli di storage; usa le 1024 dimensioni complete per il reranking. Il modello richiede una GPU con supporto CUDA per il throughput di produzione. Per nuovi progetti multilingua, preferisci jina-embeddings-v5-text-small` (contesto 32K, addestrato con distillazione, maggiore accuratezza). Il modello non è progettato per la generazione di testo o il ragionamento complesso — produce embedding, non testo.












