jina-embeddings-v5-text-nano

jina-embeddings-v5-text-nano è un modello di embedding di testo multilingue a 239 milioni di parametri basato sul backbone EuroBERT-210M, un codificatore bidirezionale preaddestrato su 15 delle principali lingue europee e globali. Produce embedding a 768 dimensioni tramite il pooling dell'ultimo token e supporta lunghezze di contesto fino a 32.000 token. Il modello include quattro adattatori LoRA specifici per attività (6,7 milioni di parametri ciascuno) per il recupero, la similarità semantica, il clustering e la classificazione. La tecnologia Matryoshka Representation Learning consente il troncamento dell'embedding a dimensioni ridotte fino a 32. Addestrato utilizzando la distillazione dell'embedding da Qwen3-Embedding-4B seguita dall'addestramento dell'adattatore specifico per attività, il modello raggiunge prestazioni competitive con modelli di dimensioni più che doppie, rendendolo adatto per implementazioni edge e sensibili alla latenza.

L'addestramento segue lo stesso processo in due fasi di jina-embeddings-v5-text-small, ma applicato al backbone EuroBERT-210M. La distillazione dell'embedding nella prima fase trasferisce la conoscenza da Qwen3-Embedding-4B utilizzando la perdita di distanza del coseno con un livello di proiezione lineare che mappa gli embedding a 768 dimensioni dello studente nello spazio dell'insegnante. L'addestramento utilizza diverse coppie di testo multilingue provenienti da oltre 300 set di dati. Nella seconda fase, quattro adattatori LoRA specifici per attività (6,7 milioni di parametri ciascuno) vengono addestrati su pesi del backbone congelati: recupero (InfoNCE + distillazione + GOR), corrispondenza del testo (CoSENT + distillazione), clustering (ridistillazione con istruzioni specifiche per l'attività dell'insegnante) e classificazione (InfoNCE bidirezionale + distillazione della conoscenza relazionale). Il backbone EuroBERT offre un'ampia copertura multilingue in 15 principali lingue europee e globali, tra cui inglese, francese, tedesco, spagnolo, cinese, giapponese, arabo e hindi.

Su MMTEB (multilingue), jina-embeddings-v5-text-nano raggiunge una media di 65,5 (a livello di attività) e 57,7 (a livello di tipo) con soli 239 milioni di parametri, superando tutti i modelli con meno di 500 milioni di parametri, inclusi KaLM-mini-v2.5 (60,1, 494 milioni di parametri), voyage-4-nano (58,9, 480 milioni di parametri) e Gemma-300M (61,1, 308 milioni di parametri). Ottiene un punteggio di 69,2 nella classificazione, 52,7 nel clustering, 81,9 nella classificazione di coppie, 64,6 nel reranking, 63,3 nel recupero e 78,2 in STS. Su MTEB inglese, raggiunge una media di 71,0, quasi eguagliando il ben più ampio jina-embeddings-v5-text-small (71,7). Nei benchmark di recupero, ottiene un punteggio di 63,26 su MTEB-M, 64,08 su RTEB, 56,06 su BEIR e 63,65 su LongEmbed. Gli embedding rimangono robusti sotto quantizzazione binaria, con la regolarizzazione GOR che limita il degrado delle prestazioni a meno di 2 punti nel recupero MTEB.

Seleziona l'adattatore LoRA appropriato per la tua attività: "recupero" per la ricerca asimmetrica di query-documenti (anteponi "Query:" alle query e "Documento:" ai passaggi), "corrispondenza di testo" per attività di similarità simmetrica (usa il prefisso "Documento:" per entrambi gli input), "clustering" per raggruppare documenti correlati e "classificazione" per la categorizzazione. Il modello nano è ottimizzato per implementazioni sensibili alla latenza e con risorse limitate, mantenendo al contempo un'accuratezza competitiva con modelli di dimensioni più che doppie. Il troncamento Matryoshka consente di ridurre gli embedding da 768 a un massimo di 32 dimensioni; mantieni le dimensioni superiori a 256 per risultati ottimali. È supportata la quantizzazione binaria. Il backbone EuroBERT offre un'ampia copertura per 15 lingue principali, tra cui inglese, francese, tedesco, spagnolo, cinese, giapponese, arabo e hindi. Utilizza la similarità del coseno per il confronto degli embedding. Disponibile tramite Jina AI API, Hugging Face (Sentence Transformers e vLLM) e varianti quantizzate per llama.cpp.