jina-embeddings-v5-text-nano

jina-embeddings-v5-text-nano ist ein mehrsprachiges Text-Embedding-Modell mit 239 Millionen Parametern, das auf dem EuroBERT-210M-Backbone basiert, einem bidirektionalen Encoder, der für 15 wichtige europäische und globale Sprachen vortrainiert wurde. Es erzeugt 768-dimensionale Embeddings mittels Last-Token-Pooling und unterstützt Kontextlängen von bis zu 32.000 Token. Das Modell umfasst vier aufgabenspezifische LoRA-Adapter (jeweils 6,7 Millionen Parameter) für Retrieval, semantische Ähnlichkeit, Clustering und Klassifizierung. Matryoshka Representation Learning ermöglicht die Reduzierung der Embedding-Dimension auf bis zu 32. Durch das Training mit Embedding-Destillation von Qwen3-Embedding-4B und anschließendem Training der aufgabenspezifischen Adapter erzielt das Modell eine mit Modellen vergleichbare Leistung, die mehr als doppelt so groß sind. Dadurch eignet es sich für latenzkritische Anwendungen und Edge-Computing.

Das Training folgt dem gleichen zweistufigen Prozess wie jina-embeddings-v5-text-small, wird jedoch auf das EuroBERT-210M-Backbone angewendet. In der ersten Stufe, der Embedding-Destillation, wird Wissen aus Qwen3-Embedding-4B mithilfe des Cosinusdistanzverlusts und einer linearen Projektionsschicht übertragen, die die 768-dimensionalen Embeddings des Lernenden in den Raum des Lehrers abbildet. Für das Training werden diverse mehrsprachige Textpaare aus über 300 Datensätzen verwendet. In der zweiten Stufe werden vier aufgabenspezifische LoRA-Adapter (jeweils 6,7 Millionen Parameter) mit den eingefrorenen Backbone-Gewichten trainiert: Retrieval (InfoNCE + Destillation + GOR), Textvergleich (CoSENT + Destillation), Clustering (erneute Destillation mit aufgabenspezifischen Anweisungen des Lehrers) und Klassifizierung (bidirektionales InfoNCE + relationale Wissensdestillation). Das EuroBERT-Backbone bietet eine starke mehrsprachige Abdeckung für 15 wichtige europäische und globale Sprachen, darunter Englisch, Französisch, Deutsch, Spanisch, Chinesisch, Japanisch, Arabisch und Hindi.

Auf MMTEB (mehrsprachig) erreicht jina-embeddings-v5-text-nano mit nur 239 Millionen Parametern einen Durchschnittswert von 65,5 (Aufgabenebene) und 57,7 (Typenebene) und übertrifft damit alle Modelle mit weniger als 500 Millionen Parametern, darunter KaLM-mini-v2.5 (60,1, 494 Millionen Parameter), voyage-4-nano (58,9, 480 Millionen Parameter) und Gemma-300M (61,1, 308 Millionen Parameter). Die Werte liegen bei 69,2 für Klassifizierung, 52,7 für Clustering, 81,9 für Paarklassifizierung, 64,6 für Reranking, 63,3 für Retrieval und 78,2 für STS. Auf englischem MTEB erzielt es einen Durchschnittswert von 71,0 und erreicht damit nahezu den Wert des deutlich größeren Modells jina-embeddings-v5-text-small (71,7). Bei Retrieval-Benchmarks erzielt es 63,26 Punkte bei MTEB-M, 64,08 Punkte bei RTEB, 56,06 Punkte bei BEIR und 63,65 Punkte bei LongEmbed. Die Einbettungen bleiben auch unter binärer Quantisierung robust, wobei die GOR-Regularisierung den Leistungsabfall beim MTEB-Retrieval auf unter 2 Punkte begrenzt.

Wählen Sie den passenden LoRA-Adapter für Ihre Aufgabe: „retrieval“ für die asymmetrische Query-Dokument-Suche (fügen Sie „Query:“ vor Suchanfragen und „Document:“ vor Passagen ein), „text-matching“ für symmetrische Ähnlichkeitsaufgaben (verwendet das Präfix „Document:“ für beide Eingaben), „clustering“ zum Gruppieren verwandter Dokumente und „classification“ zur Kategorisierung. Das Nano-Modell ist für latenzkritische und ressourcenbeschränkte Umgebungen optimiert und bietet dabei eine vergleichbare Genauigkeit wie Modelle, die mehr als doppelt so groß sind. Die Matryoshka-Trunkierung ermöglicht die Reduzierung der Embeddings von 768 auf bis zu 32 Dimensionen; für optimale Ergebnisse sollten die Dimensionen über 256 liegen. Binäre Quantisierung wird unterstützt. Das EuroBERT-Backbone bietet eine umfassende Abdeckung für 15 wichtige Sprachen, darunter Englisch, Französisch, Deutsch, Spanisch, Chinesisch, Japanisch, Arabisch und Hindi. Verwenden Sie die Kosinusähnlichkeit für den Embedding-Vergleich. Verfügbar über die Jina AI API, Hugging Face (Sentence Transformers und vLLM) sowie quantisierte Varianten für llama.cpp.