jina-embeddings-v3

jina-embeddings-v3 ist ein mehrsprachiges Text-Embedding-Modell mit 570M Parametern, das 89 Sprachen und ein 8.192-Token-Kontextfenster unterstützt. Seine definierende Innovation ist die Nutzung von aufgabenspezifischen LoRA-Adaptern: derselbe 570M-Backbone erzeugt optimierte Embeddings für Retrieval, Klassifizierung, Clustering und Text-Matching durch das Wechseln leichter Adapter-Gewichte (jeweils unter 60M Parametern). Es erreichte State-of-the-Art-MTEB-Performance bei Release und übertraf die proprietären Embeddings von OpenAI und Cohere in englischen Aufgaben.

Das Modell basiert auf einem jina-XLM-RoBERTa-Backbone mit 24 Transformer-Layern und verwendet Rotary Position Embeddings (RoPE) mit abgestimmter Basisfrequenz für lange Kontext-Extrapolation bis 8.192 Tokens. Das Training folgte einem dreistufigen Curriculum: (1) mehrsprachiges Pretraining auf 89 Sprachen, (2) kontrastive Feinabstimmung auf gepaarten Text-Datensätzen zur Festlegung der Basis-Embedding-Qualität, (3) aufgabenspezifisches LoRA-Adapter-Training. Jeder LoRA-Adapter fügt weniger als 3 % zur Gesamtzahl der Parameter hinzu, während er das Modell für eine bestimmte Aufgabe spezialisiert: retrieval.query und retrieval.passage für asymmetrische Suche, separation für Clustering, classification für Kategorisierung und text-matching für semantische Ähnlichkeit. Matryoshka Representation Learning (MRL) ermöglicht Embedding-Trunkierung von 1024 auf 32 Dimensionen bei Erhaltung von über 90 % der Retrieval-Qualität bei 64 Dimensionen. Late Chunking wird für Dokumente unterstützt, die das Kontextfenster überschreiten.

Auf MTEB erzielte jina-embeddings-v3 einen Durchschnittswert von 65,52 über alle Aufgaben, mit besonders starken Ergebnissen in Klassifizierung (82,58) und Satzähnlichkeit (85,80). Es übertraf multilingual-e5-large-instruct in allen mehrsprachigen Aufgaben und schlug e5-mistral-7b-instruct (12× die Parameterzahl) in englischen Aufgaben. Auf mehrsprachigem MTEB erzielte es 64,44 und demonstrierte konsistente Performance über 89 Sprachen. MRL-Trunkierung bewahrte 92 % der Retrieval-Leistung bei 64 Dimensionen gegenüber den vollen 1024. Im Jahr 2026 wird dieses Modell für die meisten Workloads von jina-embeddings-v5-text-small abgelöst, das 32K-Kontext und destillationsbasiertes Training mit höherer Genauigkeit pro Parameter bietet.

Wählen Sie den passenden LoRA-Adapter für Ihre Aufgabe: retrieval.query/retrieval.passage für Suche, separation für Clustering, classification für Kategorisierung, text-matching für semantische Ähnlichkeit. Verwenden Sie den `late_chunking-Parameter für Dokumente über 8.192 Tokens. Matryoshka-Trunkierung auf 256 oder 512 Dimensionen eignet sich für speicherbeschränkte Indexierung; verwenden Sie volle 1024 Dimensionen für Re-Ranking. Das Modell benötigt eine CUDA-fähige GPU für Produktions-Durchsatz. Für neue mehrsprachige Projekte bevorzugen Sie jina-embeddings-v5-text-small` (32K-Kontext, per Destillation trainiert, höhere Genauigkeit). Das Modell ist nicht für Textgenerierung oder komplexes Reasoning ausgelegt — es erzeugt Embeddings, keine Texte.