Überblick
jina-embeddings-v2-base-en ist ein englisches Text-Embedding-Modell mit 137M Parametern und einem 8.192-Token-Kontextfenster – das 16-Fache der damals üblichen 512-Token-Grenze. Auf einem BERT-small-Backbone mit symmetrischer bidirektionaler ALiBi (Attention with Linear Biases) gebaut, war es das erste Open-Source-Embedding von Jina, das lange Dokumente nativ ohne Trunkierung oder Chunking verarbeitete. Es erzeugt 768-dimensionale Vektoren und bleibt eine solide Wahl für reines Englisch-Retrieval, bei dem mehrsprachige oder Langkontext-Funktionen von v3/v5 nicht benötigt werden.
Methoden
Die Architektur kombiniert einen BERT-small-Transformer (12 Schichten, 12 Attention-Heads, 768 Hidden-Dimensionen) mit symmetrischen bidirektionalen ALiBi-Positionskodierungen. ALiBi ersetzt erlernte Positions-Embeddings durch einen linear abfallenden Attention-Bias, wodurch das Modell weit über seine 512-Token-Trainingslänge hinaus bis zu 8.192 Tokens extrapolieren kann, ohne Performance-Verluste. Das Training folgte einer zweistufigen Pipeline: Pretraining auf C4, dann Feintuning auf Jinas kuratierte Sammlung von 40+ spezialisierten Satzpaar-Datensätzen mit Hard-Negative-Mining. Symmetrische bidirektionale Attention stellt sicher, dass jedes Token sowohl den vorangehenden als auch den folgenden Kontext einbezieht und Repräsentationen erzeugt, die globale Satzbedeutung erfassen. Mean-Pooling über alle Token-Repräsentationen erzeugt das finale 768-dimensionale Embedding.
Leistung
Bei der Veröffentlichung übertraf das Modell OpenAIs text-embedding-ada-002 auf mehreren MTEB-Englisch-Unteraufgaben: Klassifikation (73,45 % vs. 70,93 %), Reranking (85,38 % vs. 84,89 %), Retrieval (56,98 % vs. 56,32 %) und Zusammenfassung (31,6 % vs. 30,8 %). Sein 8.192-Token-Kontext war ein erheblicher Vorteil gegenüber konkurrierenden Modellen mit Begrenzung auf 512–2.048 Tokens und ermöglichte Retrieval auf Dokumentebene ohne Chunking. Der kompakte 307MB-Fußabdruck machte es auf Consumer-GPUs einsetzbar. Im Jahr 2026 übertrifft jina-embeddings-v5-text-small (677M Parameter, 32K-Kontext, aufgabenspezifische LoRA-Adapter) es für die meisten Produktions-Workloads, aber es bleibt für schlanke Pipelines relevant, die nur Englisch brauchen.
Empfehlungen
Verwenden Sie dieses Modell für englisch-spezifisches Retrieval, bei dem das 8K-Kontextfenster ausreicht und mehrsprachige oder aufgabenspezifische Adapter nicht benötigt werden. Für Dokumente über 8.192 Tokens semantisches Chunking vor dem Embedding anwenden. Das Modell integriert sich mit großen Vektor-Datenbanken (Qdrant, Weaviate, MongoDB Atlas, Milvus) und RAG-Frameworks (LangChain, LlamaIndex, Haystack). Für neue Projekte mit mehrsprachiger Unterstützung, 32K-Kontext oder aufgabenspezifischer Optimierung jina-embeddings-v5-text-small bevorzugen. CUDA-fähige GPU für den Produktionsdurchsatz empfohlen; CPU-Inferenz ist möglich, aber deutlich langsamer.










