Überblick
jina-reranker-v1-turbo-en ist ein englischer Cross-Encoder-Reranker mit 37,8M Parametern, der 95 % der Genauigkeit des Basis-Modells liefert, während er Dokumente dreimal schneller verarbeitet und 75 % weniger Speicher verwendet. Er wurde für Suchsysteme im Produktivbetrieb konzipiert, in denen der Kompromiss zwischen Qualität und Latenz vollständiger Cross-Encoder nicht tragbar war, und bietet einen praxistauglichen Weg zur Suchverfeinerung im großen Maßstab.
Methoden
Das Modell komprimiert die 12-Schicht-BERT-Architektur des Basis-Rerankers in ein Sechs-Schicht-Design mit 37,8M Parametern (gegenüber 137M beim Basis-Modell). Es behält den zentralen BERT-basierten Cross-Attention-Mechanismus für Token-Level-Interaktionen zwischen Query und Dokument bei, optimiert aber für Geschwindigkeit durch reduzierte Schichtzahl und effiziente Parameterallokation. Das Training nutzt Wissensdestillation: Das größere Basis-Modell agiert als Teacher und leitet die Turbo-Variante an, sein Ranking-Verhalten mit weniger Parametern nachzubilden. Das Modell unterstützt Sequenzen bis zu 8.192 Tokens über ALiBi-Positionskodierungen und ermöglicht umfassende Dokumentenanalyse bei schneller Inferenz.
Leistung
Auf BEIR erreicht die Turbo-Variante einen NDCG{'@'}10 von 49,60 und behält 95 % der Performance des Basis-Modells (52,45) bei, während sie bge-reranker-base (47,89, 278M Parameter) übertrifft. In RAG-Anwendungen hält sie eine Trefferquote von 83,51 % und einen MRR von 0,6498. Der Geschwindigkeitsvorteil ist erheblich: dreimal schneller als das Basis-Modell, mit Durchsatz, der nahezu linear mit der reduzierten Parameterzahl skaliert. Die Speicheranforderungen sinken von 550MB (Basis) auf 150MB (Turbo), was den Betrieb auf kleineren Instanzen und erhebliche Kosteneinsparungen in Cloud-Umgebungen ermöglicht. Die Performance-Beeinträchtigung ist auf den meisten Aufgaben minimal, mit etwas niedrigeren Werten in besonders nuancierten Ranking-Szenarien.
Empfehlungen
Implementieren Sie eine zweistufige Pipeline: Vektorsuche liefert die initialen Kandidaten, dann ordnet dieses Modell die besten 100–200 neu. Der Sweet Spot für die meisten Anwendungen ist das Re-Ranking von 100–200 Kandidaten pro Query, was Qualität und Geschwindigkeit ausbalanciert. Das Modell ist auf Englisch beschränkt – für mehrsprachige Anwendungen nutzen Sie jina-reranker-v2-base-multilingual oder jina-reranker-v3.5. Es erfordert CUDA-fähige Hardware, läuft aber auf kleineren Instanzen als das Basis-Modell (150MB gegenüber 550MB GPU-Speicher). Verfügbar über Jina-Reranker-API und AWS SageMaker. Für neue Projekte ist jina-reranker-v3.5 (mehrsprachig, Listwise, 131K-Kontext) die empfohlene Wahl. Wenn Latenz die primäre Einschränkung ist, macht der 3×-Geschwindigkeitsvorteil dieses Modells es für Echtzeit-Suchanwendungen geeignet.





