jina-reranker-v3

jina-reranker-v3 ist ein mehrsprachiger Dokument-Reranker mit 0,6B-Parametern, der eine neuartige Last-but-not-late-Interaktionsarchitektur einführt. Im Gegensatz zur separaten Kodierung von ColBERT mit Multi-Vektor-Matching führt dieses Modell kausale Selbstaufmerksamkeit zwischen Abfrage und Dokumenten innerhalb desselben Kontextfensters durch und ermöglicht so umfassende dokumentenübergreifende Interaktionen, bevor kontextbezogene Einbettungen aus dem letzten Token jedes Dokuments extrahiert werden. Basierend auf Qwen3-0.6B mit 28 Transformer-Schichten und einem leichten MLP-Projektor (1024→512→256) verarbeitet es bis zu 64 Dokumente gleichzeitig innerhalb eines 131K-Token-Kontexts. Das Modell erreicht mit 61,94 nDCG-10 eine hochmoderne BEIR-Leistung und ist dabei 10-mal kleiner als generative listenweise Reranker.

Verwendet ein dreistufiges progressives Training mit mehrzieligem Verlust, das InfoNCE, dispersiven Verlust (0,45), dualen Matching-Verlust (0,85) und Ähnlichkeitsverlust (0,85) kombiniert. Stufe 1 verwendet LoRA-Feintuning (r=16, α=32) auf domänenspezifischen Datensätzen, einschließlich BGE-M3, Cornstack, mit 16 Dokumenten pro Abfrage. Stufe 2 erweitert den Kontext auf 8.192 Token und schürft harte Negative über Abrufsysteme hinweg mit bis zu 25 Negativen bei τ=0,05. Stufe 3 führt spezialisierte Modelle mit Gewichten von 0,25–0,65 zusammen. Spezielle Token doc_emb und query_emb markieren Einbettungsextraktionspositionen. Das Training verwendet strukturierte Eingabeaufforderungen mit System-/Benutzer-/Assistentenrollen und platziert die Abfrage sowohl am Anfang als auch am Ende, um eine beidseitige Aufmerksamkeit zu gewährleisten.

Erreicht 61,94 nDCG-10 auf BEIR, den höchsten Wert aller bewerteten Reranker und eine Verbesserung von 4,88 % gegenüber jina-reranker-v2. Überzeugt beim Multi-Hop-Retrieval mit 78,56 auf HotpotQA, die Faktenüberprüfung erreicht 93,95 auf FEVER. Die mehrsprachige Leistung erreicht 66,50 auf MIRACL in 18 Sprachen, mit Arabisch bei 78,69 und Thai bei 81,06. Die Codesuche erreicht 63,28 auf CoIR. Übertrifft das 1,5B-Modell mxbai-rerank-large (61,44) mit 2,5-mal weniger Parametern. Zeigt eine Verbesserung von 5,43 % gegenüber dem gleich großen bge-reranker-v2-m3. Relativ stabil über die Dokumentreihenfolge hinweg: zufällig (62,54), absteigend (61,94), aufsteigend (61,52).

Verwenden Sie strukturierte Eingabevorlagen mit System-/Benutzer-/Assistentenrollen und speziellen Token für die Embedding-Extraktion. Verarbeiten Sie bis zu 64 Dokumente pro Vorwärtsdurchlauf für Sammlungen mit mehr als 131.000 Kontext. Optimal für zufällig oder nach absteigender Relevanz sortierte Dokumente. Nutzen Sie die dokumentenübergreifende Interaktion für vergleichende Ranking-Aufgaben. Für mehrsprachige Anwendungen bietet das Modell eine starke Zero-Shot-Übertragung über 18 Sprachen hinweg. Implementieren Sie Stapelverarbeitung für große Dokumentmengen und behalten Sie die Abfrage-Embeddings über Stapel hinweg konsistent bei. Berücksichtigen Sie die 256-dimensionalen Ausgabe-Embeddings für eine effiziente Ähnlichkeitsberechnung. Ideal für Anwendungen, die sowohl Ranking-Qualität als auch Inferenzeffizienz erfordern, insbesondere Multi-Hop-Argumentation und Faktenüberprüfung.