Überblick
jina-reranker-v1-tiny-en ist ein englischer Cross-Encoder-Reranker mit 33M Parametern – der kleinste in der Jina-v1-Familie. Durch aggressive Wissensdestillation behält er 92,5 % der Genauigkeit des Basis-Modells bei, verarbeitet Dokumente fünfmal schneller und verwendet 13 % weniger Speicher als die Turbo-Variante. Er ist für Edge-Computing, Mobile-Anwendungen und Hochdurchsatz-Suchsysteme mit strengen Latenzbudgets konzipiert.
Methoden
Das Modell setzt eine schlankere Vier-Schicht-Architektur auf JinaBERT-Basis mit symmetrischen bidirektionalen ALiBi-Positionskodierungen ein. Seine Entwicklung nutzt Wissensdestillation aus dem Modell jina-reranker-v1-base-en mit 137M Parametern, das als Teacher dient. Das Student-Modell lernt optimales Ranking-Verhalten ohne umfangreiche Trainingsdaten aus der Praxis und gleicht dabei die weichen Ranking-Verteilungen des Teachers an, obwohl es nur 33M Parameter hat. Das Design mit vier Schichten und die reduzierten Hidden-Dimensionen ermöglichen die 5×-Beschleunigung gegenüber dem Basis-Modell. Das Modell unterstützt 8.192 Token Kontext mit automatischem Chunking für längere Dokumente.
Leistung
Auf BEIR erreicht das Modell einen NDCG{'@'}10 von 48,54 und behält 92,5 % der Performance des Basis-Modells (52,45) bei, obwohl es nur ein Viertel seiner Größe hat. In LlamaIndex-RAG-Benchmarks hält es eine Trefferquote von 83,16 % und erreicht damit nahezu die Werte größerer Modelle, während es Dokumente deutlich schneller verarbeitet. Der Durchsatz ist nahezu fünfmal so hoch wie beim Basis-Modell, mit 13 % weniger Speicherbedarf als die Turbo-Variante. Diese Metriken messen sich mit oder übertreffen deutlich größere Modelle wie mxbai-rerank-base-v1 (184M) und bge-reranker-base (278M). Diese Abwägung zwischen Performance und Größe macht es besonders geeignet für ressourcenbeschränkte Deployments.
Empfehlungen
Priorisieren Sie Szenarien, in denen Verarbeitungsgeschwindigkeit und Ressourceneffizienz kritisch sind: Edge-Computing, Mobile-Anwendungen und Hochdurchsatz-Suchsysteme mit strengen Latenzbudgets. Für Anwendungen, die absolute maximale Ranking-Präzision erfordern, ist das Basis-Modell oder jina-reranker-v3.5 vorzuziehen. Das Modell benötigt eine CUDA-fähige GPU für optimale Performance, läuft aber auf weniger leistungsfähiger Hardware als größere Modelle. Es integriert sich in große Vektordatenbanken und RAG-Frameworks und ist über die Jina-Reranker-API und AWS SageMaker verfügbar. Das Modell ist auf Englisch beschränkt; für mehrsprachige Anwendungen nutzen Sie jina-reranker-v2-base-multilingual oder jina-reranker-v3.5. Beim Feintuning für bestimmte Domänen stimmen Sie die Qualität der Trainingsdaten sorgfältig auf die kompakte Architektur des Modells ab, um Performance-Eigenschaften beizubehalten.





