Optimierung der Suchrelevanz und RAG-Genauigkeit mit Jina Reranker

Text Embeddings, bekannt für ihre Fähigkeiten zur semantischen Repräsentation, sind zusammen mit schnellem Vektor-Retrieval heute der Eckpfeiler bei der Dokumentensuche in umfangreichen Datensätzen. Die Herausforderung liegt jedoch oft darin, die abgerufenen Dokumente zu filtern, um sie genau mit der Suchintention des Benutzers in Einklang zu bringen - eine Aufgabe, die über die Möglichkeiten einfacher Kosinus-Ähnlichkeitsmaße hinausgeht.

Heute freuen wir uns, Jina Reranker (jina-reranker-v1-base-en) vorzustellen, ein hochmodernes neuronales Reranking-Modell, das entwickelt wurde, um dieses kritische Problem der Relevanz zu lösen. Jina Reranker verbessert Ihr Such- und RAG (Retrieval-Augmented Generation) System, indem es abgerufene Dokumente neu ordnet und dabei die Suchbegriffe tiefgehend und kontextbezogen versteht. Unsere Auswertungen zeigten bemerkenswerte Verbesserungen für Suchsysteme, die Jina Reranker einsetzen, mit +8% bei der Trefferquote und +33% beim mittleren reziproken Rang!

Reranker API

Maximize the search relevancy and RAG accuracy at ease

tagWas ist ein Reranker?

Wenn wir das Konzept eines Rerankers verstehen wollen, stellen wir uns oft die Frage nach der Notwendigkeit von Neu-Ranking-Mechanismen in Such- (Ranking-) Systemen. Häufige Fragen sind: „Warum brauchen wir einen Reranker?" und „Reicht es nicht schon aus, Dokumente nach der Kosinus-Ähnlichkeit zwischen Query- und Dokument-Embeddings zu ordnen?" Um diese Fragen zu beantworten, sollten wir zunächst den Ansatz der einfachen Embedding-Kosinus-Ähnlichkeit und seine Grenzen betrachten.

Die Kosinus-Ähnlichkeit quantifiziert die Ähnlichkeit zwischen zwei Dokumenten, indem sie den Kosinus des Winkels zwischen ihren Embedding-Vektoren misst. Diese Metrik wird wegen ihrer Einfachheit geschätzt und wird in vielen Vektor-Datenbanken als Standard-Retrieval-Methode verwendet. Dieser Ansatz, der üblicherweise als repräsentationsbasierter Ansatz bezeichnet wird, neigt jedoch dazu, die Interaktion zwischen Anfrage und Dokumenten zu vereinfachen. Insbesondere hat er Schwierigkeiten, die nuancierte Interaktion auf Subdokument- und Subanfrage-Ebene zu erfassen und verfehlt oft die volle Tiefe der Benutzerabsicht und die feinen Details der Dokumentrelevanz.

Hier kommen Reranker ins Spiel. Unter Verwendung tiefer neuronaler Netzwerke gehen Reranker tiefer in die Interaktionen zwischen der Anfrage und den vorausgewählten Dokumenten ein. Sie gehen über grundlegende Dokument-Level-Embeddings hinaus und umfassen Token-Level-Interaktionen, die innerhalb der Anfrage, innerhalb des Dokuments und über die Anfrage-Dokument-Grenze hinweg auftreten. Obwohl diese Methode rechnerisch aufwendiger ist als die einfache Kosinus-Ähnlichkeit, ermöglicht sie einen nuancierten Vergleich, der Kontext, semantische Bedeutung und die Intention hinter der Anfrage einbezieht und die Relevanz der Suchergebnisse erheblich verbessert.

Zusammenfassend lässt sich sagen, dass der Reranker eine wichtige Komponente in der Suchpipeline ist. Ein hochwertiges Suchsystem beginnt typischerweise mit einem embedding-basierten Vektor-Retrieval-Schritt, der dann durch ein Reranker-Modell verfeinert wird. Dieser zweistufige Ansatz nutzt die Stärken beider Modelle und stellt sicher, dass präzise, hochwertige Informationen geliefert werden, die nahtlos mit den Bedürfnissen des Benutzers übereinstimmen.

tagErste Schritte mit Jina Reranker

Um mit Jina Reranker zu beginnen, besuchen Sie unsere Reranker-Seite um Ihren YOUR_API_KEY zu erhalten. Sie können das folgende cURL-Beispiel anpassen, indem Sie die Abfrage ändern oder weitere Dokumente hinzufügen:

curl -X 'POST' \
  'https://api.jina.ai/v1/rerank' \
  -H 'accept: application/json' \
  -H 'Authorization: Bearer YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
  "model": "jina-reranker-v1-base-en",
  "query": "Organic skincare products for sensitive skin",
  "documents": [
    "Eco-friendly kitchenware for modern homes",
    "Biodegradable cleaning supplies for eco-conscious consumers",
    "Organic cotton baby clothes for sensitive skin",
    "Natural organic skincare range for sensitive skin",
    "Tech gadgets for smart homes: 2024 edition",
    "Sustainable gardening tools and compost solutions",
    "Sensitive skin-friendly facial cleansers and toners",
    "Organic food wraps and storage solutions",
    "All-natural pet food for dogs with allergies",
    "Yoga mats made from recycled materials"
  ], 
  "top_n": 3
}'
Kopieren

In diesem Beispiel reichen die Dokumente von Haushaltswaren über Technik-Gadgets, Kleidung bis hin zu Tierfutter und zeigen ein breites Spektrum an Produkten, die man in einem E-Commerce-Shop finden könnte. Diese Vielfalt erfordert, dass der Reranker effektiv die Artikel identifiziert und priorisiert, die für die Suchanfrage nach „Organic skincare products for sensitive skin" am relevantesten sind, trotz der Präsenz anderer Bio-, umweltfreundlicher oder hautfreundlicher Produkte in verschiedenen Kategorien. Die Antwort ist ein JSON-Objekt wie folgt:

{
  "model": "jina-reranker-v1-base-en",
  "usage": {
    "total_tokens": 38,
    "prompt_tokens": 38
  },
  "results": [
    {
      "index": 3,
      "document": {
        "text": "Natural organic skincare range for sensitive skin"
      },
      "relevance_score": 0.8292155861854553
    },
    {
      "index": 2,
      "document": {
        "text": "Organic cotton baby clothes for sensitive skin"
      },
      "relevance_score": 0.14426936209201813
    },
    {
      "index": 6,
      "document": {
        "text": "Sensitive skin-friendly facial cleansers and toners"
      },
      "relevance_score": 0.13857832551002502
    }
  ]
}
Kopieren

tagSpitzenleistung des Jina Reranker

Wir haben Jina Reranker anhand von vier wichtigen Benchmarks evaluiert, um Spitzenleistung und Suchrelevanz zu gewährleisten. Bessere Leistung in diesen Benchmarks übersetzt sich direkt in bessere Präzision, Relevanz und kontextuelles Verständnis in Such- und Retrieval-Anwendungen.

Zum Vergleich haben wir drei andere führende Reranker von BGE (BAAI), BCE (Netease Youdao) und Cohere in den Benchmark einbezogen. Wie die untenstehenden Ergebnisse zeigen, hält Jina Reranker die höchste durchschnittliche Punktzahl in allen relevanten Kategorien für Reranking und ist damit ein klarer Marktführer unter seinen Mitbewerbern.

tagBenchmark 1: LlamaIndex RAG

Eine von LlamaIndex durchgeführte Benchmark-Studie (die wir reproduziert haben) bewertete eine Kombination verschiedener Embedding- und Reranking-Modelle in RAG-Aufgaben. Dies kombiniert zwei Bewertungen - Hit-rate (wie wahrscheinlich es ist, dass ein relevantes Dokument durch ein Embedding-Modell abgerufen wird) und Mean Reciprocal Rank (MRR - wie hoch das relevanteste Dokument durch das Reranker-Modell eingestuft wird).

Deutliche Verbesserung gegenüber einfacher Cosinus-Ähnlichkeit

Die Verbesserung, die Jina Reranker sowohl bei der Hit Rate als auch beim Mean Reciprocal Rank (MRR) bringt, ist signifikant. Im Durchschnitt erhöht die Einführung von Jina Reranker die Hit Rate von 0,7908 auf 0,8553 (+7,9%) und den MRR von 0,5307 auf 0,7091 (+33,7%). Dies zeigt die Fähigkeit des Rerankers, die Präzision und Relevanz der Suchergebnisse dramatisch zu verbessern und sicherzustellen, dass Benutzer mit höherer Genauigkeit finden, wonach sie suchen.

Embedding-Modell-Unabhängigkeit

Die Leistung von Jina Reranker über verschiedene Embedding-Modelle hinweg verdeutlicht seine modellunabhängige Natur. Ob gepaart mit jina-embeddings-v2-base-en, bge-base-en-v1.5, bce-embedding-base_v1 oder CohereV3-en, Jina Reranker verbessert durchweg die Hit Rate und MRR. Diese Vielseitigkeit macht es zu einem wertvollen Werkzeug für ein breites Spektrum von Anwendungen und bestätigt seine Anpassungsfähigkeit an verschiedene zugrunde liegende Technologien und Anwendungsfälle.

tagBenchmark 2: BEIR

BIER (Benchmarking IR) bewertet die Abrufeffektivität eines Modells, einschließlich Relevanz und NDCG. Ein höherer BIER-Score korreliert mit genaueren Übereinstimmungen und Suchergebnisrankings.

tagBenchmark 3: MTEB

Der MTEB (Multilingual Text Embedding Benchmark) testet insgesamt die Fähigkeiten eines Modells in Bezug auf Text-Embeddings, einschließlich Clustering, Klassifizierung, Retrieval und anderer Metriken. Für unseren Vergleich haben wir jedoch nur die Reranking-Aufgaben des MTEB verwendet.

tagBenchmark 4: LoCo

Durch den LoCo-Benchmark haben wir die Fähigkeit eines Modells gemessen, lokale Kohärenz und Kontext sowie query-spezifisches Ranking zu verstehen. Ein höherer LoCo-Score spiegelt eine bessere Fähigkeit wider, relevante Informationen zu identifizieren und zu priorisieren.

tagHighlights des Jina Reranker Modells

Der Jina Reranker hebt sich als führend im Bereich Reranking hervor und übertrifft wichtige Wettbewerber von Cohere, BGE und BCE, wie in der vorherigen Analyse dargestellt. Seine Embedding-agnostische Natur und unübertroffene Effizienz unterstreichen seinen führenden Status in der Branche. Darüber hinaus verfügt der Jina Reranker über bemerkenswerte Eigenschaften, die ihn auszeichnen:

tagLange Kontextlänge

Jina Reranker hebt sich von anderen Reranking-Lösungen durch die Unterstützung langer Kontextlängen ab. Er kann Anfragen von bis zu 512 Token und Dokumente von bis zu 8192 Token verarbeiten. Darüber hinaus ist das Modell darauf ausgelegt, bis zu 2048 Kandidatendokumente pro Anfrage zu verarbeiten.

tagVerbesserung der Genauigkeit durch RAG-Integration

Retrieval Augmented Generation (RAG) verbessert die Präzision der Antworten von Large Language Models (LLMs) erheblich, indem zusätzliche, kontextspezifische Informationen - wie zum Beispiel die interne Datenbank eines Unternehmens - in den Abfrageprozess einbezogen werden. Diese Methode stellt sicher, dass die Antworten des LLM fest auf den bereitgestellten Kontextdaten basieren. Die Integration von Rerankern mit RAG innerhalb einer Informationsabruf-Pipeline ebnet den Weg für die Entwicklung leistungsstarker Anwendungen, die präzise Informationsabruf über ein breites Spektrum von Domänen hinweg ermöglichen.

Betrachten Sie zum Beispiel das Szenario, in dem Sie eine spezielle Mahlzeit mit bestimmten Zutaten planen, die Ihre Gäste bevorzugen. Um diese Aufgabe zu vereinfachen, entscheiden Sie sich, einen Chatbot zu verwenden, der Rezepte basierend auf renommierten Kochbüchern vorschlägt. Zunächst könnte Ihre Eingabe ohne einen Reranker wie folgt aussehen:

Context information is below.
---------------------
{Madhur_Jaffrey_An_Invitation_To_Indian_Cooking}
{Julia_Child_Mastering_The_Art_Of_French_Cooking}
{Jiro_Ono_Sushi_Estetica_E_Tecnica}
---------------------

Given the context information and no prior knowledge, answer the query.
Query: Create a recipe using the ingredients below.
---------------------
Salmon
Asparagus
Potatoes
---------------------
Kopieren

Die Integration eines Reranker-Modells ermöglicht jedoch ein nuanciertes Verständnis der Dokumentrelevanz und erweitert den Kontext des LLM mit Informationen über die relative Wichtigkeit jedes Kochbuchs. Die verfeinerte Eingabe, die die nach Relevanz geordnete Bedeutung des Kontexts für die Anfrage hervorhebt, könnte dann wie folgt aussehen:

Context information is below.
Note that the context is ranked from most to least relevant to the query.
---------------------
{Julia_Child_Mastering_The_Art_Of_French_Cooking}
{Jiro_Ono_Sushi_Estetica_E_Tecnica}
{Madhur_Jaffrey_An_Invitation_To_Indian_Cooking}
---------------------

Given the context information and no prior knowledge, answer the query.
Query: Create a recipe using the ingredients below.
---------------------
Salmon
Asparagus
Potatoes
---------------------
Kopieren

Diese zusätzliche Einsicht in die Relevanz der Kochbücher für die gegebenen Zutaten macht deutlich, dass das optimale Rezept wahrscheinlich zur französischen Küche gehört und lenkt den Vorschlag des Chatbots in eine Richtung, die am besten zum kulinarischen Kontext der Zutaten passt. Ohne Neuordnung wäre ein Sushi-Vorschlag aufgrund der Prominenz von Lachs ebenso plausibel gewesen, hätte aber zu einem deutlich anderen Esserlebnis geführt.

Darüber hinaus können Benutzer durch die Festlegung der Anzahl der zu berücksichtigenden Dokumente im Ranking-Prozess die Präzision und den Rechenaufwand der Operation an ihre spezifischen Anforderungen anpassen, was die Vielseitigkeit und Effektivität des Rerankers weiter verdeutlicht.

tagErschwingliche API-Preise

Die Jina Reranker API kommt mit identischer Preisgestaltung wie unsere Embedding API (einschließlich 1 Million kostenloser Tests), wie zum Beispiel jina-embeddings-v2-base-en, basierend auf der Gesamtzahl der Token in Anfragen und Dokumenten. Token-Kontingente können auf unserer Embeddings/Reranker API Seite erworben werden. Das API-Geheimnis und die Token-Kontingente können sowohl für Reranker als auch für Embedding APIs verwendet werden.

tagDemnächst im AWS Marketplace

Zur Erweiterung unserer Reichweite wird Jina Reranker nicht nur über unsere API zugänglich sein, sondern steht auch kurz vor dem Debüt im AWS SageMaker Marketplace für eine nahtlose private Cloud-Bereitstellung. Diese bevorstehende Verfügbarkeit zielt darauf ab, verbesserten Datenschutz und Anwendungssicherheit innerhalb der vertrauten Grenzen Ihres AWS-Cloud-Abonnements anzubieten.

Wir schätzen Ihre Einblicke und Erfahrungen mit Jina Reranker sehr. Sprechen Sie mit uns in unserem Discord-Kanal, um Ihr Feedback zu teilen und über unsere neuesten Modelle auf dem Laufenden zu bleiben. Ihr Input ist entscheidend, während wir unsere Technologien weiter verfeinern und zu einem dynamischeren und inklusiveren Search-AI-Ökosystem beitragen.