Das Beste aus beiden Welten: Die Kombination von BM25 mit KI-Reranking

Es ist wichtig, mit neuen Technologien zur Informationssuche Schritt zu halten, aber ebenso wichtig ist es, bewährte Komponenten nicht zu beschädigen, die ihren geschäftlichen Nutzen bereits unter Beweis gestellt haben.

Trotz des Wachstums der KI-gestützten Vektorsuche verlassen sich die meisten Unternehmen nach wie vor auf traditionelle Suchtechnologien, oft unter Verwendung von Varianten des BM25-Algorithmus. Es ist eine zuverlässige und bewährte Technologie. Der Umstieg auf ein komplett neues System ist nicht nur ein großer Schritt, sondern erweist sich oft als unpraktisch, da er erhebliche Ressourcen und eine gründliche Überarbeitung der Abläufe erfordert. Darüber hinaus ist BM25 ein Grundpfeiler lexikalischer Suchmaschinen, die häufig in weit verbreiteten Suchmaschinenplattformen wie Elasticsearch und Solr eingesetzt werden. Für viele Anwendungsfälle liefert es bereits gute Ergebnisse.

Viele Unternehmen zögern daher, vollständig zur neuronalen Suche überzugehen, trotz überzeugender Beweise, dass KI-basierte Suche die Benutzerzufriedenheit und Ergebnisqualität deutlich verbessert.

tagRetrieval-Agnostisches Neurales Reranking

Reranker ist eine bahnbrechende Ergänzung zur Suchsystemlandschaft. Es wurde entwickelt, um den Wert bestehender Suchmaschinen wie Elasticsearch zu verbessern und fungiert als zusätzliche Schicht, die wie ein Add-on arbeitet, um die Suchqualität zu verfeinern. Es muss nicht wissen, mit welcher Suchtechnologie es verbunden ist - es nimmt einfach eine Liste von Treffern und ordnet sie neu, um bessere Ergebnisse zu erzielen.

Jina Reranker fügt traditionellen Suchtechnologien eine tiefere Ebene des Verständnisses hinzu. Algorithmen wie BM25 leisten gute Arbeit bei der Dokumentensuche basierend auf der Begriffshäufigkeit, haben aber Schwierigkeiten, die Bedeutung der gefundenen Texte im Hinblick auf die Benutzerabsicht zu bewerten. Hier glänzt die KI: Reranker hilft dabei, Ergebnisse zu produzieren, die besser auf die Bedürfnisse der Benutzer abgestimmt sind.

Für Unternehmen, die die leistungsstarken Vorteile von KI-Modellen in ihre Suchframeworks einbringen möchten, kann das Hinzufügen von Jina Reranker daher eine kluge Entscheidung sein, ohne die Belastungen eines Austauschs der bestehenden Suchinfrastruktur. Es geht darum, Suchergebnisse zu verfeinern, um sie nicht nur akzeptabel, sondern außergewöhnlich zu machen: relevanter und genauer.

tagWarum Jina Reranker?

Unter den Reranker-Modellen stechen Jina Reranker Modelle als Vorreiter mit modernsten Ergebnissen in Performance-Benchmarks hervor.

Maximizing Search Relevance and RAG Accuracy with Jina Reranker

Boost your search and RAG accuracy with Jina Reranker. Our new model improves the accuracy and relevance by 20% over simple vector search. Try it now for free!

In diesem Artikel zeigen wir Ihnen, wie Sie ein Empfehlungssystem für E-Commerce-Plattformen implementieren. Zunächst analysieren wir die Leistung eines BM25-Retrievers allein. Dann fügen wir Jina Reranker zur Retrieval-Pipeline hinzu und sehen, wie die Ergebnisse relevanter und effektiver werden.

tagFügen Sie Jina Reranker zu Ihrem bestehenden Workflow hinzu:

Hier ist eine Aufschlüsselung des aktualisierten Workflows mit Jina Reranker:

• Initiale Suche: Wenn eine Anfrage eingegeben wird, ruft die BM25-Suchmaschine relevante Dokumente hauptsächlich basierend auf der Übereinstimmung der Suchbegriffe mit Dokumenten ab.
• Reranking: jina-reranker-v1-base-en nimmt diese ersten Ergebnisse und verwendet modernste KI, um die Relevanz jedes gefundenen Dokuments im Hinblick auf die Benutzeranfrage zu bewerten.
• Ergebnisrückgabe: Jina Reranker ordnet dann die Suchergebnisse neu an und stellt sicher, dass die relevantesten Dokumente ganz oben angezeigt werden.

Unsere benutzerfreundliche API und umfassende Dokumentation führen Sie durch den gesamten Prozess und erfordern nur minimale Änderungen an Ihrem System.

Reranker API

Maximize the search relevancy and RAG accuracy at ease

tagSehen Sie es in Aktion: Verbesserung der E-Commerce-Suche mit Jina Reranker

Lassen Sie uns anhand eines praktischen E-Commerce-Beispiels die Auswirkungen von Jina Reranker in realen Anwendungen demonstrieren. Ziel ist es hier, Produkteinträge basierend auf der Suchanfrage eines Benutzers zu durchsuchen.

Um dies zu veranschaulichen, werden wir zwei Such-Pipelines mit dem beliebten KI-Such- und Orchestrierungs-Framework Haystack von deepset einrichten. Die erste Pipeline verwendet BM25 allein. Die zweite integriert jina-reranker-v1-base-en in das BM25-System. Sie können Haystacks InMemoryDocumentStore-Komponente einfach durch ElasticsearchDocumentStore ersetzen, um das gleiche Experiment durchzuführen, wenn Sie einen bestehenden Elasticsearch-Cluster haben.

Wir verwenden einen Beispieldatensatz von Kaggle. Sie können die CSV-Datei direkt hier herunterladen. Dieser direkte Vergleich zeigt die Verbesserungen durch die Integration von Jina Reranker in den Suchworkflow.

Installieren Sie zunächst alle notwendigen Komponenten:

pip install --q haystack-ai jina-haystack
Kopieren

Setzen Sie den Jina API-Schlüssel als Umgebungsvariable. Sie können einen hier generieren.

import os
import getpass

os.environ["JINA_API_KEY"] = getpass.getpass()
Kopieren

Suchen Sie nach einem Produkt basierend auf Produktnamen. Zum Beispiel:

short_query = "Nightwear for Women"
Kopieren

Transformieren Sie jede CSV-Zeile in ein Document:

import csv
from haystack import Document

documents = []
with open("fashion_data.csv") as f:
    data = csv.reader(f, delimiter=";")
    for row in data:
      row_text = ''.join(row)
      row_doc = Document(content=row_text, meta={"prod_id": row[0], "prod_image": row[1]})
      documents.append(row_doc)
Kopieren

tagPipeline #1: Nur BM25

from haystack import Pipeline
from haystack.document_stores.types import DuplicatePolicy
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.components.retrievers.in_memory import InMemoryBM25Retriever

document_store=InMemoryDocumentStore()
document_store.write_documents(documents=documents, policy=DuplicatePolicy.OVERWRITE)

retriever = InMemoryBM25Retriever(document_store=document_store)

rag_pipeline = Pipeline()
rag_pipeline.add_component("retriever", retriever)
Kopieren

result = rag_pipeline.run(
            {
                "retriever": {"query": query, "top_k": 50},
            }
        )

for doc in result["retriever"]["documents"]:
    print("Product ID:", doc.meta["prod_id"])
    print("Product Image:", doc.meta["prod_image"])
    print("Score:", doc.score)
    print("-"*100)
Kopieren

Hier sind die Thumbnails der 50 von BM25 zurückgegebenen Ergebnisse:

Wir können sehen, dass die Ergebnisse sich auf Nachtwäsche beziehen und teilweise zur Anfrage passen, aber die relevantesten Treffer (fett gedruckte Bilder im Raster oben) scheinen in der Vielzahl der von BM25 abgerufenen Produkte unterzugehen. In der Praxis bedeutet die Verwendung von BM25 allein, dass ein Benutzer hauptsächlich nicht relevante Ergebnisse am Anfang der Seite erhält.

tagPipeline #2: BM25 + Jina Reranker

Das folgende Skript zeigt, wie diese Pipeline Schritt für Schritt aufgebaut wird:

from haystack_integrations.components.rankers.jina import JinaRanker

ranker_retriever = InMemoryBM25Retriever(document_store=document_store)

ranker = JinaRanker()

ranker_pipeline = Pipeline()
ranker_pipeline.add_component("ranker_retriever", ranker_retriever)
ranker_pipeline.add_component("ranker", ranker)

ranker_pipeline.connect("ranker_retriever.documents", "ranker.documents")
Kopieren

result = ranker_pipeline.run(
            {
                "ranker_retriever": {"query": query, "top_k": 50},
                "ranker": {"query": query, "top_k": 10},
            }
        )

for doc in result["ranker"]["documents"]:
    print("Product ID:", doc.meta["prod_id"])
    print("Product Image:", doc.meta["prod_image"])
    print("Score:", doc.score)
    print("-"*100)
Kopieren

Hier sind die Top 10 Ergebnisse des Jina Rerankers:

Im Vergleich zu BM25 liefert Jina Reranker eine wesentlich relevantere Sammlung von Antworten. In unserem E-Commerce-Umfeld bedeutet dies eine bessere Benutzererfahrung und eine erhöhte Wahrscheinlichkeit von Käufen.

tagAuswirkungen der Integration von Jina Reranker mit BM25

Nach unserer Fallstudie im E-Commerce-Bereich ist klar, dass die Integration von Jina Reranker mit traditionellen Suchmaschinen wie Elasticsearch einen bedeutenden Sprung in der Suchtechnologie darstellt. Hier ein Überblick, wie diese Integration die Sucherfahrung verbessert:

• Gesteigerte Trefferquoten: Die Verbindung von Jina Reranker und traditioneller Suche hat die Häufigkeit relevanter Ergebnisse deutlich erhöht. Dies macht den Suchprozess präziser und stimmt besser mit Benutzeranfragen überein.
• Verbesserte Benutzererfahrung: Es gibt eine spürbare Verbesserung in der Qualität der Suchergebnisse. Dies zeigt, dass die kombinierten Fähigkeiten von Jina Reranker und BM25 besser auf die spezifischen Bedürfnisse der Benutzer abgestimmt sind und ihre gesamte Sucherfahrung verbessern.
• Hohe Präzision bei komplexen Anfragen: Bei schwierigen Suchen sorgt diese Synergie für ein detaillierteres Verständnis sowohl der Anfrage als auch der verwandten Inhalte. Dies führt zu schärferen, genaueren Ergebnissen.

tagBereit, Ihre Sucherfahrung zu verbessern?

Jina Reranker ist Ihre ideale Lösung zur Steigerung der Relevanz Ihrer Suchergebnisse. Er integriert sich nahtlos in Ihr bestehendes Suchsystem und kann mit minimalem Programmieraufwand schnell implementiert werden.

Wenn Sie von dem bisher Gelesenen fasziniert sind und gespannt darauf sind zu sehen, welchen Unterschied Jina Reranker machen kann, probieren Sie es doch einfach aus. Beginnen Sie Ihre Reise und erleben Sie die transformative Kraft der Jina AI Search Foundation Models in Ihrer eigenen Umgebung.