Was wir auf der SIGIR 2025 gelernt haben

SIGIR (Special Interest Group on Information Retrieval) ist eine erstklassige Konferenz für Information Retrieval, die Forschende, Entwickler, Branchenexperten und Pädagogen aus der ganzen Welt zusammenbringt, um die neuesten bahnbrechenden Forschungsergebnisse auszutauschen. Jina AI war auf der diesjährigen Konferenz in Padua im Juli vertreten und präsentierte unsere Arbeit über Late Chunking auf dem Robust IR Workshop. Die diesjährige Konferenz bot erstaunliche Forschungsergebnisse, insbesondere im Bereich der Reranking-Methoden, Sparse Retrieval Models und der Verwendung von LLMs im Information Retrieval. Zu den Highlights gehörten Keynotes von Stephen Robertson über die Geschichte und Entwicklung des BM25-Ranking-Algorithmus und von Iryna Gurevych über Perspektiven für die Zukunft der KI in der wissenschaftlichen Forschung. Die anwesenden Experten und enthusiastischen Doktoranden regten viele lebhafte Diskussionen an. Die Konferenz fand im Padova Congress Center im Herzen der Stadt statt. Padua selbst ist ein Ort reich an Geschichte und Kultur, und wir haben unsere Zeit dort sehr genossen.

tagLate Chunking bei Robust IR

Der Robust IR Workshop ist eine neue Veranstaltung auf der SIGIR, die dieses Jahr zum ersten Mal stattfand. Er konzentrierte sich darauf, wie gut Information-Retrieval-Systeme unter schwierigen und außergewöhnlichen Bedingungen funktionieren und wie wir ihre Robustheit verbessern können. Der Workshop bestand aus einer Mischung aus eingeladenen Vorträgen und mündlichen Präsentationen angenommener Arbeiten sowie einer Podiumsdiskussion. Wir präsentierten unsere Arbeit über Late Chunking auf der Postersitzung des Workshops. Es gab viele aufschlussreiche Fragen und Kommentare, einige davon von Leuten, die unseren Pre-Print bereits gelesen hatten.

Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models

Many use cases require retrieving smaller portions of text, and dense vector-based retrieval systems often perform better with shorter text segments, as the semantics are less likely to be over-compressed in the embeddings. Consequently, practitioners often split text documents into smaller chunks and encode them separately. However, chunk embeddings created in this way can lose contextual information from surrounding chunks, resulting in sub-optimal representations. In this paper, we introduce a novel method called late chunking, which leverages long context embedding models to first embed all tokens of the long text, with chunking applied after the transformer model and just before mean pooling - hence the term late in its naming. The resulting chunk embeddings capture the full contextual information, leading to superior results across various retrieval tasks. The method is generic enough to be applied to a wide range of long-context embedding models and works without additional training. To further increase the effectiveness of late chunking, we propose a dedicated fine-tuning approach for embedding models.

arXiv.orgMichael Günther

Late Chunking Poster bei Robust-IR@SIGIR 2025

Laden Sie das Poster von Google Drive herunter

tagInteressante Forschung

Wir haben auf der SIGIR viele interessante Forschungsarbeiten gefunden, aber die folgenden Arbeiten sind uns besonders aufgefallen.

tagCLIP-AdaM: Adapting Multi-view CLIP for Open-set 3D Object Retrieval

Diese Arbeit konzentrierte sich auf 3D-Bildabruf, insbesondere auf Open-Set 3D-Objektabruf, d. h. die Aufgabe, 3D-Objekte für zuvor unbekannte Objektkategorien abzurufen, ohne dass diese dafür trainiert wurden. Ihr Ansatz verwendet gerenderte Ansichten von 3D-Modellen aus verschiedenen Blickwinkeln, um Objekte mithilfe von CLIP-Modellen zu erkennen, die auf flachen Bildern trainiert wurden. Eine interessante Erkenntnis der Arbeit ist, dass CLIP-Modelle gut funktionieren, wenn man den Durchschnitt der aus verschiedenen Ansichten des Objekts generierten Embeddings bildet.

Darüber hinaus schlägt die Arbeit eine neuartige Trainingsmethode für den 3D-Objektabruf vor, die lernt, verschiedene Ansichten zu gewichten, sowie adaptive Schichten, die das Modell für spezifische Aufgaben abstimmen und gleichzeitig eine Überanpassung an Trainingsdatenkategorien verhindern und die Zero-Shot-Performance für neue Kategorien verbessern.

tagOptimizing Compound Retrieval Systems

Die meisten bestehenden Ranking-Systeme, die mehrere Ranking-Modelle kombinieren, um Ergebnisse zu erzeugen, basieren auf Ranking-Kaskaden. Das bedeutet, dass ein Ranking-Modell nach dem anderen ausgeführt wird, wobei jedes nur die Ergebnisse mit der besten Bewertung aus dem vorherigen beibehält. Diese Arbeit schlägt einen anderen Ansatz vor, den sie Compound Retrieval Systems nennt: ein Framework zur Kombination verschiedener Reranker, um die Ranking-Genauigkeit und die Recheneffizienz zu maximieren. Die Autoren schlagen vor, es als eine Verallgemeinerung des Kaskadenansatzes zu verstehen, der mehrere Reranker auf verschiedenen Teilmengen der Ergebnisse aus früheren Ranking-Stufen ausführt. Die folgende Abbildung wird in der Arbeit gezeigt, um zu verdeutlichen, wie verschiedene Reranker kombiniert werden können.

Abbildung 3: Schemata des mehrstufigen Reranking-Prozesses, mit der Originalbeschriftung.

In ihrem Beispiel erzeugt ein Ranker der ersten Stufe ein anfängliches Ranking. Dann verwendet die zweite Stufe zwei Reranker mit unterschiedlichen Ranking-Ansätzen: * Ein Point-Wise Ranking-Modell, das eine Relevanzbewertung für Dokumente aus dem ersten Ranker auf der Grundlage einer Abfrage erzeugt. * Ein Pair-Wise Ranking-Modell, das zwei Dokumente und die Abfrage vergleicht und eine geschätzte Wahrscheinlichkeit ausgibt, dass eines der beiden für die Abfrage relevanter ist als das andere.

Jedes Modell verfügt über eine Auswahlrichtlinie, die auf die Ergebnisse der vorherigen Ranking-Phase angewendet wird, z. B. die Auswahl der obersten *n*. Es gibt auch eine finale Ordnungsfunktion, die das Endergebnis liefert. Sowohl die Auswahlrichtlinie als auch die Ordnungsfunktion verfügen über Parameter, die durch das Training festgelegt werden, was eine ganzheitliche Optimierung ermöglicht, die zu besseren und robusteren Ergebnissen führt.

tagRE-AdaptIR: Verbesserung der Informationsbeschaffung durch Reverse Engineered Adaptation

Es gab bereits viele Forschungen zur Verwendung von Techniken der linearen Algebra zur Optimierung von Gewichten für Vektor-Modelle. Zum Beispiel verbessert die Model Soup-Methode die Modellgenauigkeit und -robustheit, indem sie die Gewichte von Modellen mittelt, die aus der Feinabstimmung desselben Basismodells mit unterschiedlichen Hyperparametern resultieren.

Die in diesem Papier vorgestellte Forschung bietet eine verwandte Idee: Können wir den Vektor der Differenzen zwischen den Gewichten eines feinabgestimmten Vektor-Modells und seiner nicht feinabgestimmten Basis verwenden, um das Lernen von einem Modell auf ein anderes zu übertragen? Wenn wir eine andere Kopie des Basismodells auf die nächste Token-Vorhersage für domänenspezifischen Text feinabstimmen und dann die Gewichtungsunterschiede des trainierten Vektor-Modells hinzufügen, erhalten wir dann ein besseres Vektor-Modell für die Zieldomäne?

Abbildung 5: Erklärende Abbildung, die einen Überblick über den Vorschlag von RE-AdaptIR gibt.

Dies hat wichtige Vorteile für das Training von Modellen für neue Domänen. Es ermöglicht die Verwendung von reichlich vorhandenen Klartextdaten, um für die Vorhersage des nächsten Tokens zu trainieren, und dann verbesserte Vektoren zu erhalten.

tagBenchmarking LLM-basierter Relevanzbeurteilungsmethoden

Dieses Papier bewertet Prompt-Strategien für die Verwendung von LLMs als Relevanzbeurteiler, einschließlich der Verwendung für binäre (Ja/Nein)-Beurteilungen, abgestufte Bewertungen (d. h. 0-4-Skalen), paarweise Vergleiche von Dokumenten auf Relevanz und "Nugget-basierte" Methoden, die entscheiden, ob ein Dokument spezifische Informationen enthält.

Die Autoren schlussfolgern aus Tests mit GPT-4o und Llama 3, dass die Ergebnisse stärker mit menschlichen Urteilen übereinstimmen, wenn das LLM weniger Auswahlmöglichkeiten hat. Binäre Urteile und paarweise Vergleiche schneiden am besten ab und sind mit sehr starken KI-Modellen gut genug für den groß angelegten automatisierten Einsatz. Ein gutes Prompt-Design ist ein kritischer Faktor.

Nugget-basierte Methoden ermöglichen die Interpretierbarkeit durch den Menschen, sind aber weniger zuverlässig.

tagRanker, Beurteiler und Assistenten: Zum Verständnis des Zusammenspiels von LLMs bei der Bewertung der Informationsbeschaffung

Dieses Papier untersucht Probleme bei der Verwendung von LLMs in drei verschiedenen Rollen: Ranking von Ergebnissen, Beurteilung der Relevanz und Bewertung von Ergebnissen sowie Unterstützungsfunktionen wie Ergebniszusammenfassung und Anfrageerweiterung.

Es berücksichtigt die Folgen der LLM-Nutzung über den gesamten Informationszyklus hinweg, wie in der folgenden Abbildung aus dem Papier dargestellt.

Abbildung 6: Eine Illustration der LLM-Nutzung in der modernen IR

Das Papier kommt zu dem Schluss, dass es erhebliche Probleme bei der Verwendung von LLM-basierten Bewertungen bei der Bewertung von Informationsbeschaffungssystemen gibt, die selbst auf LLMs basieren. Die Interaktion verschiedener LLM-basierter Komponenten kann definitiv zu verzerrten und ungenauen Ergebnissen führen.

tagLLM-gesteuerte Nützlichkeitskennzeichnung für die IR-Bewertung

Dieses Papier unterscheidet zwischen *Relevanz* und *Nützlichkeit* bei Suchergebnissen. *Relevanz* bezieht sich nach ihrer Definition darauf, ob das Thema eines abgerufenen Dokuments thematisch mit der Anfrage verwandt ist; *Nützlichkeit* bezieht sich darauf, ob das Dokument auf die Anfrage eingeht, d. h. ob es die Absicht des Benutzers erfüllt.

Der Fokus liegt darauf, ob LLMs Nützlichkeit erkennen und bewerten können und ob ihre Urteile mit denen von Menschen übereinstimmen. Sie kommen zu dem Schluss, dass eine signifikante Übereinstimmung zwischen menschlichen Beurteilern der Nützlichkeit und LLMs besteht. Verfügbare LLMs haben jedoch Schwierigkeiten mit Fällen, in denen Relevanz und Nützlichkeit nicht übereinstimmen, d. h. relevanten, aber nicht nützlichen Dokumenten. Die Autoren stellen fest, dass die Bereitstellung von mehr Kontextinformationen für LLMs anstelle von nur Textanfragen die Ergebnisse erheblich verbessert.

tagLLM-basierte Relevanzbewertung kann die menschliche Relevanzbewertung immer noch nicht ersetzen

Das Papier erörtert die Verwendung von LLMs für die automatische Relevanzbewertung bei der Informationsbeschaffung, was das Training von Abrufmodellen erheblich erleichtern würde, da es nie genügend von Menschen bewertete Daten gibt. Obwohl einige aktuelle Studien behaupten, dass LLMs menschliche Bewerter vollständig ersetzen können, identifiziert dieses Papier wichtige Einschränkungen, die verhindern, dass LLMs menschliche Urteile ersetzen.

Unzureichende Evidenz und begrenzte Verallgemeinerbarkeit der aktuellen Forschung: Der aktuellen Forschung fehlt es an stichhaltigen Beweisen dafür, dass LLMs menschliche Relevanzurteile vollständig ersetzen können, insbesondere in verschiedenen Datensätzen und realen Szenarien. Wo positive Ergebnisse vorliegen, ist es fraglich, ob sie wirklich auf breite Bereiche zutreffen.
Anfälligkeit für Manipulation: Automatisierte Metriken, einschließlich solcher, die auf LLMs basieren, können leicht manipuliert werden. Es ist sehr einfach, die Punktzahlen zu verbessern, ohne die Leistung wirklich zu verbessern.
Selbstpräferenz-Bias: LLMs neigen dazu, Ausgaben zu bevorzugen, die ihren eigenen Trainingsdaten ähneln, was zu einer Verzerrung führt, die die Objektivität der Relevanzbewertungen beeinträchtigt.
Risiken der Überanpassung: Die Abhängigkeit von LLM-basierten Bewertungen kann dazu führen, dass Abrufsysteme für die Eigenheiten bestimmter LLMs optimiert werden, was die Leistung im realen Einsatz verringert.

tagFazit

Der rasante Aufstieg großer Sprachmodelle hat die Informationsbeschaffung erheblich verändert, etablierte Methoden wie BM25 ersetzt und neue Möglichkeiten eröffnet. Die auf der SIGIR vorgestellte Forschung unterstreicht diesen Wandel.

Sprachmodelle machen die Informationsbeschaffung jedoch nicht zu einem gelösten Problem. Die Konferenz zeigte eine breite Palette innovativer Ideen, die darauf abzielen, IR-Systeme stärker an die sich entwickelnden Bedürfnisse der Benutzer anzupassen. Wir haben es sehr genossen, uns mit Doktoranden und Experten auszutauschen, Ideen auszutauschen und unsere Vision für die Zukunft der Suche bei Jina AI zu teilen. Wir freuen uns darauf, die Grenzen des Möglichen in diesem Bereich weiter zu verschieben.