Cosa abbiamo imparato al SIGIR 2025

SIGIR (Special Interest Group on Information Retrieval) è una conferenza di alto livello sull'information retrieval che riunisce ricercatori, sviluppatori, esperti del settore e docenti da tutto il mondo per condividere le ultime ricerche innovative. Jina AI era presente alla conferenza di quest'anno a Padova a luglio, presentando il nostro lavoro sul late chunking al Robust IR Workshop.

La conferenza di quest'anno ha presentato ricerche straordinarie, soprattutto nei metodi di riordinamento (reranking), nei modelli di recupero sparsi (sparse retrieval models) e nell'utilizzo di LLM nell'information retrieval. I punti salienti includono i discorsi programmatici di Stephen Robertson sulla storia e lo sviluppo dell'algoritmo di ranking BM25 e di Iryna Gurevych sulle prospettive per il futuro dell'IA nella ricerca scientifica. Gli esperti e gli entusiasti studenti di dottorato presenti hanno stimolato molte discussioni vivaci. La conferenza si è svolta presso il Padova Congress Center, situato nel cuore della città. Padova è un luogo ricco di storia e cultura e ci siamo goduti molto il nostro soggiorno lì.

tagLate Chunking al Robust IR

Il workshop Robust IR è un nuovo evento al SIGIR, tenutosi per la prima volta quest'anno. Si è concentrato su quanto bene i sistemi di information retrieval operano in situazioni difficili ed eccezionali e su come possiamo migliorare la loro robustezza. Il workshop è stato un mix di interventi su invito e presentazioni orali di articoli accettati, nonché una tavola rotonda.

Abbiamo presentato il nostro lavoro sul late chunking alla sessione poster del workshop. C'erano molte domande e commenti perspicaci, parecchi da persone che avevano già letto la nostra pre-stampa.

Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models

Molti casi d'uso richiedono il recupero di porzioni di testo più piccole e i sistemi di recupero basati su vettori densi spesso funzionano meglio con segmenti di testo più brevi, poiché è meno probabile che la semantica venga iper-compressa nei 向量模型 (embedding). Di conseguenza, i professionisti spesso suddividono i documenti di testo in chunk più piccoli e li codificano separatamente. Tuttavia, i 向量模型 (embedding) di chunk creati in questo modo possono perdere informazioni contestuali dai chunk circostanti, con conseguenti rappresentazioni sub-ottimali. In questo articolo, introduciamo un nuovo metodo chiamato late chunking, che sfrutta i modelli di 向量模型 (embedding) a contesto lungo per incorporare prima tutti i 词元 (token) del testo lungo, con il chunking applicato dopo il modello transformer e appena prima del mean pooling - da qui il termine late (tardi) nel suo nome. I 向量模型 (embedding) di chunk risultanti catturano le informazioni contestuali complete, portando a risultati superiori in varie attività di recupero. Il metodo è sufficientemente generico da essere applicato a un'ampia gamma di modelli di 向量模型 (embedding) a contesto lungo e funziona senza ulteriore addestramento. Per aumentare ulteriormente l'efficacia del late chunking, proponiamo un approccio di fine-tuning dedicato per i modelli di 向量模型 (embedding).

arXiv.orgMichael Günther

Poster di Late Chunking al Robust-IR@SIGIR 2025

tagRicerca interessante

Abbiamo trovato molte ricerche interessanti presentate al SIGIR, ma il lavoro qui sotto ci è sembrato degno di nota.

tagCLIP-AdaM: Adapting Multi-view CLIP for Open-set 3D Object Retrieval

Questo articolo si è concentrato sul recupero di immagini 3D, in particolare sul recupero di oggetti 3D open-set, che è il compito di recuperare oggetti 3D per categorie di oggetti precedentemente invisibili, senza essere stati addestrati per essi. Il loro approccio utilizza viste renderizzate di modelli 3D da più angolazioni per riconoscere oggetti utilizzando modelli CLIP addestrati su immagini piatte. Un risultato interessante dell'articolo è che i modelli CLIP funzionano bene quando si calcola la media dei 向量模型 (embedding) generati da diverse viste dell'oggetto.

Figura 2: Schema del modello per CLIP-AdaM

Oltre a ciò, l'articolo propone un nuovo metodo di addestramento per il recupero di oggetti 3D che impara a ponderare diverse viste, nonché livelli adattivi che mettono a punto il modello per attività specifiche, prevenendo al contempo l'overfitting sulle categorie di dati di addestramento e migliorando le prestazioni zero-shot su nuove categorie.

tagOptimizing Compound Retrieval Systems

La maggior parte dei sistemi di ranking esistenti, che combinano più modelli di ranking per produrre risultati, si basano su cascate di ranking. Ciò significa che un modello di ranking viene eseguito dopo l'altro, ognuno mantenendo solo i risultati con il punteggio migliore dal precedente.

Questo articolo propone un approccio diverso che chiama sistemi di recupero composti: un framework per combinare diversi 重排器 (reranker) per massimizzare l'accuratezza del ranking e l'efficienza computazionale. Gli autori propongono di intenderlo come una generalizzazione dell'approccio a cascata, che esegue più 重排器 (reranker) su diversi sottoinsiemi dei risultati dalle precedenti fasi di ranking.

La figura seguente è fornita nell'articolo per mostrare come diversi 重排器 (reranker) possono essere combinati.

Figura 3: Schemi del processo di 重排器 (reranking) multi-stadio, con la didascalia originale.

Nel loro esempio, un ranker di prima fase produce un ranking iniziale. Quindi, la seconda fase utilizza due 重排器 (reranker) con approcci di ranking diversi:

Un modello di ranking point-wise che produce un punteggio di rilevanza per i documenti dal primo ranker, basato su una query.
Un modello di ranking pair-wise che confronta due documenti e la query e restituisce una probabilità stimata che uno dei due sia più rilevante per la query dell'altro.

Ogni modello ha una politica di selezione applicata ai risultati della fase di ranking precedente, ad esempio, prende solo i primi n. C'è anche una funzione di ordinamento finale che produce il risultato finale. Sia la politica di selezione che la funzione di ordinamento hanno parametri impostati dall'addestramento, fornendo un'ottimizzazione olistica che produce risultati migliori e più robusti.

tagRE-AdaptIR: Migliorare il recupero delle informazioni tramite l'adattamento di reverse engineering

Sono state condotte molte ricerche sull'utilizzo di tecniche di algebra lineare per ottimizzare i pesi del modello di embedding. Ad esempio, il metodo della zuppa di modelli migliora l'accuratezza e la robustezza del modello calcolando la media dei pesi dei modelli derivanti dalla messa a punto dello stesso modello di base con diversi iperparametri.

La ricerca presentata in questo articolo offre un'idea correlata: possiamo usare il vettore delle differenze tra i pesi di un modello di embedding messo a punto e la sua base non messa a punto per trasferire l'apprendimento da un modello all'altro? Se mettiamo a punto un'altra copia del modello di base sulla previsione del token successivo per il testo specifico del dominio e quindi aggiungiamo le differenze di peso dal modello di embedding addestrato, otterremo un modello di embedding migliore per il dominio di destinazione?

Figura 5: Figura esplicativa che fornisce un quadro generale di ciò che propone RE-AdaptIR.

Questo presenta importanti vantaggi per l'addestramento di modelli per nuovi domini. Rende possibile l'utilizzo di abbondanti dati di testo normale per l'addestramento alla previsione del token successivo e quindi di godere di embedding migliorati come risultato.

tagBenchmarking dei metodi di giudizio di rilevanza basati su LLM

Questo documento valuta le strategie di prompting per l'utilizzo di LLM come giudici di rilevanza, incluso l'utilizzo per giudizi binari (sì/no), valutazioni graduate (ad esempio, scale 0-4), confronti a coppie di documenti per la rilevanza e metodi "basati su nugget", che decidono se un documento contiene informazioni specifiche.

Gli autori concludono, dai test con GPT-4o e Llama 3, che i risultati sono più allineati con i giudizi umani quando l'LLM ha meno scelte. I giudizi binari e i confronti a coppie funzionano meglio e, con modelli di intelligenza artificiale molto potenti, sono sufficientemente validi per un utilizzo automatizzato su larga scala. Una buona progettazione dei prompt è un fattore critico.

I metodi basati su nugget consentono l'interpretabilità umana, ma sono meno affidabili.

tagRanker, giudici e assistenti: verso la comprensione dell'interazione degli LLM nella valutazione del recupero delle informazioni

Questo documento esplora i problemi nell'utilizzo degli LLM in tre ruoli distinti: classificazione dei risultati, giudizio della rilevanza e valutazione dei risultati e funzioni di supporto come la sintesi dei risultati e l'espansione delle query.

Considera le conseguenze dell'utilizzo degli LLM sull'intero ciclo delle informazioni, come mostrato nella figura seguente, tratta dal documento.

Figura 6: Un'illustrazione dell'utilizzo di LLM nell'IR moderno

Il documento conclude che ci sono problemi significativi nell'utilizzo di giudizi basati su LLM nella valutazione di sistemi di recupero delle informazioni che a loro volta si basano su LLM. L'interazione di diversi componenti basati su LLM può sicuramente portare a risultati distorti e inaccurati.

tagEtichettatura dell'utilità guidata da LLM per la valutazione IR

Questo documento fa una distinzione tra rilevanza e utilità nei risultati di ricerca. La rilevanza, nella loro definizione, riguarda se l'argomento di un documento recuperato è topicamente correlato alla query; l'utilità riguarda se il documento risponde alla query, ovvero se soddisfa l'intento dell'utente.

Si concentra sul fatto se gli LLM possono riconoscere e classificare l'utilità e se i loro giudizi sono allineati con quelli umani. Concludono che esiste un allineamento significativo tra i giudici umani dell'utilità e gli LLM. Tuttavia, gli LLM disponibili faticano con i casi in cui la rilevanza e l'utilità non sono allineate, ovvero documenti rilevanti ma non utili. Gli autori scoprono che fornire agli LLM maggiori informazioni di contesto, invece di sole query di testo, migliora significativamente i risultati.

tagLa valutazione della rilevanza basata su LLM non può ancora sostituire la valutazione della rilevanza umana

Il documento discute l'utilizzo degli LLM per la valutazione automatica della rilevanza nel recupero delle informazioni, il che renderebbe molto più semplice l'addestramento di modelli di recupero, poiché non ci sono mai abbastanza dati classificati dagli esseri umani. Sebbene alcuni studi recenti affermino che gli LLM possono sostituire completamente i valutatori umani, questo documento identifica le limitazioni chiave che impediscono agli LLM di sostituire il giudizio umano.

Prove insufficienti e limitata generalizzabilità della ricerca attuale: la ricerca attuale manca di prove solide che gli LLM possano sostituire completamente i giudizi di rilevanza umana, soprattutto tra diversi set di dati e scenari del mondo reale. Dove esistono risultati positivi, è discutibile se si applichino realmente ad ampi domini.
Vulnerabilità alla manipolazione: le metriche automatizzate, comprese quelle basate su LLM, possono essere facilmente manipolate. È molto facile migliorare i punteggi senza migliorare realmente le prestazioni.
Bias di auto-preferenza: gli LLM tendono a favorire gli output simili ai propri dati di addestramento, introducendo un bias che compromette l'obiettività delle valutazioni di rilevanza.
Rischi di overfitting: fare affidamento su valutazioni basate su LLM può indurre i sistemi di recupero a ottimizzare per le idiosincrasie di LLM specifici, riducendo le prestazioni nell'uso reale.

tagConclusione

La rapida ascesa dei modelli linguistici di grandi dimensioni ha trasformato in modo significativo il recupero delle informazioni, sostituendo metodi consolidati come BM25 e aprendo nuove possibilità. La ricerca presentata al SIGIR evidenzia questa trasformazione.

Tuttavia, i modelli linguistici non trasformano il recupero delle informazioni in un problema risolto. La conferenza ha presentato una vasta gamma di idee innovative volte ad allineare i sistemi IR più strettamente alle esigenze in evoluzione degli utenti. Ci è piaciuto molto entrare in contatto con studenti di dottorato ed esperti, scambiare idee e condividere la nostra visione per il futuro della ricerca presso Jina AI. Siamo entusiasti di continuare a spingere i confini di ciò che è possibile in questo campo.