Ottimizzazione submodulare per la selezione di testo, il Reranking di passaggi e l'ingegneria del contesto

GitHub - jina-ai/submodular-optimization: Submodular optimization for diverse query generation

Submodular optimization for diverse query generation - jina-ai/submodular-optimization

GitHubjina-ai

Dopo il mio precedente articolo sull' ottimizzazione submodulare per query fan-out in DeepResearch, ho ricevuto un ottimo feedback che chiedeva un approfondimento sulla submodularità e le sue applicazioni nel information retrieval e nella ricerca agentica. Oggi introdurrò altre due applicazioni dell'ottimizzazione submodulare: la selezione del testo e il riordinamento dei passaggi. Entrambe affrontano la stessa sfida principale: la selezione ottimale del sottoinsieme, che ogni sistema simile a DeepResearch deve risolvere.

I documenti del mondo reale contengono ridondanza semantica: non tutte le frasi hanno la stessa importanza per il ragionamento di un LLM. Immagina di avere un documento lungo e di dover estrarre le informazioni più rappresentative rimanendo entro un limite di token. Questa è la selezione del testo: scegliere contenuti che catturino l'essenza del documento nel rispetto dei vincoli di cardinalità. Vogliamo selezioni che siano ortogonali tra loro, riducendo al minimo le informazioni condivise e massimizzando la copertura totale. Questo si applica a più livelli: selezionare frasi da documenti o token da frasi. Si può anche pensare alla selezione del testo come ottimizzazione o compressione del contesto. Riduciamo il consumo di token dell'LLM preservando al contempo la ricchezza semantica necessaria per il ragionamento.

Il riordinamento dei passaggi ordina i passaggi candidati in base alla loro rilevanza semantica per una query utente. In Jina AI, abbiamo creato dei Reranker specializzati per questo (jina-reranker-m0, jina-reranker-v2-multilingual-base), anche se i nostri modelli di Embeddings possono anche risolvere il problema. Ma ecco la limitazione: la maggior parte dei Reranker, compresi i nostri, funzionano in modo puntuale. Punteggiano le singole coppie (query, document) in modo indipendente. Non considerano le informazioni condivise tra i passaggi: se il passaggio 1 e il passaggio 7 ottengono entrambi un punteggio elevato ma contengono informazioni per lo più identiche, non sarebbe sufficiente selezionarne solo uno?

In DeepResearch, questo diventa cruciale. Quando gli agenti chiamano strumenti di ricerca e raccolgono frammenti web, dobbiamo determinare quali frammenti meritano prezioso spazio nella finestra di contesto per il passaggio di ragionamento successivo. La selezione segue lo stesso principio "ridurre al minimo la sovrapposizione, massimizzare la copertura" della selezione del testo, ma con un obiettivo aggiuntivo: la rilevanza per la query originale deve avere la priorità.

Molti ricercatori riconoscono la crescente importanza dell'ingegneria del contesto, in cui dobbiamo costruire, ottimizzare e "impacchettare le finestre di contesto nel modo giusto" (da Andrej Karpathy) per costruire flussi di lavoro agentici più efficaci. Tuttavia, molti semplicemente usano i Prompt dell'LLM per risolvere questi problemi "in modo soft", senza garanzie, senza fondamento teorico, con un'efficacia discutibile. Possiamo fare molto meglio.

In questo articolo, mostrerò che sia la selezione del testo che il riordinamento dei passaggi cedono all'ottimizzazione submodulare, che fornisce soluzioni rigorose. Se non hai familiarità con le funzioni submodulari, pensa ai "rendimenti decrescenti". Iniziamo con un insieme vuoto e aggiungiamo in modo incrementale testo o passaggi selezionati. Ogni aggiunta fornisce valore, ma il beneficio marginale diminuisce, catturando l'intuizione che le selezioni diverse e non ridondanti sono più preziose. Formalmente, una funzione $f$ è submodulare se per qualsiasi insieme $A \subseteq B$ e elemento $i \notin B$:

$$f(A \cup {i}) - f(A) \geq f(B \cup {i}) - f(B)$$

Questa formulazione cattura perfettamente la nostra intuizione: vogliamo che gli elementi selezionati coprano collettivamente lo spazio semantico dell'intero documento; man mano che selezioniamo più unità, è meno probabile che ogni nuova unità copra lo spazio semantico precedentemente scoperto.

tagSelezione del testo tramite ottimizzazione submodulare

Google Colab

Iniziamo risolvendo il problema della selezione del testo, poiché è essenziale per comprendere la submodularità e funge da passo preliminare per il passaggio al reranking. Il problema è il seguente:

Dato un documento $D$ con $n$ elementi (token o frasi), vogliamo selezionare un sottoinsieme $S \subseteq {1, 2, \ldots, n}$ con $|S| = k$ che massimizza la funzione di copertura:

$$f(S) = \sum_{i=1}^{n} \max_{j \in S} \text{sim}_{ij}$$

dove $\text{sim}_{ij}$ rappresenta la similarità coseno tra gli 向量模型 dell'elemento $i$ e $j$. Si noti che la funzione di copertura $f$ è submodulare perché soddisfa la proprietà dei rendimenti decrescenti. L'operazione max assicura che stiamo misurando quanto bene ciascun elemento è rappresentato dall'unità selezionata più vicina, evitando di contare due volte le informazioni ridondanti.

tagOttieni 向量模型 a livello di token/passaggio

Per la selezione a livello di token, sfruttiamo la nuova funzionalità di 向量模型 multi-vettore di jina-embeddings-v4. Impostando return_multivector=True viene restituito un 向量模型 per token, consentendo la nostra selezione a livello di sottoparola.

Per la selezione a livello di passaggio, dividiamo semplicemente i documenti per punteggiatura o nuove righe e incorporiamo ogni passaggio in modo indipendente. In alternativa, si può anche chiamare la nostra API con late chunking per ottenere 向量模型 di passaggio contestuali, il che generalmente porta a prestazioni migliori nelle attività a valle.

Late Chunking nei modelli di 向量模型 a contesto lungo

La suddivisione in chunk di documenti lunghi preservando le informazioni contestuali è impegnativa. Introduciamo il "Late Chunking" che sfrutta i modelli di 向量模型 a contesto lungo per generare 向量模型 di chunk contestuali per migliori applicazioni di recupero.

Jina AIMichael Günther, Han Xiao

Vale la pena notare che, poiché stiamo misurando la similarità semantica all'interno di un insieme omogeneo di elementi, tutti con lo stesso ruolo funzionale piuttosto che confrontare elementi eterogenei come query rispetto a documenti (come vedremo nel passaggio al reranking), invochiamo jina-embeddings-v4 con l'adattatore LoRA text-matching abilitato.

Jina 向量模型 v4: 向量模型 universali per il recupero multimodale multilingue

Jina 向量模型 v4 è un modello di 向量模型 universale da 3,8 miliardi di parametri per il recupero multimodale e multilingue che supporta sia output di 向量模型 singolo che multi-vettore.

Jina AIJina AI

tagAlgoritmo greedy pigro

Come nell'articolo precedente, utilizziamo l'algoritmo greedy pigro per risolvere il problema di ottimizzazione. Per le funzioni submodulari monotone, questo algoritmo raggiunge una garanzia di approssimazione $(1 - 1/e) \approx 0.632$, un limite che è dimostrabilmente stretto. L'ottimizzazione greedy pigra sfrutta due proprietà fondamentali delle funzioni submodulari: i rendimenti decrescenti e la conservazione dell'ordinamento relativo tra i guadagni marginali tra le iterazioni. L'algoritmo funziona come segue:

1. Inizializzazione: calcola i guadagni marginali iniziali per tutti gli elementi e memorizzali in una coda di priorità
2. Valutazione pigra: a ogni iterazione, estrai l'elemento con il guadagno memorizzato nella cache più alto
3. Validazione: se il guadagno di questo elemento è stato calcolato nell'iterazione corrente, selezionalo immediatamente
4. Ricalcolo: altrimenti, ricalcola il suo guadagno marginale corrente e reinseriscilo nella coda

Questo algoritmo greedy pigro riduce notevolmente il sovraccarico computazionale, soprattutto quando i guadagni marginali mostrano una notevole varianza tra gli elementi.

tagPassaggio al Reranking tramite ottimizzazione submodulare

Google Colab

L'attività di passaggio al reranking estende la selezione del testo aggiungendo un nuovo obiettivo: il sottoinsieme selezionato deve essere rilevante per la query specificata. Mentre la selezione del testo ottimizza la pura diversità all'interno di un documento, il passaggio al reranking deve bilanciare la diversità rispetto alla rilevanza della query. Ecco le notazioni chiave:

• $S \subseteq \{1, 2, \ldots, P\}$ è il sottoinsieme selezionato di indici di passaggio dal set di candidati di $P$ passaggi, tutti i contenuti o i ricordi nel sistema DeepResearch in un dato passaggio. $S$ rappresenta il sottoinsieme selezionato che vogliamo trasferire al passaggio di ragionamento successivo. Abbiamo $Q$ query e $P$ passaggi candidati. Nella ricerca tradizionale, $|Q|=1$, ma in DeepResearch, dove le query vengono frequentemente riformulate e generate, potremmo avere più query a portata di mano.
• $s_{ij}$ è la similarità tra i passaggi $i$ e $j$. Questo utilizza la similarità coseno di jina-embeddings-v4 con task="text-matching" LoRA abilitato per tutti i passaggi come abbiamo fatto nell'attività di selezione del testo.
• $r_{qi}$ è il punteggio di rilevanza tra la query $q$ e il passaggio $i$. Questo viene calcolato come similarità coseno usando jina-embeddings-v4 con task="retrieval", prompt_name="query" per le query e task="retrieval", prompt_name="passage" per i passaggi, abilitando il LoRA di recupero asimmetrico e producendo 向量模型 eterogenei.

Ora possiamo formularlo usando due diverse funzioni submodulari, ciascuna delle quali cattura un distinto compromesso tra rilevanza e diversità.

tagFormulazione della posizione della struttura

Ogni passaggio viene "coperto" dal suo passaggio selezionato più simile, ponderato in base a quanto è rilevante quel passaggio selezionato per ciascuna query. Questa formulazione seleziona i passaggi che sono sia rilevanti per la query SIA rappresentativi di molti altri passaggi.

$$f_{FL}(S) = \sum_{q=1}^{Q} \sum_{i=1}^{P} \max_{j \in S} r_{qj} \cdot s_{ij}$$

L'interazione moltiplicativa tra la rilevanza della query ($r_{qj}$) e la similarità del passaggio ($s_{ij}$) crea "hub", passaggi che svolgono un duplice scopo sia come risposte rilevanti sia come rappresentanti diversi. Un passaggio altamente rilevante può coprire molti passaggi simili, mentre un passaggio meno rilevante fornisce copertura solo se non esiste un rappresentante migliore.

tagFormulazione della copertura satura

Per ogni passaggio, ricevi un credito pari al minimo tra la sua rilevanza per la query o quanto è ben coperto dal tuo miglior rappresentante selezionato. Ciò incoraggia a selezionare i passaggi che possono "saturare" la rilevanza di molti altri passaggi.

$$f_{SC}(S) = \sum_{q=1}^{Q} \sum_{i=1}^{P} \min(r_{qi}, \max_{j \in S} s_{ij})$$

L'operazione min crea un limite massimo di rilevanza: non puoi ottenere più credito di copertura della rilevanza intrinseca di un passaggio per la query. Questa formulazione è più conservativa, prevenendo la sovra-selezione di passaggi diversi ma irrilevanti.

Entrambe le funzioni sono monotone e submodulari, consentendo lo stesso algoritmo greedy pigro con garanzie di approssimazione $(1-1/e)$.

tagRisultati degli esperimenti

Nella nostra implementazione, utilizziamo Jina Reader per recuperare il testo semplice dai nostri precedenti post del blog e valutare diverse query utilizzando il passaggio al reranking. Consiglio vivamente ai lettori di sperimentare con il nostro notebook Google Colab utilizzando i propri articoli: i contenuti con cui hanno più familiarità forniranno le informazioni più significative.

Nei nostri esperimenti, selezioniamo i primi 10 passaggi di ciascun documento. Si noti che tutti e tre gli algoritmi, solo la rilevanza della query, la posizione della struttura e la copertura satura, mostrano la monotonicità: la selezione di un $k$ più grande non modifica la classifica dei primi $k-1$ elementi. Ad esempio, quando si confrontano $k=9$, $k=10$ o $k=11$, i primi 9 passaggi rimangono identici in tutti i valori. I risultati sono mostrati di seguito.

Ecco alcune osservazioni chiave. Innanzitutto, gli algoritmi di ottimizzazione submodulare seguono vagamente i punteggi di rilevanza della query, ma introducono riordinamenti strategici: i passaggi "si spostano su e giù" nelle classifiche. Questo comportamento è in linea con le nostre aspettative, poiché questi algoritmi ottimizzano per la minimizzazione della ridondanza piuttosto che per la pura rilevanza. Le classifiche risultanti dimostrano una forte qualità.

Alcuni lettori potrebbero notare che nel primo, secondo e quarto esempio, i risultati dell'ottimizzazione submodulare sembrano "saturarsi" precocemente, producendo semplicemente passaggi ordinati 0, 1, 2, ecc. Questo non è un fallimento algoritmico, ma rivela una delle caratteristiche più preziose dell'ottimizzazione submodulare che nessun **reranker** esistente è in grado di promettere.

Per comprendere meglio questo comportamento di saturazione, tracciamo i valori della funzione submodulare per tutte le possibili dimensioni dell'insieme $k$ da 1 al numero massimo di passaggi nel documento. Ciò rivela la proprietà dei rendimenti decrescenti in azione.

I grafici sopra mostrano come le funzioni Facility Location e Saturated Coverage si comportano man mano che aumentiamo la dimensione della selezione. Entrambe mostrano il classico modello submodulare:

• Crescita iniziale rapida: i guadagni più consistenti si verificano nelle prime selezioni
• Rendimenti decrescenti: ogni passaggio aggiuntivo fornisce un beneficio marginale progressivamente inferiore
• Altopiano di saturazione: i valori della funzione si appiattiscono, indicando un beneficio minimo da ulteriori aggiunte

Oltre questi punti, i guadagni marginali diventano trascurabili. Questo spiega perché i nostri precedenti esperimenti di classificazione hanno mostrato un ordinamento sequenziale (0, 1, 2, ...) - gli algoritmi hanno correttamente identificato che i passaggi aggiuntivi contribuiscono con un valore minimo.

Questo comportamento manifesta direttamente la proprietà matematica della submodularità. I rendimenti marginali decrescenti che osserviamo non sono artefatti algoritmici, ma caratteristiche fondamentali delle funzioni di copertura. Quando il valore della funzione si stabilizza, abbiamo raggiunto il punto in cui:

$$\Delta_i(S) = f(S \cup \{i\}) - f(S) \approx 0$$

per tutti i passaggi rimanenti $i \notin S$.

tagConclusioni

L'ingegneria del contesto è emersa come una parola d'ordine nell'IA, è spesso acclamata come un cambiamento di paradigma verso la costruzione di sistemi agentici che curano le informazioni più rilevanti per riempire la finestra di contesto di un **LLM**, e questo spesso inizia con il recupero di dati esterni tramite RAG.

La selezione del testo e il **reranking** dei passaggi sono componenti integrali dell'ingegneria del contesto, in particolare nei processi di selezione della base di conoscenza, recupero e compressione del contesto. Il **reranking** dei passaggi quindi perfeziona questo riordinando i testi selezionati in base alla rilevanza della query per garantire che l'**LLM** riceva prima le informazioni più utili, evitando sovraccarichi e migliorando la qualità dell'output.

L'ottimizzazione submodulare offre tre vantaggi interessanti rispetto agli approcci tradizionali per la selezione del testo e il **reranking** dei passaggi:

tagRigore teorico con efficienza computazionale

A differenza dei metodi euristici, l'ottimizzazione submodulare fornisce garanzie dimostrabili. L'algoritmo greedy pigro viene eseguito in tempo $O(nk \log n)$—rispetto alle combinazioni $\binom{n}{k}$ per la ricerca esaustiva—ottenendo al contempo un'approssimazione $(1-1/e) \approx 0.632$ alla soluzione ottimale. Ciò significa che la nostra soluzione è matematicamente garantita per essere almeno il 63% valida quanto la migliore selezione teoricamente possibile. Nessuna euristica basata su **prompt** può promettere questo livello di garanzia delle prestazioni.

tagCriteri di arresto intelligenti

Il comportamento di saturazione che abbiamo osservato fornisce un meccanismo di arresto automatico: quando i guadagni marginali si avvicinano allo zero, sappiamo di dover smettere di aggiungere elementi. Questa capacità è irraggiungibile con i **reranker** pointwise o listwise esistenti, che operano in modo indipendente su ciascun elemento senza comprendere i rendimenti decrescenti a livello di insieme. La funzione stessa ci dice quando abbiamo acquisito una copertura sufficiente.

tagEstensione multi-query

Il framework si estende naturalmente a scenari multi-query, comuni in DeepResearch dove le query vengono frequentemente riscritte e riformulate. Le stesse basi teoriche e gli algoritmi greedy pigri si applicano perfettamente. Gli approcci basati su **prompt** mancano di questa estensibilità sistematica, spesso richiedendo soluzioni ad hoc per ogni nuovo scenario.

Questi vantaggi derivano dalle basi matematiche della submodularità piuttosto che da trucchi ingegneristici. Mentre altri si affidano alla messa a punto del **prompt** e sperano in buoni risultati, dovresti imparare l'ottimizzazione submodulare che fornisce un framework basato su principi con garanzie formali: un vantaggio cruciale quando si costruisce un'ingegneria del contesto affidabile e scalabile.