jina-ai
Stiamo rilasciando JinaVDR (Visual Document Retrieval), un nuovo benchmark per valutare quanto bene i modelli recuperano documenti visivamente complessi. JinaVDR comprende documenti multilingue con layout intricati, che combinano grafici, tabelle, testo e immagini insieme a copie scansionate e screenshot. Il benchmark associa questi diversi documenti visivi a query di testo mirate, consentendo una valutazione completa delle prestazioni di recupero attraverso la complessità dei documenti del mondo reale e una copertura di dominio più ampia.
| Benchmark | Focus del task | Lingue | Numero di task |
|---|---|---|---|
| JinaVDR | Documenti visivamente ricchi | 20 lingue | 95 |
| MIEB | Immagini prevalentemente naturali | 38 lingue | 130 |
| ViDoRe v1 | Documenti visivamente ricchi | Inglese | 5 |
| ViDoRe v2 | Documenti visivamente ricchi | Inglese, francese, spagnolo, tedesco | 4 |
JinaVDR comprende diverse lingue, domini e formati di documenti per riflettere scenari di recupero del mondo reale. Sebbene l'inglese rimanga predominante sia nelle query che nei documenti, il benchmark incorpora oltre una dozzina di lingue aggiuntive, fornendo una copertura multilingue significativamente più ampia. I domini comprendono documenti storici, documentazione software, cartelle cliniche, testi legali e articoli scientifici, catturando vari casi d'uso professionali. I formati dei documenti variano da pagine web e PDF a materiali scansionati, diapositive di presentazione e immagini standalone. Molti set di dati mescolano intenzionalmente lingue e formati, creando condizioni realistiche che sfidano i modelli a gestire la complessità che incontrano nelle applicazioni pratiche.
tagCome abbiamo costruito JinaVDR
Il benchmark JinaVDR fornisce un framework di valutazione che comprende 95 task in 20 lingue, inclusi documenti diversificati per dominio e ricchi di layout come grafici, mappe, documenti scansionati tradizionali, file Markdown e tabelle complesse. Valuta i modelli sia attraverso domande e risposte visive (ad esempio, “How many civil lawsuits were dismissed at the Valladolid audience in 1855?”) che attraverso query di parole chiave (ad esempio, “growth of the LED market across different regions”), fornendo una valutazione più chiara delle capacità di recupero su diversi tipi di documenti presenti nel mondo reale.
Abbiamo utilizzato quattro tecniche per costruire JinaVDR con un focus sulla diversità dei dati e l'autenticità del task:
Innanzitutto, abbiamo riproposto benchmark esistenti convertendo set di dati OCR in task di recupero utilizzando modelli di query basati su regole (come la trasformazione dei dati MPMQA) e riformattando set di dati di domande e risposte in scenari di recupero:
In secondo luogo, abbiamo annotato manualmente set di dati PDF esistenti tra cui StanfordSlides, TextbookQA e ShanghaiMasterPlan, per creare coppie di recupero di alta qualità:
Il nostro terzo approccio ha coinvolto la generazione sintetica di query e/o documenti, in cui abbiamo utilizzato raccolte di documenti esistenti da fonti come Europeana per creare query contestualmente rilevanti con Qwen2-VL-7B-Instruct, insieme a descrizioni di testo EasyOCR:
Abbiamo anche renderizzato set di dati tabulari in tabelle visive e generato query corrispondenti tramite modelli derivati dai dati di testo originali, come dimostrato nel nostro task AirBnBRetrieval.
Infine, abbiamo riproposto set di dati sottoposti a crawling esistenti con coppie articolo-grafico, in cui utilizziamo frammenti di testo degli articoli come query e i grafici corrispondenti come documenti di destinazione, come mostrato nel nostro set di dati OWIDRetrieval:
Questo approccio multiforme ci offre una copertura completa tra tipi di documenti, lingue e scenari di recupero.
tagBenchmark esistenti
Lo sviluppo di modelli veramente multimodali (che possono gestire documenti visivamente complessi) richiede benchmark che vadano oltre i tradizionali metodi di valutazione solo testuale. Framework come MTEB (Massive Text Embedding Benchmark) possono funzionare bene per valutare il recupero di testo in diversi domini e lingue, ma non sono costruiti per la ricerca attraverso documenti in cui il recupero accurato dipende da layout visivo, grafici, tabelle e formattazione. È qui che entrano in gioco i benchmark di recupero di documenti visivi (come la serie ViDoRe) e i benchmark di recupero di immagini (come MIEB, il Massive Image Embedding Benchmark).
Il paper ColPali ha introdotto ViDoRe v1, che combina cinque set di dati in lingua inglese, sia accademici che sintetici. Il benchmark si concentra su documenti a pagina singola che funzionano bene con il riconoscimento ottico dei caratteri (OCR), copre domini ristretti come articoli scientifici e sanità e utilizza query estrattive in cui i termini di ricerca spesso compaiono direttamente nei documenti di destinazione.
Dopo che modelli come ColPali hanno raggiunto un punteggio del 90% nDCG@5 su ViDoRe v1, era necessario un nuovo benchmark. ViDoRe v2 ha migliorato la v1 supportando query più lunghe e cross-documento, query contestuali cieche e più lingue (francese, tedesco e spagnolo oltre all'inglese). Entrambi i benchmark hanno ancora una diversità linguistica limitata e una copertura di dominio ristretta, lasciando lacune per la valutazione di nuovi sistemi di recupero.
MIEB adotta un approccio diverso concentrandosi sugli embeddings visivi in 130 attività, incluse altre attività oltre al semplice recupero. Tuttavia, valuta principalmente immagini senza molti contenuti di testo, piuttosto che documenti visivamente ricchi. Sebbene il benchmark sia eccellente nel testare le capacità di comprensione visiva, non funziona bene quando è necessario recuperare documenti in base al layout visivo e al contenuto testuale.
Il nostro obiettivo con il benchmark JinaVDR (Visual Document Retrieval) è ampliare il lavoro di questi precedenti benchmark incorporando documenti multilingue visivamente ricchi con layout complessi come grafici, tabelle e diagrammi (combinati con testo e immagini), nonché aggiungendo query e domande reali.
tagValutazione degli Embeddings su JinaVDR
I nostri risultati di benchmarking mostrano che molti modelli di embeddings recenti faticano con l'ampia gamma di attività di documenti visivi di JinaVDR, mentre le baseline basate su OCR e i modelli precedenti mostrano risultati ancora più deboli, specialmente sui set di dati non inglesi e sui documenti strutturati. Abbiamo incluso BM25 con OCR per tutti i set di dati in cui la semplice estrazione del testo rendeva fattibile tale recupero.
Un'eccezione a questo è jina-embeddings-v4. I nostri risultati suggeriscono che il suo approccio di embeddings multimodali gestisce meglio il recupero di documenti complessi e multilingue rispetto ai modelli di generazione precedenti o alle pipeline tradizionali basate su OCR. La capacità multi-vettore del modello offre le migliori prestazioni perché evita le limitazioni di compressione degli approcci a vettore singolo: mentre i vettori singoli devono inserire l'intero contenuto di una pagina in un'unica rappresentazione (rendendo difficile catturare dettagli specifici), l'approccio multi-vettore mantiene le informazioni granulari necessarie per il recupero preciso di documenti simili.
| Average | medical-prescriptions | DonutVQA | TableVQA | europeana-de-news | europeana-es-news | europeana-it-scans | europeana-nl-legal | hindi-gov-vqa | jdocqa_jp | wikimedia-commons-documents (ar) | github-readme-retrieval-ml-filtered (ru) | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| BM25 + OCR | 26.67% | 38.18% | 19.39% | 35.64% | 11.26% | 51.99% | 39.11% | 34.97% | 1.83% | 1.64% | 19.60% | 39.78% |
jina-embeddings-v3 + OCR |
27.49% | 37.25% | 2.60% | 34.24% | 12.05% | 44.03% | 38.69% | 29.07% | 7.52% | 7.79% | 38.06% | 51.07% |
| jina-clip-v2 | 17.79% | 15.66% | 1.63% | 21.06% | 11.19% | 13.14% | 16.23% | 9.79% | 5.02% | 19.91% | 45.29% | 36.80% |
colpali-v1.2 |
46.44% | 83.91% | 32.53% | 54.66% | 34.64% | 44.74% | 54.32% | 30.89% | 13.04% | 39.45% | 41.96% | 80.67% |
colqwen2-v0.1 |
58.26% | 77.72% | 46.34% | 57.52% | 53.42% | 74.28% | 71.23% | 46.13% | 20.53% | 74.38% | 36.94% | 0.82388 |
MrLight/dse-qwen2-2b-mrl-v1 |
47.95% | 38.22% | 25.31% | 57.39% | 44.75% | 60.58% | 53.92% | 29.50% | 9.80% | 66.73% | 62.47% | 78.77% |
jina-embeddings-v4 (single-vector) |
61.39% | 81.17% | 78.48% | 58.90% | 49.05% | 60.10% | 57.88% | 37.14% | 15.40% | 75.57% | 72.07% | 89.55% |
jina-embeddings-v4 (multivector) |
70.89% | 97.95% | 73.55% | 60.91% | 65.65% | 80.58% | 73.14% | 54.15% | 21.94% | 82.34% | 81.19% | 88.39% |
tagIntegrazione MTEB
embeddings-benchmark
Poiché MTEB è diventato lo standard di fatto per il benchmarking di recupero, stiamo integrando JinaVDR direttamente nel framework MTEB per massimizzare l'adozione e la facilità d'uso. Ciò semplifica la gestione dei modelli di recupero visivo sul nostro benchmark utilizzando un'infrastruttura di valutazione familiare. Tuttavia, la migrazione dei nostri dati al formato BEIR ha richiesto alcuni compromessi, come la mancata inclusione dei risultati OCR nella versione MTEB. Ciò significa che i metodi tradizionali basati su testo come BM25 non sono direttamente eseguibili come parte di MTEB, il che rafforza l'attenzione sulla comprensione dei documenti visivi piuttosto che ricorrere a metodi di recupero basati su testo.
tagLimitazioni
Per costruire un benchmark completo da un'ampia gamma di fonti, abbiamo dovuto eseguire un'attenta pre-elaborazione per garantire sia la praticità d'uso che la qualità della valutazione: abbiamo applicato la normalizzazione delle dimensioni mediante il sottocampionamento di ciascun set di dati a un massimo di 1.000 esempi (rispetto a migliaia o decine di migliaia), rendendo il benchmark effettivamente eseguibile pur mantenendo una buona copertura tra le attività. Questo vincolo è stato particolarmente importante dati gli alti livelli di calcolo necessari per elaborare documenti visivi ad alta risoluzione.
Abbiamo utilizzato il filtraggio della qualità per affrontare diverse sfide comuni nelle raccolte di documenti del mondo reale. Sebbene la scarsa qualità dell'immagine nei documenti scansionati rifletta spesso casi d'uso realistici, ha reso più difficile controllare la qualità dei dati sintetici. Abbiamo implementato il filtraggio della coerenza per rimuovere i duplicati (che sono comuni nelle grandi raccolte di documenti) e abbiamo utilizzato gli LLM per filtrare le query di bassa qualità che non fornirebbero segnali di valutazione utili, come domande eccessivamente generiche come "What can you see in the chart?". Per la generazione di dati sintetici, abbiamo riscontrato limitazioni nella diversità delle query nonostante l'utilizzo di strategie di prompting diversificate e abbiamo dovuto eseguire una cura manuale per garantire una copertura di valutazione sufficiente tra diversi scenari di recupero.
tagConclusione
La valutazione del recupero di documenti visivi è ora in una situazione in cui i benchmark tradizionali basati su testo non catturano più la complessità di come gli esseri umani cercano e consumano effettivamente le informazioni. JinaVDR supera questa barriera fornendo una valutazione completa su una gamma di attività e lingue che supera di gran lunga i benchmark precedenti.
Guardando avanti, il settore ha bisogno di benchmark che riflettano le reali sfide di recupero piuttosto che vincoli artificiali. Man mano che le organizzazioni si affidano sempre più al recupero di documenti visivi per attività che vanno dalla ricerca legale alla diagnostica medica, i framework di valutazione devono evolvere oltre gli stretti set di dati accademici verso i documenti disordinati, multilingue e visivamente complessi che troviamo nel mondo reale. JinaVDR è solo il primo passo nella creazione di sistemi di recupero che comprendano veramente come le informazioni visive e testuali funzionano insieme nella pratica.
