Reader

Dare informazioni web in pasto agli LLM è un passaggio importante del grounding, ma può essere difficile. Il metodo più semplice è fare scraping della pagina e passare l'HTML grezzo. Tuttavia lo scraping può essere complesso e spesso viene bloccato, e l'HTML grezzo è pieno di elementi superflui come markup e script. L'API Reader risolve questi problemi estraendo il contenuto principale da un URL e convertendolo in un testo pulito e adatto agli LLM, garantendo input di alta qualità ai tuoi sistemi di agenti e RAG. L'API Reader è infrastruttura per sviluppatori: converte un URL che fornisci in testo adatto agli LLM, così puoi costruire i tuoi sistemi di ricerca, RAG e agenti. Non è un motore di ricerca per consumatori e non indicizza né classifica il web al posto tuo; sei tu a decidere quali URL elaborare e sei responsabile di come viene usato l'output.

Le immagini sulla pagina web vengono automaticamente dotate di didascalie utilizzando un modello di linguaggio visivo nel Reader e formattate come tag alt dell'immagine nell'output. Ciò fornisce al tuo LLM a valle suggerimenti sufficienti per incorporare tali immagini nei suoi processi di ragionamento e riepilogo. Ciò significa che puoi porre domande sulle immagini, selezionarne di specifiche o persino inoltrare i loro URL a un VLM più potente per un'analisi più approfondita!