Reader

Incorporar información web a los LLM es un paso fundamental del grounding, aunque puede resultar complicado. El método más sencillo consiste en extraer el contenido de la página web y alimentar el modelo con el HTML sin procesar. Sin embargo, esta extracción puede ser compleja y a menudo se bloquea, y el HTML sin procesar suele estar saturado de elementos superfluos como marcado y scripts. La API Reader resuelve estos problemas extrayendo el contenido principal de una URL y convirtiéndolo en texto limpio y compatible con LLM, lo que garantiza una entrada de alta calidad para sus sistemas de agentes y RAG. La API Reader es una infraestructura para desarrolladores: convierte la URL que proporciona en texto compatible con LLM para que pueda crear sus propios sistemas de búsqueda, RAG y agentes. No es un motor de búsqueda para consumidores y no indexa ni ordena la web por usted; usted controla qué URLs se procesan y es responsable de cómo se utiliza el resultado.

Las imágenes de la página web reciben automáticamente un pie de foto generado por un modelo de lenguaje visual en el Reader y se formatean como etiquetas alt en la salida. Esto da a su LLM posterior las pistas justas para incorporar esas imágenes en sus procesos de razonamiento y resumen. Esto significa que puede hacer preguntas sobre las imágenes, seleccionar imágenes específicas o incluso reenviar sus URL a un VLM más potente para un análisis más profundo.