Reader

Integrar información web en los LLM es un paso fundamental para su integración, aunque puede resultar complejo. El método más sencillo consiste en extraer el contenido de la página web y generar el HTML sin procesar. Sin embargo, esta extracción puede ser compleja y a menudo se bloquea, y el HTML sin procesar suele estar saturado de elementos superfluos como marcado y scripts. La API Reader resuelve estos problemas extrayendo el contenido principal de una URL y convirtiéndolo en texto limpio y compatible con LLM, lo que garantiza una entrada de alta calidad para sus sistemas de agentes y RAG. La API Reader es una infraestructura para desarrolladores: convierte la URL que proporciona en texto compatible con LLM para que pueda crear sus propios sistemas de búsqueda, RAG y agentes. No es un motor de búsqueda para consumidores y no indexa ni clasifica la web en su nombre; usted controla qué URLs se procesan y es responsable de cómo se utiliza el resultado.

Las imágenes de la página web se subtitulan automáticamente utilizando un modelo de lenguaje de visión en el Reader y se formatean como etiquetas alternativas de imagen en la salida. Esto le brinda a su LLM posterior suficientes sugerencias para incorporar esas imágenes en sus procesos de razonamiento y resumen. Esto significa que puede hacer preguntas sobre las imágenes, seleccionar imágenes específicas o incluso reenviar sus URL a un VLM más potente para un análisis más profundo.