Reader

Alimenter les LLM en informations web est une étape importante du grounding, mais elle peut s'avérer délicate. La méthode la plus simple consiste à extraire le code HTML brut de la page web, puis à l'injecter dans le modèle. Cependant, cette opération peut être complexe et souvent bloquée, et le code HTML brut est encombré d'éléments superflus tels que des balises et des scripts. L'API Reader résout ces problèmes en extrayant le contenu principal d'une URL et en le convertissant en un texte propre et compatible avec les LLM, garantissant ainsi des données de haute qualité pour vos systèmes d'agents et RAG. L'API Reader est une infrastructure de développement : elle convertit une URL que vous fournissez en un texte compatible avec les LLM afin que vous puissiez créer vos propres systèmes de recherche, RAG et d'agents. Ce n'est pas un moteur de recherche grand public : elle n'indexe ni ne classe le web pour vous ; vous contrôlez les URL traitées et êtes responsable de l'utilisation des résultats.

Les images de la page Web sont automatiquement légendées à l'aide d'un modèle de vision-langage dans le Reader, puis représentées par des balises alt d'image dans la sortie. Cela donne à votre LLM en aval juste assez d'indices pour intégrer ces images dans ses processus de raisonnement et de synthèse. Cela signifie que vous pouvez poser des questions sur les images, en sélectionner des spécifiques ou même transmettre leurs URL à un VLM plus puissant pour une analyse plus approfondie !