Reader

L'embedding de données web dans les LLM est une étape cruciale de leur embedding, mais peut s'avérer complexe. La méthode la plus simple consiste à extraire le code HTML brut de la page web. Cependant, cette opération peut être complexe et souvent bloquée, et le code HTML brut est encombré d'éléments superflus tels que des balises et des scripts. L'API Reader résout ces problèmes en extrayant le contenu principal d'une URL et en le convertissant en un texte propre et compatible avec les LLM, garantissant ainsi des données de haute qualité pour vos systèmes d'agents et de gestion des annonces (RAG). L'API Reader est une infrastructure de développement : elle convertit une URL que vous fournissez en un texte compatible avec les LLM afin que vous puissiez créer vos propres systèmes de recherche, RAG et d'agents. Il ne s'agit pas d'un moteur de recherche grand public et elle n'indexe ni ne classe le web pour vous ; vous contrôlez les URL traitées et êtes responsable de l'utilisation des résultats.

Les images de la page Web sont automatiquement sous-titrées à l'aide d'un modèle de langage de vision dans le Reader et formatées sous forme de balises alt d'image dans la sortie. Cela donne à votre LLM en aval juste assez d'indices pour intégrer ces images dans ses processus de raisonnement et de synthèse. Cela signifie que vous pouvez poser des questions sur les images, en sélectionner des spécifiques ou même transmettre leurs URL à un VLM plus puissant pour une analyse plus approfondie !