Reader

Die Integration von Webinformationen in LLMs ist ein wichtiger, aber mitunter schwieriger Schritt des Groundings. Die einfachste Methode besteht darin, die Webseite zu scrapen und das rohe HTML zu verwenden. Scraping kann jedoch komplex sein und wird oft blockiert, und rohes HTML ist voll von überflüssigen Elementen wie Markup und Skripten. Die Reader API löst diese Probleme, indem sie den Kerninhalt einer URL extrahiert und in sauberen, LLM-kompatiblen Text umwandelt. So wird eine hohe Datenqualität für Ihre Agenten- und RAG-Systeme gewährleistet. Die Reader API ist eine Entwicklerinfrastruktur: Sie wandelt eine von Ihnen bereitgestellte URL in LLM-kompatiblen Text um, sodass Sie Ihre eigenen Such-, RAG- und Agentensysteme erstellen können. Sie ist keine Suchmaschine für Endverbraucher und indexiert oder rankt das Web nicht in Ihrem Auftrag. Sie bestimmen, welche URLs verarbeitet werden und sind für die Verwendung der Ergebnisse verantwortlich.

Bilder auf der Webseite werden mithilfe eines Vision-Language-Modells im Reader automatisch mit Bildunterschriften versehen und in der Ausgabe als Bild-Alt-Tags formatiert. Dadurch erhält Ihr nachgelagertes LLM gerade genug Hinweise, um diese Bilder in seine Denk- und Zusammenfassungsprozesse einzubeziehen. Das bedeutet, dass Sie Fragen zu den Bildern stellen, bestimmte Bilder auswählen oder sogar ihre URLs zur tieferen Analyse an ein leistungsfähigeres VLM weiterleiten können!