Reader

Подача веб-информации в LLM — важный этап привязки к источникам, но он может быть сложным. Самый простой способ — спарсить веб-страницу и подать необработанный HTML. Однако парсинг бывает сложным и часто блокируется, а необработанный HTML забит лишними элементами вроде разметки и скриптов. API Reader решает эти проблемы: извлекает основное содержимое по URL и превращает его в чистый текст, удобный для LLM, обеспечивая качественный ввод для ваших агентных систем и RAG. API Reader — это инфраструктура для разработчиков: он превращает переданный вами URL в удобный для LLM текст, чтобы вы могли строить собственный поиск, RAG и агентные системы. Это не потребительская поисковая система: она не индексирует и не ранжирует веб за вас; вы решаете, какие URL обрабатывать, и отвечаете за то, как используется вывод.

Изображения на веб-странице автоматически получают подписи от визуально-языковой модели внутри Reader и выводятся как alt-теги изображений. Это даёт LLM на следующем шаге достаточно подсказок, чтобы учесть эти изображения в рассуждениях и обобщении. Значит, вы можете задавать вопросы об изображениях, выбирать нужные или даже передавать их URL-адреса более мощной VLM для более глубокого анализа!