Попробуйте интерактивную демонстрацию и посмотрите, как ваш сайт отображается в LLM SERP.
С момента появления RAG тенденция заключается в использовании LLM для улучшения поиска. От Perplexity до DeepSearch и DeepResearch, идея внедрения результатов поисковой системы в процесс генерации стала де-факто стандартом. Многие пользователи также утверждают, что они больше не используют Google так часто, как раньше, считая его классический дизайн с пагинацией скучным, перегруженным или утомительным. Вместо этого они привыкли к высокой точности и полноте результатов в формате вопросов-ответов из поискового интерфейса в стиле чата, что говорит о том, что эта философия дизайна может быть правильным путем вперед.
Но что, если сама LLM является поисковой системой?
Что, если бы вы могли исследовать знания, встроенные в LLM, как будто вы используете Google? Пагинация, ссылки и всё остальное - как в старые добрые времена, к которым вы привыкли. Если вы не уверены, что я имею в виду, сначала посмотрите демонстрацию ниже.
Ссылки, заголовки и сниппеты полностью сгенерированы LLM. Вы можете посетить https://jina.ai/llm-serp-demo и попробовать некоторые запросы самостоятельно!
Прежде чем поднимать вопросы о галлюцинациях, давайте сначала объясним, почему эта идея имеет некоторые достоинства: LLM обучены на огромных хранилищах веб-знаний. Модели как DeepSeek-R1, GPT-4, Claude-3.7 и Gemini-2.0 были обучены на триллионах токенов со всего публичного интернета. По грубым оценкам, от <1% до ~5% высококачественного, публично доступного веб-текста было использовано для обучения ведущих моделей.
Если вам кажется, что это число слишком мало, рассмотрите такое сравнение: если мы используем индекс Google как эталон (представляющий 100% пользовательских данных в мире), то индекс Bing составляет примерно 30-50% от Google. Baidu охватывает около 5-10%, а Yandex - 3-5%. Brave Search индексирует менее 1%. Так что если LLM обучена на 1-5% качественных публичных данных, это потенциально равно тому же объему данных, который может предоставить decent небольшая поисковая система.
Поскольку эти модели эффективно "запомнили" эти веб-данные, нам просто нужно подсказать им таким образом, чтобы "активировать" их память, позволяя им функционировать как поисковые системы и генерировать результаты, подобные странице результатов поисковой системы (SERP).
Так что да, галлюцинации - это проблема, но по мере улучшения возможностей моделей с каждой итерацией мы можем разумно ожидать, что эта проблема уменьшится. В X люди часто одержимы генерацией SVG с нуля каждый раз, когда выпускается новая модель, надеясь, что каждая версия создает лучшие иллюстрации, чем предыдущая. Эта идея поисковой системы следует аналогичной надежде на постепенное улучшение понимания цифрового мира LLM.
qwen-2.5-max рисовать SVG свиньи в один проход.Даты отсечения знаний представляют еще одно ограничение. Поисковые системы должны возвращать информацию практически в реальном времени, но поскольку веса LLM заморожены после обучения, они не могут предоставлять точную информацию после даты отсечения. Как правило, чем ближе запрос к этой дате отсечения, тем вероятнее становятся галлюцинации. Поскольку более старая информация, вероятно, чаще цитировалась и перефразировалась, потенциально увеличивая ее веса в обучающих данных. (Это предполагает, что информация взвешивается равномерно; последние новости могут получать непропорциональное внимание независимо от новизны.) Однако это ограничение фактически определяет именно то, где этот подход может быть наиболее полезным — для информации, которая хорошо вписывается во временные рамки знаний модели.
tagГде LLM-как-SERP может быть полезным?
В DeepSearch/RAG или любых системах с поисковым заземлением основная проблема заключается в определении того, нужна ли вопросу внешняя информация или на него можно ответить из знаний модели. Текущие системы обычно используют маршрутизацию на основе промптов с инструкциями типа:
- For greetings, casual conversation, or general knowledge questions, answer directly without references.
- For all other questions, provide a verified answer with external knowledge. Each reference must include exactQuote and url.Этот подход терпит неудачу в обоих направлениях - иногда вызывая ненужные поиски, а иногда пропуская критически важные потребности в информации. Особенно с новыми моделями рассуждений часто не очевидно до середины генерации, нужны ли внешние данные.
Что если бы мы просто в любом случае выполняли поиск? Мы могли бы сделать один запрос к реальному поисковому API и другой к системе LLM-как-поиск. Это устраняет необходимость принятия решения о маршрутизации заранее и переносит его ниже по потоку, где у нас есть фактические результаты для сравнения - недавние данные из реального поиска, знания в пределах даты отсечения модели и потенциально некоторая неверная информация.
Затем на финальном этапе рассуждений можно выявить несоответствия и оценить источники на основе их актуальности, надежности и согласованности между результатами, что нам не нужно явно программировать — это то, в чем LLM уже преуспевают. Также можно посетить каждый URL в результатах поиска (например, с помощью Jina Reader) для дополнительной проверки источников. В практических реализациях этот шаг проверки всегда необходим в любом случае; никогда не следует полагаться исключительно на выдержки из поисковых систем, независимо от того, реальные они или фиктивные.
tagЗаключение
Используя LLM-as-SERP, мы преобразуем бинарный вопрос "находится ли это в пределах знаний модели или нет?" в более надежный процесс взвешивания доказательств.
Мы предоставляем площадку для экспериментов, а также API-endpoint, размещенный нами, с которым вы можете экспериментировать. Также не стесняйтесь интегрировать его в свои собственные реализации DeepSearch/DeepResearch, чтобы лично увидеть любые улучшения.
jina-ai
API имитирует полноценную конечную точку SERP, где вы можете определить количество результатов, пагинацию, страну, язык и т.д. Вы можете найти его реализацию на GitHub. Мы с нетерпением ждем ваших отзывов об этом интересном подходе.
