Maximizando la Relevancia de Búsqueda y la Precisión de RAG con Jina Reranker

Los embeddings de texto, conocidos por sus capacidades de representación semántica, junto con la recuperación rápida de vectores, son actualmente la piedra angular en la búsqueda de documentos dentro de grandes conjuntos de datos. Sin embargo, el desafío a menudo radica en filtrar estos documentos recuperados para alinearlos con precisión con la intención de búsqueda del usuario, una tarea que va más allá de las capacidades de las simples medidas de similitud del coseno.

Hoy, nos complace anunciar Jina Reranker (jina-reranker-v1-base-en), un modelo neural de reordenamiento de vanguardia diseñado para abordar este problema crítico de relevancia. Jina Reranker mejora tu sistema de búsqueda y RAG (Generación Aumentada por Recuperación) reordenando los documentos recuperados de una manera que comprende profunda y contextualmente los términos de la consulta de búsqueda. Nuestras evaluaciones demostraron mejoras notables para los sistemas de búsqueda que emplean Jina Reranker con +8% en tasa de aciertos y +33% en rango recíproco medio!

Reranker API

Maximize the search relevancy and RAG accuracy at ease

tag¿Qué es un Reranker?

Entender el concepto de un reranker a menudo nos lleva a cuestionar la necesidad de mecanismos de re-ordenamiento en sistemas de búsqueda (ranking). Las preguntas comunes son: "¿Por qué necesitamos un reranker?" y "¿No es suficiente ordenar documentos por similitud del coseno entre los embeddings de la consulta y el documento?" Para abordar estas preguntas, revisemos primero el enfoque de similitud del coseno de embedding único y sus limitaciones.

La similitud del coseno cuantifica la similitud entre dos documentos midiendo el coseno del ángulo entre sus vectores de embedding. Esta métrica es valorada por su simplicidad y ha sido utilizada en muchas bases de datos vectoriales como la forma predeterminada de recuperación. Sin embargo, este enfoque, comúnmente denominado como enfoque basado en representación, tiende a simplificar demasiado la interacción entre la consulta y los documentos. Específicamente, tiene dificultades para capturar la interacción matizada a nivel sub-documento y sub-consulta, a menudo perdiendo la profundidad completa de la intención del usuario y los detalles finos de la relevancia del documento.

Aquí es donde entran en juego los rerankers. Utilizando redes neuronales profundas, los rerankers profundizan en las interacciones entre la consulta y los documentos preseleccionados. Van más allá de los embeddings básicos a nivel de documento para adoptar interacciones a nivel de token que ocurren dentro de la consulta, dentro del documento y a través del límite consulta-documento. Aunque este método es más intensivo computacionalmente en comparación con la simple similitud del coseno, permite una comparación matizada que incorpora contexto, significado semántico y la intención detrás de la consulta, mejorando sustancialmente la relevancia de los resultados de búsqueda.

En resumen, el reranker es un componente crítico en el pipeline de búsqueda. Un sistema de búsqueda de alta calidad típicamente comienza con un paso de recuperación vectorial basado en embeddings, que luego es refinado por un modelo reranker. Este enfoque de dos pasos aprovecha las fortalezas de ambos modelos, asegurando la entrega de información precisa y de alta calidad que se alinea perfectamente con las necesidades del usuario.

tagComenzar con Jina Reranker

Para comenzar a usar Jina Reranker, dirígete a nuestra página de Reranker para obtener tu YOUR_API_KEY. Puedes adaptar el siguiente ejemplo de cURL cambiando la consulta o agregando más documentos:

curl -X 'POST' \
  'https://api.jina.ai/v1/rerank' \
  -H 'accept: application/json' \
  -H 'Authorization: Bearer YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
  "model": "jina-reranker-v1-base-en",
  "query": "Organic skincare products for sensitive skin",
  "documents": [
    "Eco-friendly kitchenware for modern homes",
    "Biodegradable cleaning supplies for eco-conscious consumers",
    "Organic cotton baby clothes for sensitive skin",
    "Natural organic skincare range for sensitive skin",
    "Tech gadgets for smart homes: 2024 edition",
    "Sustainable gardening tools and compost solutions",
    "Sensitive skin-friendly facial cleansers and toners",
    "Organic food wraps and storage solutions",
    "All-natural pet food for dogs with allergies",
    "Yoga mats made from recycled materials"
  ], 
  "top_n": 3
}'
Copiar

En este ejemplo, los documentos abarcan desde artículos para el hogar hasta gadgets tecnológicos, ropa e incluso comida para mascotas, mostrando un amplio espectro de productos que uno podría encontrar en un sitio de comercio electrónico. Esta diversidad requiere que el reranker identifique y priorice efectivamente los elementos más relevantes para la consulta sobre "productos orgánicos para el cuidado de la piel sensible", a pesar de la presencia de otros productos orgánicos, ecológicos o relacionados con la piel sensible en diferentes categorías. La respuesta es un objeto JSON como sigue:

{
  "model": "jina-reranker-v1-base-en",
  "usage": {
    "total_tokens": 38,
    "prompt_tokens": 38
  },
  "results": [
    {
      "index": 3,
      "document": {
        "text": "Natural organic skincare range for sensitive skin"
      },
      "relevance_score": 0.8292155861854553
    },
    {
      "index": 2,
      "document": {
        "text": "Organic cotton baby clothes for sensitive skin"
      },
      "relevance_score": 0.14426936209201813
    },
    {
      "index": 6,
      "document": {
        "text": "Sensitive skin-friendly facial cleansers and toners"
      },
      "relevance_score": 0.13857832551002502
    }
  ]
}
Copiar

tagRendimiento Superior de Jina Reranker

Evaluamos Jina Reranker en cuatro puntos de referencia clave para asegurar un rendimiento de primer nivel y relevancia en la búsqueda. Un mejor rendimiento en estos puntos de referencia se traduce directamente en mejor precisión, relevancia y comprensión contextual en aplicaciones de búsqueda y recuperación.

Para comparación, incluimos otros tres rerankers líderes de BGE (BAAI), BCE (Netease Youdao), y Cohere en el benchmark. Como muestran los resultados a continuación, Jina Reranker mantiene la puntuación promedio más alta en todas las categorías relevantes para el reordenamiento, convirtiéndolo en un claro líder entre sus pares.

tagBenchmark 1: LlamaIndex RAG

Un estudio comparativo realizado por LlamaIndex (que hemos reproducido), evaluó una combinación de diferentes modelos de embeddings y reranking en tareas RAG. Esto combina dos puntuaciones - Hit-rate (qué tan probable es que un documento relevante sea recuperado por un modelo de embedding), y Mean Reciprocal Rank (MRR - qué tan alto está clasificado el documento más relevante por el modelo de reranking).

Mejora Sustancial Sobre la Similitud del Coseno Simple

La mejora que Jina Reranker aporta tanto al Hit Rate como al Mean Reciprocal Rank (MRR) es significativa. En promedio, la introducción de Jina Reranker eleva el Hit Rate de 0.7908 a 0.8553 (+7.9%), y el MRR de 0.5307 a 0.7091 (+33.7%). Esto demuestra la capacidad del reranker para mejorar dramáticamente la precisión y relevancia de los resultados de búsqueda, asegurando que los usuarios tengan más probabilidades de encontrar lo que buscan con mayor exactitud.

Agnosticismo de Embeddings

El rendimiento de Jina Reranker a través de diferentes modelos de embedding ilustra aún más su naturaleza agnóstica al modelo. Ya sea emparejado con jina-embeddings-v2-base-en, bge-base-en-v1.5, bce-embedding-base_v1, o CohereV3-en, Jina Reranker mejora consistentemente el Hit Rate y MRR. Esta versatilidad lo convierte en una herramienta invaluable para una amplia gama de aplicaciones, confirmando su adaptabilidad a diferentes tecnologías subyacentes y casos de uso.

tagBenchmark 2: BEIR

BIER (Benchmarking IR) evalúa la efectividad de recuperación de un modelo, incluyendo relevancia y NDCG. Una puntuación BIER más alta se correlaciona con coincidencias más precisas y mejores clasificaciones en los resultados de búsqueda.

tagBenchmark 3: MTEB

Sin embargo, la incorporación de un modelo de reordenamiento permite una comprensión matizada de la relevancia de los documentos, mejorando el contexto del LLM con información sobre la importancia relativa de cada libro de cocina. La entrada refinada, destacando la relevancia clasificada del contexto para la consulta, podría aparecer entonces de la siguiente manera:

Context information is below.
Note that the context is ranked from most to least relevant to the query.
---------------------
{Julia_Child_Mastering_The_Art_Of_French_Cooking}
{Jiro_Ono_Sushi_Estetica_E_Tecnica}
{Madhur_Jaffrey_An_Invitation_To_Indian_Cooking}
---------------------

Given the context information and no prior knowledge, answer the query.
Query: Create a recipe using the ingredients below.
---------------------
Salmon
Asparagus
Potatoes
---------------------
Copiar

Esta capa adicional de comprensión sobre la relevancia de los libros de cocina para los ingredientes dados hace evidente que la receta óptima probablemente pertenezca a la cocina francesa, dirigiendo la sugerencia del chatbot en una dirección que mejor se ajuste al contexto culinario de los ingredientes. Sin reordenamiento, una sugerencia basada en sushi podría haber sido igualmente plausible dado el protagonismo del salmón, pero habría conducido a una experiencia culinaria notablemente diferente.

Además, al determinar el número de documentos a considerar en el proceso de clasificación, los usuarios pueden ajustar la precisión y las demandas computacionales de la operación según sus requisitos específicos, lo que demuestra aún más la versatilidad y eficacia del reordenador.

tagPrecios accesibles de API

La API de Jina Reranker viene con precios idénticos a nuestra API de embeddings (incluyendo 1 millón de prueba gratuita), como jina-embeddings-v2-base-en, basado en el número total de tokens, en consultas y documentos. Las cuotas de tokens se pueden comprar en nuestra página de Embeddings/Reranker API. El secreto de API y las cuotas de tokens se pueden utilizar tanto para las API de reordenamiento como de embeddings.

tagPróximamente en AWS Marketplace

Ampliando nuestro alcance, Jina Reranker no solo será accesible a través de nuestra API, sino que también está programado para debutar en el AWS SageMaker Marketplace para una implementación sin problemas en la nube privada. Esta próxima disponibilidad tiene como objetivo ofrecer una protección de datos mejorada y seguridad de aplicaciones dentro de los límites familiares de tu suscripción a AWS cloud.

Valoramos enormemente tus ideas y experiencias con Jina Reranker. Habla con nosotros en nuestro canal de Discord para compartir tus comentarios y mantenerte al día con nuestros últimos modelos. Tu opinión es crucial mientras continuamos refinando nuestras tecnologías y contribuyendo a un ecosistema de IA de búsqueda más dinámico e inclusivo.