Jina Reranker를 통한 검색 연관성과 RAG 정확도 극대화

텍스트 임베딩은 의미 표현 능력과 빠른 벡터 검색으로 잘 알려져 있으며, 오늘날 방대한 데이터셋에서의 문서 검색에서 핵심적인 역할을 합니다. 하지만 단순한 코사인 유사도 측정으로는 해결할 수 없는, 사용자의 검색 의도에 정확하게 부합하는 문서를 필터링하는 것이 종종 과제가 됩니다.

오늘 우리는 이러한 중요한 관련성 문제를 해결하기 위해 설계된 최첨단 신경망 재순위화 모델인 Jina Reranker(jina-reranker-v1-base-en)를 발표하게 되어 기쁩니다. Jina Reranker는 검색 쿼리 용어를 깊이 있고 맥락적으로 이해하여 검색된 문서를 재정렬함으로써 검색 및 RAG (Retrieval-Augmented Generation) 시스템을 향상시킵니다. 우리의 평가에 따르면 Jina Reranker를 사용한 검색 시스템은 적중률이 8% 증가하고 평균 역순위가 33% 향상되는 놀라운 개선을 보여주었습니다!

Reranker API

Maximize the search relevancy and RAG accuracy at ease

tagReranker란 무엇인가?

Reranker의 개념을 이해하면서 우리는 종종 검색(순위) 시스템에서 재순위화 메커니즘의 필요성에 대해 의문을 가지게 됩니다. 흔한 질문으로는 "왜 reranker가 필요한가?" 그리고 "쿼리와 문서 임베딩 간의 코사인 유사도로 문서 순위를 매기는 것만으로도 충분하지 않은가?"가 있습니다. 이러한 질문에 답하기 위해, 먼저 단일 임베딩 코사인 유사도 접근 방식과 그 한계를 살펴보겠습니다.

코사인 유사도는 두 문서의 임베딩 벡터 사이의 각도의 코사인을 측정하여 두 문서 간의 유사도를 정량화합니다. 이 메트릭은 단순성으로 인해 가치가 있으며 많은 벡터 데이터베이스에서 기본 검색 방법으로 사용되어 왔습니다. 하지만 representation-based 접근 방식이라고 불리는 이 방법은 쿼리와 문서 간의 상호작용을 과도하게 단순화하는 경향이 있습니다. 특히 하위 문서 수준과 하위 쿼리 수준에서의 미묘한 상호작용을 포착하는 데 어려움이 있어, 종종 사용자 의도의 전체적인 깊이와 문서 관련성의 세부 사항을 놓치게 됩니다.

이것이 바로 reranker가 필요한 이유입니다. 심층 신경망을 활용하여 reranker는 쿼리와 선별된 문서 간의 상호작용을 더 깊이 분석합니다. 기본적인 문서 수준 임베딩을 넘어서 쿼리 내부, 문서 내부, 그리고 쿼리-문서 경계를 넘나드는 토큰 수준의 상호작용을 포용합니다. 이 방법은 단순한 코사인 유사도에 비해 계산 비용이 더 많이 들지만, 맥락, 의미론적 의미, 그리고 쿼리 뒤의 의도를 통합하는 미묘한 비교를 가능하게 하여 검색 결과의 관련성을 크게 향상시킵니다.

요약하자면, reranker는 검색 파이프라인의 중요한 구성 요소입니다. 고품질 검색 시스템은 일반적으로 임베딩 기반 벡터 검색 단계로 시작하여 reranker 모델로 정제됩니다. 이러한 2단계 접근 방식은 두 모델의 장점을 활용하여 사용자의 요구에 완벽하게 부합하는 정확하고 고품질의 정보를 제공합니다.

tagJina Reranker 시작하기

Jina Reranker를 시작하려면 YOUR_API_KEY를 얻기 위해 우리의 Reranker 페이지로 이동하세요. 아래의 예시 cURL 코드에서 쿼리를 변경하거나 더 많은 문서를 추가하여 적용할 수 있습니다:

curl -X 'POST' \
  'https://api.jina.ai/v1/rerank' \
  -H 'accept: application/json' \
  -H 'Authorization: Bearer YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
  "model": "jina-reranker-v1-base-en",
  "query": "Organic skincare products for sensitive skin",
  "documents": [
    "Eco-friendly kitchenware for modern homes",
    "Biodegradable cleaning supplies for eco-conscious consumers",
    "Organic cotton baby clothes for sensitive skin",
    "Natural organic skincare range for sensitive skin",
    "Tech gadgets for smart homes: 2024 edition",
    "Sustainable gardening tools and compost solutions",
    "Sensitive skin-friendly facial cleansers and toners",
    "Organic food wraps and storage solutions",
    "All-natural pet food for dogs with allergies",
    "Yoga mats made from recycled materials"
  ], 
  "top_n": 3
}'
Copy

이 예시에서 문서들은 가정용품부터 기술 기기, 의류, 심지어 애완동물 사료까지 다양한 범위를 보여주며, 이는 전자상거래 사이트에서 찾을 수 있는 광범위한 제품을 보여줍니다. 이러한 다양성은 reranker가 다른 카테고리의 유기농, 친환경, 또는 민감한 피부 관련 제품들 중에서 "유기농 스킨케어 제품들 민감성 피부용"이라는 쿼리와 가장 관련 있는 항목을 효과적으로 식별하고 우선순위를 정해야 합니다. 응답은 다음과 같은 JSON 객체입니다:

{
  "model": "jina-reranker-v1-base-en",
  "usage": {
    "total_tokens": 38,
    "prompt_tokens": 38
  },
  "results": [
    {
      "index": 3,
      "document": {
        "text": "Natural organic skincare range for sensitive skin"
      },
      "relevance_score": 0.8292155861854553
    },
    {
      "index": 2,
      "document": {
        "text": "Organic cotton baby clothes for sensitive skin"
      },
      "relevance_score": 0.14426936209201813
    },
    {
      "index": 6,
      "document": {
        "text": "Sensitive skin-friendly facial cleansers and toners"
      },
      "relevance_score": 0.13857832551002502
    }
  ]
}
Copy

tagJina Reranker의 최고 성능

우리는 최고 수준의 성능과 검색 관련성을 보장하기 위해 Jina Reranker를 4가지 주요 벤치마크에서 평가했습니다. 이러한 벤치마크에서의 높은 성능은 검색 및 검색 응용 프로그램에서 더 나은 정확도, 관련성, 맥락적 이해로 직접 이어집니다.

비교를 위해 BGE (BAAI), BCE (Netease Youdao), 그리고 Cohere의 다른 세 개의 주요 reranker를 벤치마크에 포함했습니다. 아래 결과에서 보여지듯이, Jina Reranker는 재순위화와 관련된 모든 카테고리에서 가장 높은 평균 점수를 기록하며, 동종 업계에서 명확한 선두 주자임을 보여줍니다.

tag벤치마크 1: LlamaIndex RAG

LlamaIndex가 수행한 벤치마크 연구(우리가 재현한)에서는 RAG 태스크에서 다양한 임베딩 모델과 재순위화 모델의 조합을 평가했습니다. 이는 두 가지 점수를 결합한 것입니다 - 적중률(임베딩 모델이 관련 문서를 검색할 가능성)과 평균 역순위(MRR - 재순위화 모델이 가장 관련 있는 문서를 얼마나 높은 순위에 매기는지)입니다.

단순 코사인 유사도 대비 상당한 개선

Jina Reranker가 적중률과 평균 역순위(MRR) 모두에서 가져온 개선은 상당합니다. 평균적으로 Jina Reranker의 도입으로 적중률이 0.7908에서 0.8553으로(+7.9%), MRR은 0.5307에서 0.7091로(+33.7%) 상승했습니다. 이는 재순위화 모델이 검색 결과의 정밀도와 관련성을 극적으로 향상시키는 능력을 보여주며, 사용자가 더 높은 정확도로 찾고자 하는 것을 발견할 가능성이 높아진다는 것을 의미합니다.

임베딩 모델 독립성

다양한 임베딩 모델에서 보여주는 Jina Reranker의 성능은 모델 독립적인 특성을 잘 보여줍니다. jina-embeddings-v2-base-en, bge-base-en-v1.5, bce-embedding-base_v1, 또는 CohereV3-en과 페어링되었을 때도 Jina Reranker는 일관되게 적중률과 MRR을 개선합니다. 이러한 다재다능성은 다양한 기반 기술과 사용 사례에 적응할 수 있음을 확인해주며, 이는 폭넓은 애플리케이션에서 귀중한 도구가 됩니다.

tag벤치마크 2: BEIR

BIER (Benchmarking IR)은 관련성과 NDCG를 포함한 모델의 검색 효과를 평가합니다. BIER 점수가 높을수록 더 정확한 매칭과 검색 결과 순위를 나타냅니다.

tag벤치마크 3: MTEB

그러나 리랭커 모델을 통합하면 문서의 관련성에 대한 미묘한 이해가 가능해져, 각 요리책의 상대적 중요도에 대한 정보로 LLM의 컨텍스트를 강화할 수 있습니다. 쿼리에 대한 컨텍스트의 순위가 매겨진 관련성을 강조하는 정제된 입력은 다음과 같이 나타날 수 있습니다:

Context information is below.
Note that the context is ranked from most to least relevant to the query.
---------------------
{Julia_Child_Mastering_The_Art_Of_French_Cooking}
{Jiro_Ono_Sushi_Estetica_E_Tecnica}
{Madhur_Jaffrey_An_Invitation_To_Indian_Cooking}
---------------------

Given the context information and no prior knowledge, answer the query.
Query: Create a recipe using the ingredients below.
---------------------
Salmon
Asparagus
Potatoes
---------------------
Copy

주어진 재료에 대한 요리책의 관련성에 대한 이러한 추가적인 통찰력은 최적의 레시피가 프랑스 요리에 속할 가능성이 높다는 것을 분명히 보여주며, 챗봇의 제안을 재료의 요리 컨텍스트에 가장 잘 맞는 방향으로 이끕니다. 리랭킹이 없었다면 연어의 중요성을 고려할 때 스시 기반의 제안도 동일하게 타당했을 수 있지만, 이는 매우 다른 식사 경험으로 이어졌을 것입니다.

또한 랭킹 프로세스에서 고려할 문서의 수를 결정함으로써 사용자는 특정 요구 사항에 맞게 작업의 정확도와 계산 요구사항을 미세 조정할 수 있어, 리랭커의 다양성과 효과를 더욱 잘 보여줍니다.

tag합리적인 API 가격

Jina Reranker API는 jina-embeddings-v2-base-en과 같은 임베딩 API와 동일한 가격(100만 토큰 무료 체험 포함)으로 제공되며, 쿼리와 문서의 총 토큰 수를 기준으로 합니다. 토큰 할당량은 Embeddings/Reranker API 페이지에서 구매할 수 있습니다. API 시크릿과 토큰 할당량은 리랭커와 임베딩 API 모두에 사용할 수 있습니다.

tag곧 AWS Marketplace에서 만나보세요

우리의 영역을 확장하여, Jina Reranker는 API를 통해서뿐만 아니라 프라이빗 클라우드 배포를 위해 AWS SageMaker Marketplace에도 곧 출시될 예정입니다. 이 예정된 가용성은 AWS 클라우드 구독의 친숙한 환경 내에서 향상된 데이터 보호와 애플리케이션 보안을 제공하는 것을 목표로 합니다.

우리는 Jina Reranker에 대한 여러분의 통찰력과 경험을 매우 소중하게 생각합니다. Discord 채널에서 여러분의 피드백을 공유하고 최신 모델에 대한 정보를 얻으세요. 우리가 기술을 개선하고 더 역동적이고 포용적인 검색 AI 생태계에 기여하는 데 있어 여러분의 의견이 매우 중요합니다.