Jina Reranker による検索の関連性と RAG の精度の最大化

テキストの埋め込み（embeddings）は、その意味的な表現能力と高速なベクトル検索により、現在、大規模なデータセット内のドキュメント検索において重要な役割を果たしています。しかし、検索されたドキュメントをユーザーの検索意図に正確に合わせるためのフィルタリングは、単純なコサイン類似度の測定だけでは達成できない課題となっています。

本日、この重要な関連性の問題に取り組むために設計された最先端のニューラル再ランク付けモデル、Jina Reranker（jina-reranker-v1-base-en）の発表を嬉しくお知らせします。Jina Reranker は、検索クエリの用語を深く文脈的に理解し、検索された文書を再順序付けすることで、検索システムと RAG（Retrieval-Augmented Generation）システムを強化します。評価では、Jina Reranker を使用した検索システムでヒット率が +8%、平均逆順位が +33% 向上という顕著な改善が示されました！

Reranker API

Maximize the search relevancy and RAG accuracy at ease

tagReranker とは何か？

Reranker の概念を理解するには、検索（ランキング）システムにおける再ランク付けメカニズムの必要性について考える必要があります。よくある質問として、「なぜ再ランク付けが必要なのか？」「クエリとドキュメントの埋め込みベクトル間のコサイン類似度でランク付けするだけでは十分ではないのか？」があります。これらの質問に答えるため、まず単一の埋め込みコサイン類似度アプローチとその限界について振り返ってみましょう。

コサイン類似度は、2つのドキュメントの埋め込みベクトル間の角度のコサインを測定することで、その類似性を定量化します。この指標はシンプルさが評価され、多くのベクターデータベースでデフォルトの検索方法として使用されています。しかし、この表現ベースのアプローチは、クエリとドキュメント間の相互作用を過度に単純化する傾向があります。特に、サブドキュメントレベルとサブクエリレベルでの細かな相互作用の捕捉が難しく、ユーザーの意図の深さやドキュメントの関連性の細部を見逃しがちです。

ここで reranker の出番となります。ディープニューラルネットワークを活用する reranker は、クエリと候補ドキュメント間の相互作用をより深く分析します。基本的なドキュメントレベルの埋め込みを超えて、クエリ内、ドキュメント内、そしてクエリとドキュメント間の境界を越えたトークンレベルの相互作用を取り入れます。この方法は単純なコサイン類似度と比べて計算コストが高くなりますが、文脈、意味的な意味、クエリの背後にある意図を組み込んだ細かい比較を可能にし、検索結果の関連性を大幅に向上させます。

要するに、reranker は検索パイプラインにおける重要なコンポーネントです。高品質な検索システムは通常、埋め込みベースのベクトル検索ステップから始まり、それを reranker モデルで洗練させます。この2段階のアプローチは両モデルの強みを活かし、ユーザーのニーズに完璧に合致した正確で高品質な情報の提供を保証します。

tagJina Reranker を始める

Jina Reranker を使い始めるには、Reranker ページにアクセスしてYOUR_API_KEYを取得してください。以下の cURL スニペットの例を、クエリを変更したり、ドキュメントを追加したりして調整できます：

curl -X 'POST' \
  'https://api.jina.ai/v1/rerank' \
  -H 'accept: application/json' \
  -H 'Authorization: Bearer YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
  "model": "jina-reranker-v1-base-en",
  "query": "Organic skincare products for sensitive skin",
  "documents": [
    "Eco-friendly kitchenware for modern homes",
    "Biodegradable cleaning supplies for eco-conscious consumers",
    "Organic cotton baby clothes for sensitive skin",
    "Natural organic skincare range for sensitive skin",
    "Tech gadgets for smart homes: 2024 edition",
    "Sustainable gardening tools and compost solutions",
    "Sensitive skin-friendly facial cleansers and toners",
    "Organic food wraps and storage solutions",
    "All-natural pet food for dogs with allergies",
    "Yoga mats made from recycled materials"
  ], 
  "top_n": 3
}'
コピー

この例では、ドキュメントは家庭用品からテクノロジーガジェット、衣類、ペットフードまで多岐にわたり、e コマースサイトで見られるような幅広い製品を示しています。この多様性により、reranker は「オーガニックスキンケア製品（敏感肌用）」に関するクエリに対して、他のオーガニック、エコフレンドリー、または敏感肌関連の製品が異なるカテゴリーに存在する中で、最も関連性の高いアイテムを効果的に特定し、優先順位付けする必要があります。レスポンスは以下のような JSON オブジェクトとなります：

{
  "model": "jina-reranker-v1-base-en",
  "usage": {
    "total_tokens": 38,
    "prompt_tokens": 38
  },
  "results": [
    {
      "index": 3,
      "document": {
        "text": "Natural organic skincare range for sensitive skin"
      },
      "relevance_score": 0.8292155861854553
    },
    {
      "index": 2,
      "document": {
        "text": "Organic cotton baby clothes for sensitive skin"
      },
      "relevance_score": 0.14426936209201813
    },
    {
      "index": 6,
      "document": {
        "text": "Sensitive skin-friendly facial cleansers and toners"
      },
      "relevance_score": 0.13857832551002502
    }
  ]
}
コピー

tagJina Reranker の優れたパフォーマンス

最高レベルのパフォーマンスと検索の関連性を確保するため、Jina Reranker を 4 つの主要なベンチマークで評価しました。これらのベンチマークでの高いパフォーマンスは、検索および検索アプリケーションにおける精度、関連性、文脈理解の向上に直接反映されます。

比較のため、BGE（BAAI）、BCE（Netease Youdao）、Cohereによる他の主要な 3 つの reranker をベンチマークに含めました。以下の結果が示すように、Jina Reranker は再ランク付けに関連するすべてのカテゴリーで最高の平均スコアを維持しており、同業他社の中で明確なリーダーとなっています。

tagベンチマーク 1：LlamaIndex RAG

LlamaIndex により行われた（そして私たちも再現した）ベンチマーク調査では、RAG タスクにおいて異なる embedding モデルと reranking モデルの組み合わせを評価しました。これは ヒット率（embedding モデルによって関連文書が検索される可能性）と平均逆順位（MRR - reranker モデルによって最も関連性の高い文書がどの程度高くランク付けされるか）という 2 つのスコアを組み合わせたものです。

単純なコサイン類似度からの大幅な改善

Jina Reranker がヒット率と平均逆順位（MRR）の両方にもたらす改善は顕著です。平均して、Jina Reranker の導入によりヒット率は 0.7908 から 0.8553（+7.9%）に、MRR は 0.5307 から 0.7091（+33.7%）に向上しています。これは検索結果の精度と関連性を劇的に向上させる reranker の能力を示しており、ユーザーがより高い精度で求めているものを見つけられる可能性が高くなることを保証します。

Embeddings に依存しない特性

異なる embedding モデルにおける Jina Reranker のパフォーマンスは、そのモデルに依存しない性質をさらに示しています。jina-embeddings-v2-base-en、bge-base-en-v1.5、bce-embedding-base_v1、または CohereV3-en のいずれと組み合わせても、Jina Reranker は一貫してヒット率と MRR を改善します。この汎用性により、さまざまなアプリケーションにおいて貴重なツールとなり、異なる基盤技術やユースケースへの適応性を確認できます。

tagベンチマーク 2：BEIR

BIER（Benchmarking IR）は、関連性やNDCGを含むモデルの検索有効性を評価します。BIER スコアが高いほど、より正確なマッチングと検索結果のランキングに相関します。

tagベンチマーク 3：MTEB

しかし、reranker モデルを組み込むことで、文書の関連性をより詳細に理解し、各料理本の相対的な重要性に関する情報を LLM のコンテキストに追加することができます。クエリに対するコンテキストの関連性のランク付けを強調した改良された入力は、以下のようになります：

Context information is below.
Note that the context is ranked from most to least relevant to the query.
---------------------
{Julia_Child_Mastering_The_Art_Of_French_Cooking}
{Jiro_Ono_Sushi_Estetica_E_Tecnica}
{Madhur_Jaffrey_An_Invitation_To_Indian_Cooking}
---------------------

Given the context information and no prior knowledge, answer the query.
Query: Create a recipe using the ingredients below.
---------------------
Salmon
Asparagus
Potatoes
---------------------
コピー

与えられた材料に対する料理本の関連性についてのこの追加的な洞察により、最適なレシピはフランス料理の範囲内にあることが明らかになり、チャットボットの提案を材料の料理的文脈に最も適した方向へと導きます。reranking なしでは、サーモンの重要性を考えると寿司のような提案も同様に妥当であったかもしれませんが、それは全く異なる食事体験につながったでしょう。

さらに、ランキングプロセスで考慮する文書数を決定することで、ユーザーは特定の要件に合わせて操作の精度と計算要求を微調整することができ、reranker の汎用性と効果をさらに実証しています。

tag手頃な API 価格設定

Jina Reranker API は、jina-embeddings-v2-base-en などの embedding API と同じ価格設定（100 万トークンの無料トライアルを含む）で提供され、クエリとドキュメントの総トークン数に基づいています。トークンクォータは Embeddings/Reranker API ページで購入できます。API シークレットとトークンクォータは、reranker と embedding の両方の API で使用できます。

tagAWS Marketplace で近日公開

サービス範囲を拡大し、Jina Reranker は API を通じてだけでなく、プライベートクラウドデプロイメントのためのスムーズな導入を目指して AWS SageMaker Marketplace でも提供される予定です。この今後の展開により、AWS クラウドサブスクリプションの使い慣れた環境内でのデータ保護とアプリケーションセキュリティの向上を目指しています。

私たちは Jina Reranker に関するご意見やご経験を非常に重視しています。Discord チャンネルでフィードバックを共有し、最新のモデルについての情報を入手してください。私たちが技術を改良し、より動的で包括的な検索 AI エコシステムに貢献し続ける上で、皆様からのご意見は非常に重要です。