使用 Jina Reranker 提升搜尋相關性與 RAG 準確度

文本嵌入以其語義表示能力而著稱，與快速向量檢索相結合，是當今大型數據集文檔搜索的基石。然而，挑戰往往在於如何在這些檢索到的文檔中進行篩選，以準確符合用戶的搜索意圖，這是簡單餘弦相似度度量無法勝任的任務。

今天，我們很興奮地宣布推出 Jina Reranker（jina-reranker-v1-base-en），這是一個專門解決相關性問題的尖端神經重排序模型。Jina Reranker 通過深入且具有上下文地理解搜索查詢詞，來重新排序檢索到的文檔，從而增強您的搜索和 RAG（檢索增強生成）系統。我們的評估表明，使用 Jina Reranker 的搜索系統有顯著改進，命中率提高了 8%，平均倒數排名提高了 33%！

Reranker API

輕鬆提升搜索相關性和 RAG 準確度

tag什麼是 Reranker？

理解 reranker 的概念通常會讓我們質疑搜索（排序）系統中為什麼需要重新排序機制。常見的問題是，"為什麼我們需要 reranker？"和"僅僅通過查詢和文檔嵌入之間的餘弦相似度來排序文檔不是已經足夠了嗎？"為了回答這些問題，讓我們首先回顧一下單一嵌入餘弦相似度方法及其局限性。

餘弦相似度通過測量兩個嵌入向量之間的夾角餘弦來量化兩個文檔之間的相似度。這種度量因其簡單性而受到重視，並被許多向量數據庫用作默認的檢索方式。然而，這種被稱為基於表示的方法往往過於簡化了查詢和文檔之間的交互。具體來說，它難以捕捉子文檔層面和子查詢層面的細微交互，常常無法完全理解用戶意圖和文檔相關性的細節。

這就是 reranker 發揮作用的地方。利用深度神經網絡，reranker 能更深入地探索查詢和入圍文檔之間的交互。它超越了基本的文檔級嵌入，採用了查詢內部、文檔內部以及跨查詢-文檔邊界的 token 級交互。儘管與簡單的餘弦相似度相比，這種方法在計算上更為密集，但它實現了包含上下文、語義含義和查詢背後意圖的細緻比較，大大提高了搜索結果的相關性。

總之，reranker 是搜索流程中的關鍵組件。高品質的搜索系統通常從基於嵌入的向量檢索步驟開始，然後由 reranker 模型進行精煉。這種兩步驟方法利用了兩種模型的優勢，確保提供與用戶需求無縫對接的精確、高質量信息。

tag開始使用 Jina Reranker

要開始使用 Jina Reranker，請前往我們的 Reranker 頁面獲取 YOUR_API_KEY。您可以通過更改查詢或添加更多文檔來修改以下示例 cURL 代碼片段：

curl -X 'POST' \
  'https://api.jina.ai/v1/rerank' \
  -H 'accept: application/json' \
  -H 'Authorization: Bearer YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
  "model": "jina-reranker-v1-base-en",
  "query": "Organic skincare products for sensitive skin",
  "documents": [
    "Eco-friendly kitchenware for modern homes",
    "Biodegradable cleaning supplies for eco-conscious consumers",
    "Organic cotton baby clothes for sensitive skin",
    "Natural organic skincare range for sensitive skin",
    "Tech gadgets for smart homes: 2024 edition",
    "Sustainable gardening tools and compost solutions",
    "Sensitive skin-friendly facial cleansers and toners",
    "Organic food wraps and storage solutions",
    "All-natural pet food for dogs with allergies",
    "Yoga mats made from recycled materials"
  ], 
  "top_n": 3
}'
Copy

在這個示例中，文檔涵蓋了從家居用品到科技產品、服裝甚至寵物食品等廣泛範圍，展示了電商網站可能出現的各種產品。這種多樣性要求 reranker 能夠有效識別和優先排序與"有機敏感肌膚護膚品"查詢最相關的項目，即使其他類別中也存在有機、環保或敏感肌相關的產品。響應是一個 JSON 對象，如下所示：

{
  "model": "jina-reranker-v1-base-en",
  "usage": {
    "total_tokens": 38,
    "prompt_tokens": 38
  },
  "results": [
    {
      "index": 3,
      "document": {
        "text": "Natural organic skincare range for sensitive skin"
      },
      "relevance_score": 0.8292155861854553
    },
    {
      "index": 2,
      "document": {
        "text": "Organic cotton baby clothes for sensitive skin"
      },
      "relevance_score": 0.14426936209201813
    },
    {
      "index": 6,
      "document": {
        "text": "Sensitive skin-friendly facial cleansers and toners"
      },
      "relevance_score": 0.13857832551002502
    }
  ]
}
Copy

tagJina Reranker 的頂級性能

我們在四個關鍵基準測試上評估了 Jina Reranker，以確保頂級性能和搜索相關性。這些基準測試中的較高性能直接轉化為搜索和檢索應用中更好的精確度、相關性和上下文理解。

作為對比，我們納入了來自 BGE（BAAI）、BCE（網易有道）和 Cohere 的三個其他領先 reranker 進行基準測試。如下面的結果所示，Jina Reranker 在所有與重排序相關的類別中都保持最高的平均分數，使其成為同類產品中的明顯領導者。

tag基準測試 1：LlamaIndex RAG

LlamaIndex 進行的一項基準研究（我們也重現了該研究）評估了在 RAG 任務中結合不同的 embedding 和重新排序模型的效果。這結合了兩個分數 - 命中率（embedding 模型檢索相關文檔的可能性）和平均倒數排名（MRR - 重新排序模型將最相關文檔排在多高位置）。

相比簡單餘弦相似度的顯著改進

Jina Reranker 在命中率和平均倒數排名（MRR）方面帶來的改進都很顯著。平均而言，引入 Jina Reranker 使命中率從 0.7908 提升到 0.8553（+7.9%），MRR 從 0.5307 提升到 0.7091（+33.7%）。這展示了重新排序器能夠大幅提高搜索結果的精確度和相關性，確保使用者更有可能以更高的準確度找到他們所搜尋的內容。

Embedding 模型無關性

Jina Reranker 在不同 embedding 模型上的表現進一步說明了它的模型無關性。無論是與 jina-embeddings-v2-base-en、bge-base-en-v1.5、bce-embedding-base_v1 還是 CohereV3-en 配對，Jina Reranker 都能持續改善命中率和 MRR。這種通用性使其成為各種應用場景的寶貴工具，證實了它能適應不同的底層技術和使用案例。

tag基準測試 2：BEIR

BIER（基準檢索評測）用於評估模型的檢索效能，包括相關性和 NDCG。較高的 BIER 分數代表更準確的匹配和搜尋結果排名。

tag基準測試 3：MTEB

然而，加入重排序模型可以讓系統對文件相關性有更細微的理解，透過各烹飪書籍相對重要性的資訊來增強 LLM 的上下文理解。經過優化的輸入內容，突顯與查詢相關的上下文排名，可能會呈現如下：

Context information is below.
Note that the context is ranked from most to least relevant to the query.
---------------------
{Julia_Child_Mastering_The_Art_Of_French_Cooking}
{Jiro_Ono_Sushi_Estetica_E_Tecnica}
{Madhur_Jaffrey_An_Invitation_To_Indian_Cooking}
---------------------

Given the context information and no prior knowledge, answer the query.
Query: Create a recipe using the ingredients below.
---------------------
Salmon
Asparagus
Potatoes
---------------------
Copy

對烹飪書籍與給定食材相關性的這層額外洞察，清楚表明最佳的食譜可能屬於法國料理範疇，引導聊天機器人的建議朝向最符合食材烹飪背景的方向。若不進行重排序，基於鮭魚的突出地位，建議壽司料理也許同樣合理，但這會帶來截然不同的用餐體驗。

此外，透過確定要納入排名過程的文件數量，用戶可以根據其具體需求來調整操作的精確度和計算需求，進一步展現了重排序器的多功能性和效果。

tag實惠的 API 定價

Jina Reranker API 採用與我們的嵌入 API 相同的定價（包含 100 萬次免費試用），例如 jina-embeddings-v2-base-en，基於查詢和文件中的總 token 數量計費。Token 配額可以在我們的 Embeddings/Reranker API 頁面購買。API 金鑰和 token 配額可同時用於重排序和嵌入 API。

tag即將登陸 AWS Marketplace

為擴大服務範圍，Jina Reranker 不僅可透過我們的 API 存取，還將在 AWS SageMaker Marketplace 上推出，實現無縫的私有雲部署。這項即將推出的服務旨在為您提供在熟悉的 AWS 雲端訂閱環境中增強的資料保護和應用程式安全性。

我們非常重視您對 Jina Reranker 的見解和使用體驗。歡迎在我們的 Discord 頻道分享您的回饋，並了解我們最新的模型進展。在我們持續改進技術並為建立更動態、更包容的搜尋 AI 生態系統作出貢獻的過程中，您的意見至關重要。