自動微調

只需告訴我們您希望向量模型在哪個領域表現出色,我們就會自動為該領域交付一個開箱即用的微調向量模型。

什麼是自動微調?

有三種方式說明您的需求:通用說明、URL,或查詢-文件描述。請任選一種。
選擇基礎向量模型
微調是指在新資料集上繼續訓練預訓練模型,使其適配特定任務或領域。實際操作中,許多使用者很難找到有效的訓練資料。有效訓練遠不止把原始 PDF、HTML 丟給模型那麼簡單,做對並不容易。自動微呼叫一套先進的大模型智慧體流程自動生成有效訓練資料,並在 ML 工作流中完成模型微調,從而解決這一難題。您可以把它看作合成資料生成與 AutoML 的結合:只需用自然語言描述目標領域,剩下的交給我們的系統。
自動微調聽上去像魔法:您想要哪個領域,就為您交付該領域微調好的向量模型。可它真的管用嗎?這個疑問相當合理。我們在多種領域和底座模型上做了測試來驗證。下面既有表現出色的例子,也有翻車的例子。
微調底座模型
jinaai/jina-embeddings-v2-base-en
平均提升
2%

領域指令
微調前後合成驗證集上的表現
NDCG
0.505 0.532 5%
MAP
0.352 0.389 10%
MRR
0.352 0.389 10%
微調前後在保留測試集上的表現
已對來自 tollefj/norwegian-nli-triplets 的 50 個隨機樣本進行測試
NDCG
0.852 0.867 2%
MAP
0.800 0.820 2%
MRR
0.800 0.820 2%
已生成的合成資料
總計
4648
訓練
4480
驗證
168

微調底座模型
jinaai/jina-embeddings-v2-base-en
平均提升
6%

領域指令
微調前後合成驗證集上的表現
NDCG
0.672 0.755 12%
MAP
0.567 0.675 19%
MRR
0.567 0.675 19%
微調前後在保留測試集上的表現
已對來自 mteb/askubuntudupquestions-reranking 的 50 個隨機樣本進行測試
NDCG
0.698 0.722 3%
MAP
0.515 0.549 6%
MRR
0.666 0.712 7%
已生成的合成資料
總計
616
訓練
448
驗證
168

微調底座模型
jinaai/jina-embeddings-v2-base-en
平均提升
9%

領域指令
微調前後合成驗證集上的表現
NDCG
0.727 0.861 18%
MAP
0.640 0.814 27%
MRR
0.640 0.814 27%
微調前後在保留測試集上的表現
已對來自 mteb/scidocs-reranking 的 50 個隨機樣本進行測試
NDCG
0.773 0.822 6%
MAP
0.575 0.651 13%
MRR
0.823 0.884 7%
已生成的合成資料
總計
616
訓練
448
驗證
168

微調底座模型
jinaai/jina-embeddings-v2-base-zh
平均提升
1%

領域指令
微調前後合成驗證集上的表現
NDCG
0.718 0.785 9%
MAP
0.629 0.717 14%
MRR
0.629 0.717 14%
微調前後在保留測試集上的表現
已對來自 C-MTEB/CMedQAv2-reranking 的 50 個隨機樣本進行測試
NDCG
0.938 0.948 1%
MAP
0.912 0.926 2%
MRR
0.920 0.933 1%
已生成的合成資料
總計
616
訓練
448
驗證
168

微調底座模型
jinaai/jina-embeddings-v2-base-en
平均提升
6%

領域指令
微調前後合成驗證集上的表現
NDCG
0.543 0.579 7%
MAP
0.402 0.452 12%
MRR
0.402 0.452 12%
微調前後在保留測試集上的表現
已對來自 nc33/triplet_sbert_law2 (machine-translated to dutch) 的 50 個隨機樣本進行測試
NDCG
0.904 0.948 5%
MAP
0.870 0.930 7%
MRR
0.870 0.930 7%
已生成的合成資料
總計
9128
訓練
8960
驗證
168

微調底座模型
jinaai/jina-embeddings-v2-base-code
平均提升
-4%

領域指令
微調前後合成驗證集上的表現
NDCG
0.671 0.640 -5%
MAP
0.569 0.525 -8%
MRR
0.569 0.525 -8%
微調前後在保留測試集上的表現
已對來自 mteb/stackoverflowdupquestions-reranking 的 50 個隨機樣本進行測試
NDCG
0.640 0.621 -3%
MAP
0.530 0.505 -5%
MRR
0.555 0.532 -4%
已生成的合成資料
總計
616
訓練
448
驗證
168

微調底座模型
jinaai/jina-embeddings-v2-base-code
平均提升
-4%

領域指令
微調前後合成驗證集上的表現
NDCG
0.632 0.711 13%
MAP
0.517 0.622 20%
MRR
0.517 0.622 20%
微調前後在保留測試集上的表現
已對來自 mteb/stackoverflowdupquestions-reranking 的 50 個隨機樣本進行測試
NDCG
0.640 0.619 -3%
MAP
0.530 0.504 -5%
MRR
0.555 0.525 -5%
已生成的合成資料
總計
616
訓練
448
驗證
168

微調底座模型
jinaai/jina-embeddings-v2-base-en
平均提升
1%

領域指令
微調前後合成驗證集上的表現
NDCG
0.646 0.729 13%
MAP
0.535 0.644 20%
MRR
0.535 0.644 20%
微調前後在保留測試集上的表現
已對來自 mteb/askubuntudupquestions-reranking 的 50 個隨機樣本進行測試
NDCG
0.645 0.650 1%
MAP
0.452 0.462 2%
MRR
0.606 0.605 -0%
已生成的合成資料
總計
616
訓練
448
驗證
168

自動微調 API

為您需要的任何領域獲取微調向量模型。


使用 r.jina.ai 讀取 URL 並獲取其內容
使用 s.jina.ai 搜尋網頁並獲取 SERP
mcp.jina.ai 新增為 MCP 伺服器,即可在 LLM 中調用我們的 API


請求
GET
curl "https://r.jina.ai/https://www.example.com"


速率限制
速率限制按以下維度統計:RPM(每分鐘請求數)和 TPM(每分鐘詞元數)。限制按 IP/API 金鑰分別計算,RPM 或 TPM 任一先達到閾值即觸發限制。若您在請求頭中提供了 API 金鑰,我們將按金鑰而非 IP 地址統計速率限制。
產品API 端點描述無 API 金鑰免費 API 金鑰付費 API 金鑰高級 API 金鑰平均延遲詞元用量計算方式允許的請求
Reader APIhttps://r.jina.ai將 URL 轉換為大模型友好文字20 RPM500 RPM500 RPM5000 RPM7.9s按輸出響應中的詞元數計算。GET/POST
Reader APIhttps://s.jina.ai搜尋網路並將結果轉換為大模型友好文字100 RPM100 RPM1000 RPM2.5s每次請求消耗固定數量的詞元,起步 10,000 個詞元GET/POST
Reranker APIhttps://api.jina.ai/v1/rerank按查詢對文件重排100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
取決於輸入大小
按輸入請求中的詞元數計算。POST
向量模型 APIhttps://api.jina.ai/v1/embeddings將文字/圖片轉為定長向量100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
取決於輸入大小
按輸入請求中的詞元數計算。POST
與計費相關的常見問題