什麼是自動微調?
有三種方式說明您的需求:通用說明、URL,或查詢-文件描述。請任選一種。
public
或者,填寫網頁 URL
以某個 URL 的內容作為微調依據。
keyboard_arrow_down
notes
或者,填寫通用說明
詳細描述微調後的向量模型將如何使用。
keyboard_arrow_down
選擇基礎向量模型
微調是指在新資料集上繼續訓練預訓練模型,使其適配特定任務或領域。實際操作中,許多使用者很難找到有效的訓練資料。有效訓練遠不止把原始 PDF、HTML 丟給模型那麼簡單,做對並不容易。自動微呼叫一套先進的大模型智慧體流程自動生成有效訓練資料,並在 ML 工作流中完成模型微調,從而解決這一難題。您可以把它看作合成資料生成與 AutoML 的結合:只需用自然語言描述目標領域,剩下的交給我們的系統。
自動微調聽上去像魔法:您想要哪個領域,就為您交付該領域微調好的向量模型。可它真的管用嗎?這個疑問相當合理。我們在多種領域和底座模型上做了測試來驗證。下面既有表現出色的例子,也有翻車的例子。
微調底座模型
jinaai/jina-embeddings-v2-base-en平均提升
arrow_upward 2%
description 領域指令
speed 微調前後合成驗證集上的表現
NDCG
0.505 arrow_forward 0.532 arrow_upward 5%
MAP
0.352 arrow_forward 0.389 arrow_upward 10%
MRR
0.352 arrow_forward 0.389 arrow_upward 10%
speed 微調前後在保留測試集上的表現
check
已對來自 tollefj/norwegian-nli-triplets 的 50 個隨機樣本進行測試
NDCG
0.852 arrow_forward 0.867 arrow_upward 2%
MAP
0.800 arrow_forward 0.820 arrow_upward 2%
MRR
0.800 arrow_forward 0.820 arrow_upward 2%
data_usage 已生成的合成資料
總計
4648
訓練
4480
驗證
168
微調底座模型
jinaai/jina-embeddings-v2-base-en平均提升
arrow_upward 6%
description 領域指令
speed 微調前後合成驗證集上的表現
NDCG
0.672 arrow_forward 0.755 arrow_upward 12%
MAP
0.567 arrow_forward 0.675 arrow_upward 19%
MRR
0.567 arrow_forward 0.675 arrow_upward 19%
speed 微調前後在保留測試集上的表現
check
已對來自 mteb/askubuntudupquestions-reranking 的 50 個隨機樣本進行測試
NDCG
0.698 arrow_forward 0.722 arrow_upward 3%
MAP
0.515 arrow_forward 0.549 arrow_upward 6%
MRR
0.666 arrow_forward 0.712 arrow_upward 7%
data_usage 已生成的合成資料
總計
616
訓練
448
驗證
168
微調底座模型
jinaai/jina-embeddings-v2-base-en平均提升
arrow_upward 9%
description 領域指令
speed 微調前後合成驗證集上的表現
NDCG
0.727 arrow_forward 0.861 arrow_upward 18%
MAP
0.640 arrow_forward 0.814 arrow_upward 27%
MRR
0.640 arrow_forward 0.814 arrow_upward 27%
speed 微調前後在保留測試集上的表現
check
已對來自 mteb/scidocs-reranking 的 50 個隨機樣本進行測試
NDCG
0.773 arrow_forward 0.822 arrow_upward 6%
MAP
0.575 arrow_forward 0.651 arrow_upward 13%
MRR
0.823 arrow_forward 0.884 arrow_upward 7%
data_usage 已生成的合成資料
總計
616
訓練
448
驗證
168
微調底座模型
jinaai/jina-embeddings-v2-base-zh平均提升
arrow_upward 1%
description 領域指令
speed 微調前後合成驗證集上的表現
NDCG
0.718 arrow_forward 0.785 arrow_upward 9%
MAP
0.629 arrow_forward 0.717 arrow_upward 14%
MRR
0.629 arrow_forward 0.717 arrow_upward 14%
speed 微調前後在保留測試集上的表現
check
已對來自 C-MTEB/CMedQAv2-reranking 的 50 個隨機樣本進行測試
NDCG
0.938 arrow_forward 0.948 arrow_upward 1%
MAP
0.912 arrow_forward 0.926 arrow_upward 2%
MRR
0.920 arrow_forward 0.933 arrow_upward 1%
data_usage 已生成的合成資料
總計
616
訓練
448
驗證
168
微調底座模型
jinaai/jina-embeddings-v2-base-en平均提升
arrow_upward 6%
description 領域指令
speed 微調前後合成驗證集上的表現
NDCG
0.543 arrow_forward 0.579 arrow_upward 7%
MAP
0.402 arrow_forward 0.452 arrow_upward 12%
MRR
0.402 arrow_forward 0.452 arrow_upward 12%
speed 微調前後在保留測試集上的表現
check
已對來自 nc33/triplet_sbert_law2 (machine-translated to dutch) 的 50 個隨機樣本進行測試
NDCG
0.904 arrow_forward 0.948 arrow_upward 5%
MAP
0.870 arrow_forward 0.930 arrow_upward 7%
MRR
0.870 arrow_forward 0.930 arrow_upward 7%
data_usage 已生成的合成資料
總計
9128
訓練
8960
驗證
168
微調底座模型
jinaai/jina-embeddings-v2-base-code平均提升
arrow_downward -4%
description 領域指令
speed 微調前後合成驗證集上的表現
NDCG
0.671 arrow_forward 0.640 arrow_downward -5%
MAP
0.569 arrow_forward 0.525 arrow_downward -8%
MRR
0.569 arrow_forward 0.525 arrow_downward -8%
speed 微調前後在保留測試集上的表現
check
已對來自 mteb/stackoverflowdupquestions-reranking 的 50 個隨機樣本進行測試
NDCG
0.640 arrow_forward 0.621 arrow_downward -3%
MAP
0.530 arrow_forward 0.505 arrow_downward -5%
MRR
0.555 arrow_forward 0.532 arrow_downward -4%
data_usage 已生成的合成資料
總計
616
訓練
448
驗證
168
微調底座模型
jinaai/jina-embeddings-v2-base-code平均提升
arrow_downward -4%
description 領域指令
speed 微調前後合成驗證集上的表現
NDCG
0.632 arrow_forward 0.711 arrow_upward 13%
MAP
0.517 arrow_forward 0.622 arrow_upward 20%
MRR
0.517 arrow_forward 0.622 arrow_upward 20%
speed 微調前後在保留測試集上的表現
check
已對來自 mteb/stackoverflowdupquestions-reranking 的 50 個隨機樣本進行測試
NDCG
0.640 arrow_forward 0.619 arrow_downward -3%
MAP
0.530 arrow_forward 0.504 arrow_downward -5%
MRR
0.555 arrow_forward 0.525 arrow_downward -5%
data_usage 已生成的合成資料
總計
616
訓練
448
驗證
168
微調底座模型
jinaai/jina-embeddings-v2-base-en平均提升
arrow_upward 1%
description 領域指令
speed 微調前後合成驗證集上的表現
NDCG
0.646 arrow_forward 0.729 arrow_upward 13%
MAP
0.535 arrow_forward 0.644 arrow_upward 20%
MRR
0.535 arrow_forward 0.644 arrow_upward 20%
speed 微調前後在保留測試集上的表現
check
已對來自 mteb/askubuntudupquestions-reranking 的 50 個隨機樣本進行測試
NDCG
0.645 arrow_forward 0.650 arrow_upward 1%
MAP
0.452 arrow_forward 0.462 arrow_upward 2%
MRR
0.606 arrow_forward 0.605 arrow_downward -0%
data_usage 已生成的合成資料
總計
616
訓練
448
驗證
168
自動微調 API
為您需要的任何領域獲取微調向量模型。
globe_book
使用
r.jina.ai 讀取 URL 並獲取其內容travel_explore
使用
s.jina.ai 搜尋網頁並獲取 SERP把
mcp.jina.ai 新增為 MCP 伺服器,即可在 LLM 中調用我們的 API內容格式
Return-Format
您可以控制響應的細節程度,避免過度過濾。預設流程針對大多數網站和大模型輸入做了最佳化。
預設
arrow_drop_down
JSON 響應
Accept
響應採用 JSON 格式,包含 URL、標題、內容和時間戳(如有)。在搜尋模式下會返回五條結果,每條都遵循上述 JSON 結構。
超時時間(秒)
X-Timeout
頁面載入的最長等待時間。頁面較慢時調大,簡單靜態頁面可調小。
詞元預算
X-Token-Budget
限制此請求使用的最大詞元數。超出此限制將導致請求失敗。
使用 jina-ocr-v1
X-Respond-With
使用 jina-ocr-v1 將圖像轉換為 Markdown,為結構和內容複雜的網站與文件提供高品質結果。詞元消耗為 40 倍!open_in_new瞭解更多
分頁
X-Page
要處理的頁碼。在處理 PDF 等多頁文件時,聚焦於指定的頁面,僅在此類文件處理時生效。
僅提取(CSS 選擇器)
X-Target-Selector
僅提取與這些 CSS 選擇器匹配的內容。例如:article、.main-content、#post-body
等待(CSS 選擇器)
X-Wait-For-Selector
等這些元素出現後再提取內容。適用於動態載入的內容。
排除(CSS 選擇器)
X-Remove-Selector
提取前先移除這些元素。例如:nav、footer、.sidebar、#ads
移除所有圖片
X-Retain-Images
從輸出中移除所有圖片。不需要圖片時可減少詞元用量。
連結摘要部分
X-With-Links-Summary
文末會建立“按鈕和連結”部分,幫助下游大模型或 Web 智慧體瀏覽頁面、執行後續操作。
無
arrow_drop_down
圖片摘要部分
X-With-Images-Summary
文末會建立“圖片”部分,讓下游大模型總覽頁面上的所有視覺內容,有助於提升推理效果。
無
arrow_drop_down
轉發 Cookie
X-Set-Cookie
我們的 API 伺服器在訪問 URL 時可以轉發您自定義的 Cookie 設定,適合需要額外身份驗證的頁面。請注意,帶 Cookie 的請求不會被快取。open_in_new瞭解更多
圖片說明
X-With-Generated-Alt
為指定 URL 上的所有圖片生成說明文字,對缺少 alt 標籤的圖片補充“Image [idx]: [caption]”。這樣下游大模型便可在推理、摘要等任務中利用圖片資訊。
使用特定國家/地區的代理伺服器
X-Proxy
設定基於地理位置的代理伺服器國家/地區程式碼。填 auto 表示自動擇優,填 none 表示禁用。
繞過快取
X-No-Cache
我們的 API 會將 URL 內容快取一段時間。設為 true 可忽略快取結果,直接從該 URL 抓取內容。
快取容忍時間(秒)
X-Cache-Tolerance
若快取內容生成時間不超過 N 秒,則接受該快取。設為 0 表示獲取最新內容(等同於“繞過快取”),設定更大的值則可更快地從快取返回響應。
頁面就緒時機
X-Respond-Timing
判定頁面已完全載入的時機。越靠後的時機等待越久,但能捕獲更多動態內容。
預設
arrow_drop_down
自定義 User-Agent
X-User-Agent
覆蓋瀏覽器的 User-Agent 字串。適合訪問要求特定瀏覽器或遮蔽抓取程式的網站。
自定義 Referer
X-Referer
設定 HTTP Referer 請求頭。部分網站會檢查此項,以確認流量來自預期來源。
保留 Base64 圖片
X-Keep-Img-Data-Url
將內聯 base64 編碼的圖片保留在 Markdown 輸出中,而不是將其轉換為外部 URL。
請勿快取或追蹤
DNT
阻止此請求在我們的伺服器上被快取或記錄。請用於敏感 URL。
GitHub 風格 Markdown
X-No-Gfm
選擇啟用或關閉 GFM(GitHub Flavored Markdown)功能。
已啟用
arrow_drop_down
遵守 robots.txt
X-Robots-Txt
抓取前先檢查 robots.txt 中的規則。請指定檢查時使用的爬蟲名稱。
包含 iframe 內容
X-With-Iframe
從內嵌 iframe 中提取內容。頁面內容載入在 iframe 中時請啟用。
包含 Shadow DOM
X-With-Shadow-Dom
從 Shadow DOM 元件中提取內容。頁面使用 Web Components 時請啟用。
使用最終 URL 作為基準
X-Base
使用重定向後的最終目標 URL 而不是原始 URL 來解析相對 URL。
本地 PDF/HTML 檔案
POST
上傳本地 PDF 和 HTML 檔案,用 Reader 讀取。僅支援 pdf 和 html 檔案。對於 HTML,請同時指定一個參考 URL,以便更好地解析相關的 CSS/JS 指令碼。
upload
提取前執行 JavaScript
POST
在提取內容前執行自定義 JS 修改頁面。可以是內聯程式碼,也可以是指令碼檔案的 URL。open_in_new瞭解更多
標題樣式
X-Md-Heading-Style
設定 Markdown 標題格式(傳遞給 Turndown)。
井號樣式
arrow_drop_down
水平線樣式
X-Md-Hr
定義 Markdown 分隔線的格式(傳遞給 Turndown)。
專案符號樣式
X-Md-Bullet-List-Marker
設定無序列表的標記字元(傳遞給 Turndown)。
*
arrow_drop_down
斜體樣式
X-Md-Em-Delimiter
定義 Markdown 斜體分隔符(傳遞給 Turndown)。
_
arrow_drop_down
加粗樣式
X-Md-Strong-Delimiter
設定 Markdown 加粗分隔符(傳遞給 Turndown)。
**
arrow_drop_down
連結樣式
X-Md-Link-Style
決定 Markdown 連結的格式(傳遞給 Turndown)。
內聯
arrow_drop_down
歐盟資料駐留
實驗性
啟用後,本次請求的基礎設施和資料處理將位於歐盟境內。
curl "https://r.jina.ai/https://www.example.com"key
API 金鑰
visibility_off
可用詞元
0
code
我可以在所有 Jina API 中使用同一個 API 金鑰嗎?
keyboard_arrow_down
code
我可以查看 API 金鑰的詞元用量嗎?
keyboard_arrow_down
code
如果我忘記了 API 金鑰,該怎麼辦?
keyboard_arrow_down
code
API 金鑰會過期嗎?
keyboard_arrow_down
code
可以在不同 API 金鑰之間轉移詞元嗎?
keyboard_arrow_down
code
我可以銷毀我的 API 金鑰嗎?
keyboard_arrow_down
code
為什麼有些模型的首次請求比較慢?
keyboard_arrow_down
code
我的 API 資料會被用來訓練 Jina 的模型嗎?
keyboard_arrow_down
code
Jina API 的速率限制是多少?
keyboard_arrow_down
code
API 有批次大小限制嗎?
keyboard_arrow_down
code
Jina API 與 Elastic 中的 Jina 模型是同一回事嗎?
keyboard_arrow_down
速率限制
速率限制按以下維度統計:RPM(每分鐘請求數)和 TPM(每分鐘詞元數)。限制按 IP/API 金鑰分別計算,RPM 或 TPM 任一先達到閾值即觸發限制。若您在請求頭中提供了 API 金鑰,我們將按金鑰而非 IP 地址統計速率限制。
欄位
arrow_drop_down
| 產品 | API 端點 | 描述arrow_upward | 無 API 金鑰key_off | 免費 API 金鑰key | 付費 API 金鑰key | 高級 API 金鑰key | 平均延遲 | 詞元用量計算方式 | 允許的請求 | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | 將 URL 轉換為大模型友好文字 | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 按輸出響應中的詞元數計算。 | GET/POST | |
| Reader API | https://s.jina.ai | 搜尋網路並將結果轉換為大模型友好文字 | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 每次請求消耗固定數量的詞元,起步 10,000 個詞元 | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | 按查詢對文件重排 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取決於輸入大小 help | 按輸入請求中的詞元數計算。 | POST | |
| 向量模型 API | https://api.jina.ai/v1/embeddings | 將文字/圖片轉為定長向量 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取決於輸入大小 help | 按輸入請求中的詞元數計算。 | POST |
與計費相關的常見問題
attach_money
API 是按句子數還是按請求數計費?
keyboard_arrow_down
attach_money
新使用者可以免費試用嗎?
keyboard_arrow_down
attach_money
失敗的請求是否會扣除詞元?
keyboard_arrow_down
attach_money
接受哪些付款方式?
keyboard_arrow_down
attach_money
儲值後可以開具發票嗎?
keyboard_arrow_down
attach_money
如何購買商業授權證而不是 API 詞元?
keyboard_arrow_down
attach_money
我可以用發票或採購訂單付款,而不是用信用卡嗎?
keyboard_arrow_down
attach_money
我已付款,但餘額或速率限制沒有變化,該檢查什麼?
keyboard_arrow_down
attach_money
如何取消、關閉自動儲值或刪除已儲存的付款方式?
keyboard_arrow_down