什么是自动微调?
有三种方式说明您的需求:通用说明、URL,或查询-文档描述。请任选一种。
public
或者,填写网页 URL
以某个 URL 的内容作为微调依据。
keyboard_arrow_down
notes
或者,填写通用说明
详细描述微调后的向量模型将如何使用。
keyboard_arrow_down
选择基础向量模型
微调是指在新数据集上继续训练预训练模型,使其适配特定任务或领域。实际操作中,许多用户很难找到有效的训练数据。有效训练远不止把原始 PDF、HTML 丢给模型那么简单,做对并不容易。自动微调用一套先进的大模型智能体流程自动生成有效训练数据,并在 ML 工作流中完成模型微调,从而解决这一难题。您可以把它看作合成数据生成与 AutoML 的结合:只需用自然语言描述目标领域,剩下的交给我们的系统。
自动微调听上去像魔法:您想要哪个领域,就为您交付该领域微调好的向量模型。可它真的管用吗?这个疑问相当合理。我们在多种领域和底座模型上做了测试来验证。下面既有表现出色的例子,也有翻车的例子。
微调底座模型
jinaai/jina-embeddings-v2-base-en平均提升
arrow_upward 2%
description 领域指令
speed 微调前后合成验证集上的表现
NDCG
0.505 arrow_forward 0.532 arrow_upward 5%
MAP
0.352 arrow_forward 0.389 arrow_upward 10%
MRR
0.352 arrow_forward 0.389 arrow_upward 10%
speed 微调前后在保留测试集上的表现
check
已对来自 tollefj/norwegian-nli-triplets 的 50 个随机样本进行测试
NDCG
0.852 arrow_forward 0.867 arrow_upward 2%
MAP
0.800 arrow_forward 0.820 arrow_upward 2%
MRR
0.800 arrow_forward 0.820 arrow_upward 2%
data_usage 已生成的合成数据
总计
4648
训练
4480
验证
168
微调底座模型
jinaai/jina-embeddings-v2-base-en平均提升
arrow_upward 6%
description 领域指令
speed 微调前后合成验证集上的表现
NDCG
0.672 arrow_forward 0.755 arrow_upward 12%
MAP
0.567 arrow_forward 0.675 arrow_upward 19%
MRR
0.567 arrow_forward 0.675 arrow_upward 19%
speed 微调前后在保留测试集上的表现
check
已对来自 mteb/askubuntudupquestions-reranking 的 50 个随机样本进行测试
NDCG
0.698 arrow_forward 0.722 arrow_upward 3%
MAP
0.515 arrow_forward 0.549 arrow_upward 6%
MRR
0.666 arrow_forward 0.712 arrow_upward 7%
data_usage 已生成的合成数据
总计
616
训练
448
验证
168
微调底座模型
jinaai/jina-embeddings-v2-base-en平均提升
arrow_upward 9%
description 领域指令
speed 微调前后合成验证集上的表现
NDCG
0.727 arrow_forward 0.861 arrow_upward 18%
MAP
0.640 arrow_forward 0.814 arrow_upward 27%
MRR
0.640 arrow_forward 0.814 arrow_upward 27%
speed 微调前后在保留测试集上的表现
check
已对来自 mteb/scidocs-reranking 的 50 个随机样本进行测试
NDCG
0.773 arrow_forward 0.822 arrow_upward 6%
MAP
0.575 arrow_forward 0.651 arrow_upward 13%
MRR
0.823 arrow_forward 0.884 arrow_upward 7%
data_usage 已生成的合成数据
总计
616
训练
448
验证
168
微调底座模型
jinaai/jina-embeddings-v2-base-zh平均提升
arrow_upward 1%
description 领域指令
speed 微调前后合成验证集上的表现
NDCG
0.718 arrow_forward 0.785 arrow_upward 9%
MAP
0.629 arrow_forward 0.717 arrow_upward 14%
MRR
0.629 arrow_forward 0.717 arrow_upward 14%
speed 微调前后在保留测试集上的表现
check
已对来自 C-MTEB/CMedQAv2-reranking 的 50 个随机样本进行测试
NDCG
0.938 arrow_forward 0.948 arrow_upward 1%
MAP
0.912 arrow_forward 0.926 arrow_upward 2%
MRR
0.920 arrow_forward 0.933 arrow_upward 1%
data_usage 已生成的合成数据
总计
616
训练
448
验证
168
微调底座模型
jinaai/jina-embeddings-v2-base-en平均提升
arrow_upward 6%
description 领域指令
speed 微调前后合成验证集上的表现
NDCG
0.543 arrow_forward 0.579 arrow_upward 7%
MAP
0.402 arrow_forward 0.452 arrow_upward 12%
MRR
0.402 arrow_forward 0.452 arrow_upward 12%
speed 微调前后在保留测试集上的表现
check
已对来自 nc33/triplet_sbert_law2 (machine-translated to dutch) 的 50 个随机样本进行测试
NDCG
0.904 arrow_forward 0.948 arrow_upward 5%
MAP
0.870 arrow_forward 0.930 arrow_upward 7%
MRR
0.870 arrow_forward 0.930 arrow_upward 7%
data_usage 已生成的合成数据
总计
9128
训练
8960
验证
168
微调底座模型
jinaai/jina-embeddings-v2-base-code平均提升
arrow_downward -4%
description 领域指令
speed 微调前后合成验证集上的表现
NDCG
0.671 arrow_forward 0.640 arrow_downward -5%
MAP
0.569 arrow_forward 0.525 arrow_downward -8%
MRR
0.569 arrow_forward 0.525 arrow_downward -8%
speed 微调前后在保留测试集上的表现
check
已对来自 mteb/stackoverflowdupquestions-reranking 的 50 个随机样本进行测试
NDCG
0.640 arrow_forward 0.621 arrow_downward -3%
MAP
0.530 arrow_forward 0.505 arrow_downward -5%
MRR
0.555 arrow_forward 0.532 arrow_downward -4%
data_usage 已生成的合成数据
总计
616
训练
448
验证
168
微调底座模型
jinaai/jina-embeddings-v2-base-code平均提升
arrow_downward -4%
description 领域指令
speed 微调前后合成验证集上的表现
NDCG
0.632 arrow_forward 0.711 arrow_upward 13%
MAP
0.517 arrow_forward 0.622 arrow_upward 20%
MRR
0.517 arrow_forward 0.622 arrow_upward 20%
speed 微调前后在保留测试集上的表现
check
已对来自 mteb/stackoverflowdupquestions-reranking 的 50 个随机样本进行测试
NDCG
0.640 arrow_forward 0.619 arrow_downward -3%
MAP
0.530 arrow_forward 0.504 arrow_downward -5%
MRR
0.555 arrow_forward 0.525 arrow_downward -5%
data_usage 已生成的合成数据
总计
616
训练
448
验证
168
微调底座模型
jinaai/jina-embeddings-v2-base-en平均提升
arrow_upward 1%
description 领域指令
speed 微调前后合成验证集上的表现
NDCG
0.646 arrow_forward 0.729 arrow_upward 13%
MAP
0.535 arrow_forward 0.644 arrow_upward 20%
MRR
0.535 arrow_forward 0.644 arrow_upward 20%
speed 微调前后在保留测试集上的表现
check
已对来自 mteb/askubuntudupquestions-reranking 的 50 个随机样本进行测试
NDCG
0.645 arrow_forward 0.650 arrow_upward 1%
MAP
0.452 arrow_forward 0.462 arrow_upward 2%
MRR
0.606 arrow_forward 0.605 arrow_downward -0%
data_usage 已生成的合成数据
总计
616
训练
448
验证
168
自动微调 API
为您需要的任何领域获取微调向量模型。
globe_book
使用
r.jina.ai 读取 URL 并获取其内容travel_explore
使用
s.jina.ai 搜索网页并获取 SERP把
mcp.jina.ai 添加为 MCP 服务器,即可在 LLM 中调用我们的 API内容格式
Return-Format
您可以控制响应的细节程度,避免过度过滤。默认流程针对大多数网站和大模型输入做了优化。
默认
arrow_drop_down
JSON 响应
Accept
响应采用 JSON 格式,包含 URL、标题、内容和时间戳(如有)。在搜索模式下会返回五条结果,每条都遵循上述 JSON 结构。
超时时间(秒)
X-Timeout
页面加载的最长等待时间。页面较慢时调大,简单静态页面可调小。
词元预算
X-Token-Budget
限制此请求使用的最大词元数。超出此限制将导致请求失败。
使用 jina-ocr-v1
X-Respond-With
使用 jina-ocr-v1 将图像转换为 Markdown,为结构和内容复杂的网站与文档提供高质量结果。词元消耗为 40 倍!open_in_new了解更多
分页
X-Page
要处理的页码。在处理 PDF 等多页文档时,聚焦于指定的页面,仅在此类文档处理时生效。
仅提取(CSS 选择器)
X-Target-Selector
仅提取与这些 CSS 选择器匹配的内容。例如:article、.main-content、#post-body
等待(CSS 选择器)
X-Wait-For-Selector
等这些元素出现后再提取内容。适用于动态加载的内容。
排除(CSS 选择器)
X-Remove-Selector
提取前先移除这些元素。例如:nav、footer、.sidebar、#ads
移除所有图片
X-Retain-Images
从输出中移除所有图片。不需要图片时可减少词元用量。
链接摘要部分
X-With-Links-Summary
文末会创建“按钮和链接”部分,帮助下游大模型或 Web 智能体浏览页面、执行后续操作。
无
arrow_drop_down
图片摘要部分
X-With-Images-Summary
文末会创建“图片”部分,让下游大模型总览页面上的所有视觉内容,有助于提升推理效果。
无
arrow_drop_down
转发 Cookie
X-Set-Cookie
我们的 API 服务器在访问 URL 时可以转发您自定义的 Cookie 设置,适合需要额外身份验证的页面。请注意,带 Cookie 的请求不会被缓存。open_in_new了解更多
图片说明
X-With-Generated-Alt
为指定 URL 上的所有图片生成说明文字,对缺少 alt 标签的图片补充“Image [idx]: [caption]”。这样下游大模型便可在推理、摘要等任务中利用图片信息。
使用特定国家/地区的代理服务器
X-Proxy
设置基于地理位置的代理服务器国家/地区代码。填 auto 表示自动择优,填 none 表示禁用。
绕过缓存
X-No-Cache
我们的 API 会将 URL 内容缓存一段时间。设为 true 可忽略缓存结果,直接从该 URL 抓取内容。
缓存容忍时间(秒)
X-Cache-Tolerance
若缓存内容生成时间不超过 N 秒,则接受该缓存。设为 0 表示获取最新内容(等同于“绕过缓存”),设置更大的值则可更快地从缓存返回响应。
页面就绪时机
X-Respond-Timing
判定页面已完全加载的时机。越靠后的时机等待越久,但能捕获更多动态内容。
默认
arrow_drop_down
自定义 User-Agent
X-User-Agent
覆盖浏览器的 User-Agent 字符串。适合访问要求特定浏览器或屏蔽抓取程序的网站。
自定义 Referer
X-Referer
设置 HTTP Referer 请求头。部分网站会检查此项,以确认流量来自预期来源。
保留 Base64 图片
X-Keep-Img-Data-Url
将内联 base64 编码的图片保留在 Markdown 输出中,而不是将其转换为外部 URL。
请勿缓存或追踪
DNT
阻止此请求在我们的服务器上被缓存或记录。请用于敏感 URL。
GitHub 风格 Markdown
X-No-Gfm
选择启用或关闭 GFM(GitHub Flavored Markdown)功能。
已启用
arrow_drop_down
遵守 robots.txt
X-Robots-Txt
抓取前先检查 robots.txt 中的规则。请指定检查时使用的爬虫名称。
包含 iframe 内容
X-With-Iframe
从内嵌 iframe 中提取内容。页面内容加载在 iframe 中时请启用。
包含 Shadow DOM
X-With-Shadow-Dom
从 Shadow DOM 组件中提取内容。页面使用 Web Components 时请启用。
使用最终 URL 作为基准
X-Base
使用重定向后的最终目标 URL 而不是原始 URL 来解析相对 URL。
本地 PDF/HTML 文件
POST
上传本地 PDF 和 HTML 文件,用 Reader 读取。仅支持 pdf 和 html 文件。对于 HTML,请同时指定一个参考 URL,以便更好地解析相关的 CSS/JS 脚本。
upload
提取前运行 JavaScript
POST
在提取内容前执行自定义 JS 修改页面。可以是内联代码,也可以是脚本文件的 URL。open_in_new了解更多
标题样式
X-Md-Heading-Style
设置 Markdown 标题格式(传递给 Turndown)。
Hash Style
arrow_drop_down
水平线样式
X-Md-Hr
定义 Markdown 分隔线的格式(传递给 Turndown)。
项目符号样式
X-Md-Bullet-List-Marker
设置无序列表的标记字符(传递给 Turndown)。
*
arrow_drop_down
斜体样式
X-Md-Em-Delimiter
定义 Markdown 斜体分隔符(传递给 Turndown)。
_
arrow_drop_down
加粗样式
X-Md-Strong-Delimiter
设置 Markdown 加粗分隔符(传递给 Turndown)。
**
arrow_drop_down
链接样式
X-Md-Link-Style
决定 Markdown 链接的格式(传递给 Turndown)。
Inline
arrow_drop_down
欧盟数据驻留
实验性
启用后,本次请求的基础设施和数据处理将位于欧盟境内。
curl "https://r.jina.ai/https://www.example.com"key
API 密钥
visibility_off
可用词元
0
code
我可以在所有 Jina API 中使用同一个 API 密钥吗?
keyboard_arrow_down
code
我可以查看 API 密钥的词元用量吗?
keyboard_arrow_down
code
如果我忘记了 API 密钥,该怎么办?
keyboard_arrow_down
code
API 密钥会过期吗?
keyboard_arrow_down
code
可以在不同 API 密钥之间转移词元吗?
keyboard_arrow_down
code
我可以销毁我的 API 密钥吗?
keyboard_arrow_down
code
为什么有些模型的首次请求比较慢?
keyboard_arrow_down
code
我的 API 数据会被用来训练 Jina 的模型吗?
keyboard_arrow_down
code
Jina API 的速率限制是多少?
keyboard_arrow_down
code
API 有批量大小限制吗?
keyboard_arrow_down
code
Jina API 与 Elastic 中的 Jina 模型是同一回事吗?
keyboard_arrow_down
速率限制
速率限制按以下维度统计:RPM(每分钟请求数)和 TPM(每分钟词元数)。限制按 IP/API 密钥分别计算,RPM 或 TPM 任一先达到阈值即触发限制。若您在请求头中提供了 API 密钥,我们将按密钥而非 IP 地址统计速率限制。
列
arrow_drop_down
| Product | API Endpoint | Descriptionarrow_upward | w/o API Keykey_off | w/ Free API Keykey | w/ Paid API Keykey | w/ Premium API Keykey | Average latency | Token Usage Counting | Allowed Request | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | Converts a URL to LLM-friendly text | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Count the number of tokens in the output response. | GET/POST | |
| Reader API | https://s.jina.ai | Search the web and convert results to LLM-friendly text | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Every request costs a fixed number of tokens, starting from 10,000 tokens | GET/POST | |
| Embedding API | https://api.jina.ai/v1/embeddings | Convert text/images to fixed-length vectors | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart depends on the input size help | Count the number of tokens in the input request. | POST | |
| Reranker API | https://api.jina.ai/v1/rerank | Rank documents by query | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart depends on the input size help | Count the number of tokens in the input request. | POST |
与计费相关的常见问题
attach_money
API 是按句子数还是按请求数计费?
keyboard_arrow_down
attach_money
新用户可以免费试用吗?
keyboard_arrow_down
attach_money
失败的请求是否会扣除词元?
keyboard_arrow_down
attach_money
接受哪些付款方式?
keyboard_arrow_down
attach_money
充值后可以开具发票吗?
keyboard_arrow_down
attach_money
如何购买商业许可证而不是 API 词元?
keyboard_arrow_down
attach_money
我可以用发票或采购订单付款,而不是用信用卡吗?
keyboard_arrow_down
attach_money
我已付款,但余额或速率限制没有变化,该检查什么?
keyboard_arrow_down
attach_money
如何取消、关闭自动充值或删除已保存的付款方式?
keyboard_arrow_down