Segmenter
免费 API,用于将长文本切分为分块并进行分词。
Segmenter API
Segmenter API 可帮助大模型把输入控制在上下文长度以内,从而优化模型表现。开发者可用它统计词元数、提取相关文本片段,实现高效的数据处理与成本控制。
chevron_leftchevron_right
使用 GET 请求统计词元数
使用 POST 请求获取更多功能
返回后 N 个词元
返回给定内容的后 N 个词元,不含边界处的词元。不能与 head 同时使用。
Segmenter
选择要使用的分词器。
cl100k_base
arrow_drop_down
upload
请求
Bash
语言
arrow_drop_down
curl -X POST 'https://api.jina.ai/v1/segment' \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀"
}
EOFEOF
key
API 密钥
visibility_off
剩余词元额度
0
什么是 Segmenter?
Segmenter 是把文本转换成词元或分块的关键组件,词元和分块是向量模型、重排模型或大模型处理数据的基本单位。一个词元可以是一个完整单词、单词的一部分,甚至是单个字符。
输入文本
长文档分块,快如闪电!
您也可以使用 Segmenter API 将长文档切成较小的分块,便于后续交给向量模型或重排模型处理。我们利用常见的结构线索,构建了一套规则与启发式方法,在 Markdown、HTML、LaTeX 以及中日韩等多种内容类型上都表现良好。
输入文本
每个分块的最大字符数。实际长度可能小于此值,因为文本中若存在合适的自然边界会优先在此处切分。
总共 0 个分块
Segmenter API 完全免费!
提供 API 密钥即可获得更高的速率限制,且不会扣除您密钥中的词元。
速率限制
速率限制按以下维度统计:RPM(每分钟请求数)和 TPM(每分钟词元数)。限制按 IP/API 密钥分别计算,RPM 或 TPM 任一先达到阈值即触发限制。若您在请求头中提供了 API 密钥,我们将按密钥而非 IP 地址统计速率限制。
列
arrow_drop_down
| 产品 | API 端点 | 描述arrow_upward | 无 API 密钥key_off | 免费 API 密钥key | 付费 API 密钥key | 高级 API 密钥key | 平均延迟 | 词元用量计算方式 | 允许的请求 | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | 将 URL 转换为大模型友好文本 | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 按输出响应中的词元数计算。 | GET/POST | |
| Reader API | https://s.jina.ai | 搜索网络并将结果转换为大模型友好文本 | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 每次请求消耗固定数量的词元,起步 10000 个词元 | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | 按查询对文档重排 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取决于输入大小 help | 按输入请求中的词元数计算。 | POST | |
| 向量模型 API | https://api.jina.ai/v1/embeddings | 将文本/图片转为定长向量 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取决于输入大小 help | 按输入请求中的词元数计算。 | POST | |
| 分类器 API | https://api.jina.ai/v1/train | 使用带标签的样本训练分类器 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取决于输入大小 | 词元计数为:输入词元 × 迭代次数 | POST | |
| 分类器 API (少样本) | https://api.jina.ai/v1/classify | 使用经过训练的少样本分类器对输入进行分类 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取决于输入大小 | 词元计数为:输入词元 | POST | |
| 分类器 API (零样本) | https://api.jina.ai/v1/classify | 使用零样本分类对输入进行分类 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取决于输入大小 | 词元计数为:输入词元 + 标签词元 | POST | |
| Segmenter API | https://api.jina.ai/v1/segment | 对长文本进行分词分句 | 20 RPM | 200 RPM | 200 RPM | 1,000 RPM | 0.3s | 不计入词元用量。 | GET/POST | |
| DeepSearch | https://deepsearch.jina.ai/v1/chat/completions | 通过推理、搜索与迭代找到最佳答案 | block | 50 RPM | 50 RPM | 500 RPM | 56.7s | 统计整个流程消耗的词元总数。 | POST |
Segmenter API 如何收费?
keyboard_arrow_down
如果我不提供 API 密钥,速率限制是多少?
keyboard_arrow_down
如果我提供 API 密钥,速率限制是多少?
keyboard_arrow_down
会扣除我 API 密钥中的词元吗?
keyboard_arrow_down
Segmenter API 支持多语言吗?
keyboard_arrow_down
GET 和 POST 请求有什么区别?
keyboard_arrow_down
单次请求最多可分词多长的文本?
keyboard_arrow_down
分块功能如何工作?是语义分块吗?
keyboard_arrow_down
Segmenter API 如何处理 endoftext 之类的特殊词元?
keyboard_arrow_down
分块支持英语以外的语言吗?
keyboard_arrow_down
速率限制
速率限制按以下维度统计:RPM(每分钟请求数)和 TPM(每分钟词元数)。限制按 IP/API 密钥分别计算,RPM 或 TPM 任一先达到阈值即触发限制。若您在请求头中提供了 API 密钥,我们将按密钥而非 IP 地址统计速率限制。
列
arrow_drop_down
| 产品 | API 端点 | 描述arrow_upward | 无 API 密钥key_off | 免费 API 密钥key | 付费 API 密钥key | 高级 API 密钥key | 平均延迟 | 词元用量计算方式 | 允许的请求 | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | 将 URL 转换为大模型友好文本 | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 按输出响应中的词元数计算。 | GET/POST | |
| Reader API | https://s.jina.ai | 搜索网络并将结果转换为大模型友好文本 | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 每次请求消耗固定数量的词元,起步 10000 个词元 | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | 按查询对文档重排 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取决于输入大小 help | 按输入请求中的词元数计算。 | POST | |
| 向量模型 API | https://api.jina.ai/v1/embeddings | 将文本/图片转为定长向量 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取决于输入大小 help | 按输入请求中的词元数计算。 | POST | |
| 分类器 API | https://api.jina.ai/v1/train | 使用带标签的样本训练分类器 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取决于输入大小 | 词元计数为:输入词元 × 迭代次数 | POST | |
| 分类器 API (少样本) | https://api.jina.ai/v1/classify | 使用经过训练的少样本分类器对输入进行分类 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取决于输入大小 | 词元计数为:输入词元 | POST | |
| 分类器 API (零样本) | https://api.jina.ai/v1/classify | 使用零样本分类对输入进行分类 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取决于输入大小 | 词元计数为:输入词元 + 标签词元 | POST | |
| Segmenter API | https://api.jina.ai/v1/segment | 对长文本进行分词分句 | 20 RPM | 200 RPM | 200 RPM | 1,000 RPM | 0.3s | 不计入词元用量。 | GET/POST | |
| DeepSearch | https://deepsearch.jina.ai/v1/chat/completions | 通过推理、搜索与迭代找到最佳答案 | block | 50 RPM | 50 RPM | 500 RPM | 56.7s | 统计整个流程消耗的词元总数。 | POST |
API 相关常见问题
code
Reader、向量模型、重排、分类和微调 API 可以共用同一个 API 密钥吗?
keyboard_arrow_down
code
我可以查看 API 密钥的词元用量吗?
keyboard_arrow_down
code
如果我忘记了 API 密钥,该怎么办?
keyboard_arrow_down
code
API 密钥会过期吗?
keyboard_arrow_down
code
可以在不同 API 密钥之间转移词元吗?
keyboard_arrow_down
code
我可以销毁我的 API 密钥吗?
keyboard_arrow_down
code
为什么有些模型的首次请求比较慢?
keyboard_arrow_down
code
我的 API 数据会被用来训练你们的模型吗?
keyboard_arrow_down
code
Jina API 的速率限制是多少?
keyboard_arrow_down
code
API 有批量大小限制吗?
keyboard_arrow_down
与计费相关的常见问题
attach_money
API 是按句子数还是按请求数计费?
keyboard_arrow_down
attach_money
新用户可以免费试用吗?
keyboard_arrow_down
attach_money
失败的请求是否会扣除词元?
keyboard_arrow_down
attach_money
接受哪些付款方式?
keyboard_arrow_down
attach_money
充值后可以开具发票吗?
keyboard_arrow_down