Segmenter

免费 API,用于将长文本切分为分块并进行分词。

Segmenter API

Segmenter API 可帮助大模型把输入控制在上下文长度以内,从而优化模型表现。开发者可用它统计词元数、提取相关文本片段,实现高效的数据处理与成本控制。


使用 GET 请求统计词元数

使用 POST 请求获取更多功能

请求
POST
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{ "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀" }
EOFEOF


什么是 Segmenter?

Segmenter 是把文本转换成词元或分块的关键组件,词元和分块是向量模型、重排模型或大模型处理数据的基本单位。一个词元可以是一个完整单词、单词的一部分,甚至是单个字符。

长文档分块,快如闪电!

您也可以使用 Segmenter API 将长文档切成较小的分块,便于后续交给向量模型或重排模型处理。我们利用常见的结构线索,构建了一套规则与启发式方法,在 Markdown、HTML、LaTeX 以及中日韩等多种内容类型上都表现良好。
每个分块的最大长度: 1000
每个分块的最大字符数。实际长度可能小于此值,因为文本中若存在合适的自然边界会优先在此处切分。

总共 0 个分块


Segmenter API 完全免费!

提供 API 密钥即可获得更高的速率限制,且不会扣除您密钥中的词元。
速率限制
速率限制按以下维度统计:RPM(每分钟请求数)和 TPM(每分钟词元数)。限制按 IP/API 密钥分别计算,RPM 或 TPM 任一先达到阈值即触发限制。若您在请求头中提供了 API 密钥,我们将按密钥而非 IP 地址统计速率限制。
产品API 端点描述无 API 密钥免费 API 密钥付费 API 密钥高级 API 密钥平均延迟词元用量计算方式允许的请求
Reader APIhttps://r.jina.ai将 URL 转换为大模型友好文本20 RPM500 RPM500 RPM5000 RPM7.9s按输出响应中的词元数计算。GET/POST
Reader APIhttps://s.jina.ai搜索网络并将结果转换为大模型友好文本100 RPM100 RPM1000 RPM2.5s每次请求消耗固定数量的词元,起步 10,000 个词元GET/POST
Reranker APIhttps://api.jina.ai/v1/rerank按查询对文档重排100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
取决于输入大小
按输入请求中的词元数计算。POST
向量模型 APIhttps://api.jina.ai/v1/embeddings将文本/图片转为定长向量100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
取决于输入大小
按输入请求中的词元数计算。POST
速率限制
速率限制按以下维度统计:RPM(每分钟请求数)和 TPM(每分钟词元数)。限制按 IP/API 密钥分别计算,RPM 或 TPM 任一先达到阈值即触发限制。若您在请求头中提供了 API 密钥,我们将按密钥而非 IP 地址统计速率限制。
产品API 端点描述无 API 密钥免费 API 密钥付费 API 密钥高级 API 密钥平均延迟词元用量计算方式允许的请求
Reader APIhttps://r.jina.ai将 URL 转换为大模型友好文本20 RPM500 RPM500 RPM5000 RPM7.9s按输出响应中的词元数计算。GET/POST
Reader APIhttps://s.jina.ai搜索网络并将结果转换为大模型友好文本100 RPM100 RPM1000 RPM2.5s每次请求消耗固定数量的词元,起步 10,000 个词元GET/POST
Reranker APIhttps://api.jina.ai/v1/rerank按查询对文档重排100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
取决于输入大小
按输入请求中的词元数计算。POST
向量模型 APIhttps://api.jina.ai/v1/embeddings将文本/图片转为定长向量100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
取决于输入大小
按输入请求中的词元数计算。POST
与计费相关的常见问题