Segmenter
免費 API,用於將長文字切分為分塊並進行分詞。
Segmenter API
Segmenter API 可幫助大模型把輸入控制在上下文長度以內,從而最佳化模型表現。開發者可用它統計詞元數、提取相關文字片段,實現高效的資料處理與成本控制。
chevron_leftchevron_right
使用 GET 請求統計詞元數
使用 POST 請求獲取更多功能
返回後 N 個詞元
返回給定內容的後 N 個詞元,不含邊界處的詞元。不能與 head 同時使用。
Segmenter
選擇要使用的分詞器。
cl100k_base
arrow_drop_down
upload
請求
Bash
語言
arrow_drop_down
curl -X POST 'https://api.jina.ai/v1/segment' \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀"
}
EOFEOF
key
API 金鑰
visibility_off
剩餘詞元額度
0
什麼是 Segmenter?
Segmenter 是把文字轉換成詞元或分塊的關鍵元件,詞元和分塊是向量模型、重排模型或大模型處理資料的基本單位。一個詞元可以是一個完整單詞、單詞的一部分,甚至是單個字元。
輸入文字
長文件分塊,快如閃電!
您也可以使用 Segmenter API 將長文件切成較小的分塊,便於後續交給向量模型或重排模型處理。我們利用常見的結構線索,構建了一套規則與啟發式方法,在 Markdown、HTML、LaTeX 以及中日韓等多種內容型別上都表現良好。
輸入文字
每個分塊的最大字元數。實際長度可能小於此值,因為文字中若存在合適的自然邊界會優先在此處切分。
總共 0 個分塊
Segmenter API 完全免費!
提供 API 金鑰即可獲得更高的速率限制,且不會扣除您金鑰中的詞元。
速率限制
速率限制按以下維度統計:RPM(每分鐘請求數)和 TPM(每分鐘詞元數)。限制按 IP/API 金鑰分別計算,RPM 或 TPM 任一先達到閾值即觸發限制。若您在請求頭中提供了 API 金鑰,我們將按金鑰而非 IP 地址統計速率限制。
欄位
arrow_drop_down
| 產品 | API 端點 | 描述arrow_upward | 無 API 金鑰key_off | 免費 API 金鑰key | 付費 API 金鑰key | 高級 API 金鑰key | 平均延遲 | 詞元用量計算方式 | 允許的請求 | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | 將 URL 轉換為大模型友好文字 | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 按輸出響應中的詞元數計算。 | GET/POST | |
| Reader API | https://s.jina.ai | 搜尋網路並將結果轉換為大模型友好文字 | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 每次請求消耗固定數量的詞元,起步 10000 個詞元 | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | 按查詢對文件重排 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取決於輸入大小 help | 按輸入請求中的詞元數計算。 | POST | |
| 向量模型 API | https://api.jina.ai/v1/embeddings | 將文字/圖片轉為定長向量 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取決於輸入大小 help | 按輸入請求中的詞元數計算。 | POST | |
| 分類器 API | https://api.jina.ai/v1/train | 使用帶標籤的樣本訓練分類器 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取決於輸入大小 | 詞元計數為:輸入詞元 × 迭代次數 | POST | |
| 分類器 API (少樣本) | https://api.jina.ai/v1/classify | 使用經過訓練的少樣本分類器對輸入進行分類 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取決於輸入大小 | 詞元計數為:輸入詞元 | POST | |
| 分類器 API (零樣本) | https://api.jina.ai/v1/classify | 使用零樣本分類對輸入進行分類 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取決於輸入大小 | 詞元計數為:輸入詞元 + 標籤詞元 | POST | |
| Segmenter API | https://api.jina.ai/v1/segment | 對長文字進行分詞分句 | 20 RPM | 200 RPM | 200 RPM | 1,000 RPM | 0.3s | 不計入詞元用量。 | GET/POST | |
| DeepSearch | https://deepsearch.jina.ai/v1/chat/completions | 透過推理、搜尋與迭代找到最佳答案 | block | 50 RPM | 50 RPM | 500 RPM | 56.7s | 統計整個流程消耗的詞元總數。 | POST |
Segmenter API 如何收費?
keyboard_arrow_down
如果我不提供 API 金鑰,速率限制是多少?
keyboard_arrow_down
如果我提供 API 金鑰,速率限制是多少?
keyboard_arrow_down
會扣除我 API 金鑰中的詞元嗎?
keyboard_arrow_down
Segmenter API 支援多語言嗎?
keyboard_arrow_down
GET 和 POST 請求有什麼區別?
keyboard_arrow_down
單次請求最多可分詞多長的文字?
keyboard_arrow_down
分塊功能如何工作?是語義分塊嗎?
keyboard_arrow_down
Segmenter API 如何處理 endoftext 之類的特殊詞元?
keyboard_arrow_down
分塊支援英語以外的語言嗎?
keyboard_arrow_down
速率限制
速率限制按以下維度統計:RPM(每分鐘請求數)和 TPM(每分鐘詞元數)。限制按 IP/API 金鑰分別計算,RPM 或 TPM 任一先達到閾值即觸發限制。若您在請求頭中提供了 API 金鑰,我們將按金鑰而非 IP 地址統計速率限制。
欄位
arrow_drop_down
| 產品 | API 端點 | 描述arrow_upward | 無 API 金鑰key_off | 免費 API 金鑰key | 付費 API 金鑰key | 高級 API 金鑰key | 平均延遲 | 詞元用量計算方式 | 允許的請求 | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | 將 URL 轉換為大模型友好文字 | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 按輸出響應中的詞元數計算。 | GET/POST | |
| Reader API | https://s.jina.ai | 搜尋網路並將結果轉換為大模型友好文字 | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 每次請求消耗固定數量的詞元,起步 10000 個詞元 | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | 按查詢對文件重排 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取決於輸入大小 help | 按輸入請求中的詞元數計算。 | POST | |
| 向量模型 API | https://api.jina.ai/v1/embeddings | 將文字/圖片轉為定長向量 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取決於輸入大小 help | 按輸入請求中的詞元數計算。 | POST | |
| 分類器 API | https://api.jina.ai/v1/train | 使用帶標籤的樣本訓練分類器 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取決於輸入大小 | 詞元計數為:輸入詞元 × 迭代次數 | POST | |
| 分類器 API (少樣本) | https://api.jina.ai/v1/classify | 使用經過訓練的少樣本分類器對輸入進行分類 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取決於輸入大小 | 詞元計數為:輸入詞元 | POST | |
| 分類器 API (零樣本) | https://api.jina.ai/v1/classify | 使用零樣本分類對輸入進行分類 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取決於輸入大小 | 詞元計數為:輸入詞元 + 標籤詞元 | POST | |
| Segmenter API | https://api.jina.ai/v1/segment | 對長文字進行分詞分句 | 20 RPM | 200 RPM | 200 RPM | 1,000 RPM | 0.3s | 不計入詞元用量。 | GET/POST | |
| DeepSearch | https://deepsearch.jina.ai/v1/chat/completions | 透過推理、搜尋與迭代找到最佳答案 | block | 50 RPM | 50 RPM | 500 RPM | 56.7s | 統計整個流程消耗的詞元總數。 | POST |
API 相關常見問題
code
Reader、向量模型、重排、分類和微調 API 可以共用同一個 API 金鑰嗎?
keyboard_arrow_down
code
我可以查看 API 金鑰的詞元用量嗎?
keyboard_arrow_down
code
如果我忘記了 API 金鑰,該怎麼辦?
keyboard_arrow_down
code
API 金鑰會過期嗎?
keyboard_arrow_down
code
可以在不同 API 金鑰之間轉移詞元嗎?
keyboard_arrow_down
code
我可以銷毀我的 API 金鑰嗎?
keyboard_arrow_down
code
為什麼有些模型的首次請求比較慢?
keyboard_arrow_down
code
我的 API 資料會被用來訓練你們的模型嗎?
keyboard_arrow_down
code
Jina API 的速率限制是多少?
keyboard_arrow_down
code
API 有批次大小限制嗎?
keyboard_arrow_down
與計費相關的常見問題
attach_money
API 是按句子數還是按請求數計費?
keyboard_arrow_down
attach_money
新使用者可以免費試用嗎?
keyboard_arrow_down
attach_money
失敗的請求是否會扣除詞元?
keyboard_arrow_down
attach_money
接受哪些付款方式?
keyboard_arrow_down
attach_money
儲值後可以開具發票嗎?
keyboard_arrow_down