切分器
用於將長文本分割成塊並進行切詞的免費 API。
切分器 API
我們的切分器對於幫助大模型在上下文限制內管理輸入以及優化模型性能至關重要。它允許開發人員計算詞元並提取相關文本段,從而確保高效的數據處理和成本管理。
chevron_leftchevron_right
使用 GET 請求直接返回詞元數量
使用 POST 請求獲取更多功能
返回最後 N 個詞元
返回給定內容的最後 N 個詞元。不包括恰好切在的邊界點。不能與`head`一起使用。
切分器
選擇要使用的切分器。
cl100k_base
arrow_drop_down
upload
請求
Bash
語言
arrow_drop_down
curl -X POST 'https://api.jina.ai/v1/segment' \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀"
}
EOFEOF
key
API密鑰
visibility_off
剩餘詞元額度
0
什麼是切分器?
分段器是將文本轉換為詞元或塊的關鍵組件,它們是向量模型/重排器或大模型處理的基本數據單位。詞元可以表示整個單詞、單詞的一部分,甚至是單個字符。
輸入文本
對長文檔進行切塊,快如閃電鞭!
您還可以使用切分器將長文檔分割成較小的塊,從而更輕鬆地在向量模型或重排器中處理它們。我們利用常見的結構線索並構建了一套規則和啓發式方法,這些規則和啓發式方法在不同類型的內容(例如 Markdown、HTML、LaTeX 和 CJK 語言)中表現良好。
輸入文本
每個塊中的最大字符數。實際上,如果文本中有自然邊界,塊長度可以小於此值。
總共 0 個切塊
切分器是免費的!
通過提供您的 API 密鑰,您可以訪問更高的速率限制,並且不會對您的密鑰收費。
速率限制
速率限制通過三種方式跟蹤:RPM(每分鐘請求數)和TPM(每分鐘詞元數)。限制按 IP/API 密鑰強制執行,當首先達到 RPM 或 TPM 閾值時,將觸發限制。當您在請求標頭中提供 API 密鑰時,我們會按密鑰而不是 IP 地址跟蹤速率限制。
欄位
arrow_drop_down
| 產品 | API端口 | 描述arrow_upward | 無 API 密鑰key_off | 免費 API 密鑰key | 使用付費 API 密鑰key | 帶有高級 API 密鑰key | 平均延遲 | 詞元使用計數 | 請求類型 | |
|---|---|---|---|---|---|---|---|---|---|---|
| 讀取器 API | https://r.jina.ai | 將 URL 轉換為大模型友好文本 | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 以輸出響應中的詞元數量為準。 | GET/POST | |
| 讀取器 API | https://s.jina.ai | 搜索網絡並將結果轉換為大模型友好文本 | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 每個請求都需要固定數量的詞元,從 10000 個詞元開始 | GET/POST | |
| 向量模型API | https://api.jina.ai/v1/embeddings | 將文本/圖片轉為定長向量 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取決於輸入大小 help | 以輸入請求中的詞元數量為準。 | POST | |
| 重排器 API | https://api.jina.ai/v1/rerank | 按查詢對文檔進行精排 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取決於輸入大小 help | 以輸入請求中的詞元數量為準。 | POST | |
| 分類器 API | https://api.jina.ai/v1/train | 使用訓練樣本訓練分類器 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取決於輸入大小 | 詞元計數為:輸入詞元 × 迭代次數 | POST | |
| 分類器 API (少量樣本) | https://api.jina.ai/v1/classify | 使用經過訓練的少樣本分類器對輸入進行分類 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取決於輸入大小 | 詞元計數為:輸入詞元 | POST | |
| 分類器 API (零樣本) | https://api.jina.ai/v1/classify | 使用零樣本分類對輸入進行分類 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取決於輸入大小 | 詞元計數為:輸入詞元 加 標籤詞元 | POST | |
| 切分器 API | https://api.jina.ai/v1/segment | 對長文本進行分詞分句 | 20 RPM | 200 RPM | 200 RPM | 1,000 RPM | 0.3s | 詞元不計算使用量。 | GET/POST | |
| 深度搜索 | https://deepsearch.jina.ai/v1/chat/completions | 推理、搜索和迭代以找到最佳答案 | block | 50 RPM | 50 RPM | 500 RPM | 56.7s | 統計整個過程中詞元的總數。 | POST |
切分器的價格是多少?
keyboard_arrow_down
如果我不提供 API 密鑰,速率限制是多少?
keyboard_arrow_down
如果我提供 API 密鑰,速率限制是多少?
keyboard_arrow_down
您會從我的 API 密鑰中收取詞元嗎?
keyboard_arrow_down
切分器是否支持多種語言?
keyboard_arrow_down
GET 和 POST 請求有什麼區別?
keyboard_arrow_down
每個請求可以切詞的最大長度是多少?
keyboard_arrow_down
切塊功能如何工作?是語義切塊嗎?
keyboard_arrow_down
如何在切分器中處理諸如`endoftext`之類的特殊詞元?
keyboard_arrow_down
分塊是否支持英語以外的其他語言?
keyboard_arrow_down
速率限制
速率限制通過三種方式跟蹤:RPM(每分鐘請求數)和TPM(每分鐘詞元數)。限制按 IP/API 密鑰強制執行,當首先達到 RPM 或 TPM 閾值時,將觸發限制。當您在請求標頭中提供 API 密鑰時,我們會按密鑰而不是 IP 地址跟蹤速率限制。
欄位
arrow_drop_down
| 產品 | API端口 | 描述arrow_upward | 無 API 密鑰key_off | 免費 API 密鑰key | 使用付費 API 密鑰key | 帶有高級 API 密鑰key | 平均延遲 | 詞元使用計數 | 請求類型 | |
|---|---|---|---|---|---|---|---|---|---|---|
| 讀取器 API | https://r.jina.ai | 將 URL 轉換為大模型友好文本 | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 以輸出響應中的詞元數量為準。 | GET/POST | |
| 讀取器 API | https://s.jina.ai | 搜索網絡並將結果轉換為大模型友好文本 | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 每個請求都需要固定數量的詞元,從 10000 個詞元開始 | GET/POST | |
| 向量模型API | https://api.jina.ai/v1/embeddings | 將文本/圖片轉為定長向量 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取決於輸入大小 help | 以輸入請求中的詞元數量為準。 | POST | |
| 重排器 API | https://api.jina.ai/v1/rerank | 按查詢對文檔進行精排 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 取決於輸入大小 help | 以輸入請求中的詞元數量為準。 | POST | |
| 分類器 API | https://api.jina.ai/v1/train | 使用訓練樣本訓練分類器 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取決於輸入大小 | 詞元計數為:輸入詞元 × 迭代次數 | POST | |
| 分類器 API (少量樣本) | https://api.jina.ai/v1/classify | 使用經過訓練的少樣本分類器對輸入進行分類 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取決於輸入大小 | 詞元計數為:輸入詞元 | POST | |
| 分類器 API (零樣本) | https://api.jina.ai/v1/classify | 使用零樣本分類對輸入進行分類 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 取決於輸入大小 | 詞元計數為:輸入詞元 加 標籤詞元 | POST | |
| 切分器 API | https://api.jina.ai/v1/segment | 對長文本進行分詞分句 | 20 RPM | 200 RPM | 200 RPM | 1,000 RPM | 0.3s | 詞元不計算使用量。 | GET/POST | |
| 深度搜索 | https://deepsearch.jina.ai/v1/chat/completions | 推理、搜索和迭代以找到最佳答案 | block | 50 RPM | 50 RPM | 500 RPM | 56.7s | 統計整個過程中詞元的總數。 | POST |
API相關常見問題
code
我可以對讀取器、向量模型、重排器、分類器和微調模型 API 使用相同的 API 密鑰嗎?
keyboard_arrow_down
code
我可以查看 API 密鑰的詞元使用情況嗎?
keyboard_arrow_down
code
如果我忘記了 API 密鑰,該怎麼辦?
keyboard_arrow_down
code
API 密鑰會過期嗎?
keyboard_arrow_down
code
我可以在 API 密鑰之間轉移額度嗎?
keyboard_arrow_down
code
我可以銷燬我的 API 密鑰嗎?
keyboard_arrow_down
code
為什麼有些機型第一次請求比較慢?
keyboard_arrow_down
code
我的API數據是否用於訓練你們的模型?
keyboard_arrow_down
code
Jina API 的速率限制是多少?
keyboard_arrow_down
code
API是否有批量大小限制?
keyboard_arrow_down
與計費相關的常見問題
attach_money
API是根據句子的數量或請求的數量計費嗎?
keyboard_arrow_down
attach_money
新用户可以免費試用嗎?
keyboard_arrow_down
attach_money
失敗的請求是否會扣除詞元?
keyboard_arrow_down
attach_money
接受哪些付款方式?
keyboard_arrow_down
attach_money
充值後可以開具發票嗎?
keyboard_arrow_down