Segmenter

免費 API,用於將長文字切分為分塊並進行分詞。

Segmenter API

Segmenter API 可幫助大模型把輸入控制在上下文長度以內,從而最佳化模型表現。開發者可用它統計詞元數、提取相關文字片段,實現高效的資料處理與成本控制。


使用 GET 請求統計詞元數

使用 POST 請求獲取更多功能

請求
POST
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{ "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀" }
EOFEOF


什麼是 Segmenter?

Segmenter 是把文字轉換成詞元或分塊的關鍵元件,詞元和分塊是向量模型、重排模型或大模型處理資料的基本單位。一個詞元可以是一個完整單詞、單詞的一部分,甚至是單個字元。

長文件分塊,快如閃電!

您也可以使用 Segmenter API 將長文件切成較小的分塊,便於後續交給向量模型或重排模型處理。我們利用常見的結構線索,構建了一套規則與啟發式方法,在 Markdown、HTML、LaTeX 以及中日韓等多種內容型別上都表現良好。
每個分塊的最大長度: 1000
每個分塊的最大字元數。實際長度可能小於此值,因為文字中若存在合適的自然邊界會優先在此處切分。

總共 0 個分塊


Segmenter API 完全免費!

提供 API 金鑰即可獲得更高的速率限制,且不會扣除您金鑰中的詞元。
速率限制
速率限制按以下維度統計:RPM(每分鐘請求數)和 TPM(每分鐘詞元數)。限制按 IP/API 金鑰分別計算,RPM 或 TPM 任一先達到閾值即觸發限制。若您在請求頭中提供了 API 金鑰,我們將按金鑰而非 IP 地址統計速率限制。
產品API 端點描述無 API 金鑰免費 API 金鑰付費 API 金鑰高級 API 金鑰平均延遲詞元用量計算方式允許的請求
Reader APIhttps://r.jina.ai將 URL 轉換為大模型友好文字20 RPM500 RPM500 RPM5000 RPM7.9s按輸出響應中的詞元數計算。GET/POST
Reader APIhttps://s.jina.ai搜尋網路並將結果轉換為大模型友好文字100 RPM100 RPM1000 RPM2.5s每次請求消耗固定數量的詞元,起步 10,000 個詞元GET/POST
Reranker APIhttps://api.jina.ai/v1/rerank按查詢對文件重排100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
取決於輸入大小
按輸入請求中的詞元數計算。POST
向量模型 APIhttps://api.jina.ai/v1/embeddings將文字/圖片轉為定長向量100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
取決於輸入大小
按輸入請求中的詞元數計算。POST
速率限制
速率限制按以下維度統計:RPM(每分鐘請求數)和 TPM(每分鐘詞元數)。限制按 IP/API 金鑰分別計算,RPM 或 TPM 任一先達到閾值即觸發限制。若您在請求頭中提供了 API 金鑰,我們將按金鑰而非 IP 地址統計速率限制。
產品API 端點描述無 API 金鑰免費 API 金鑰付費 API 金鑰高級 API 金鑰平均延遲詞元用量計算方式允許的請求
Reader APIhttps://r.jina.ai將 URL 轉換為大模型友好文字20 RPM500 RPM500 RPM5000 RPM7.9s按輸出響應中的詞元數計算。GET/POST
Reader APIhttps://s.jina.ai搜尋網路並將結果轉換為大模型友好文字100 RPM100 RPM1000 RPM2.5s每次請求消耗固定數量的詞元,起步 10,000 個詞元GET/POST
Reranker APIhttps://api.jina.ai/v1/rerank按查詢對文件重排100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
取決於輸入大小
按輸入請求中的詞元數計算。POST
向量模型 APIhttps://api.jina.ai/v1/embeddings將文字/圖片轉為定長向量100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
取決於輸入大小
按輸入請求中的詞元數計算。POST
與計費相關的常見問題