Segmenter

長いテキストをチャンクに分割し、トークナイズするための無料 API。

Segmenter API

Segmenter API は、LLM がコンテキスト制限内で入力を管理し、モデルのパフォーマンスを最適化するために不可欠です。開発者はトークンをカウントし、関連するテキストセグメントを抽出できるため、効率的なデータ処理とコスト管理が可能になります。


GET リクエストを使用してトークン数をカウントする

その他の機能については POST リクエストを使用してください

リクエスト
POST
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{ "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀" }
EOFEOF


Segmenter とは何ですか?

セグメンターは、テキストをトークンやチャンクに変換する重要なコンポーネントです。トークンやチャンクは、Embeddings/Reranker モデルや LLM が処理する基本的なデータ単位です。トークンは、単語全体、単語の一部、または個々の文字を表すことができます。

長いドキュメントを超高速でチャンクに分割!

Segmenter API を使って長いドキュメントを小さなチャンクに分割し、Embeddings や Reranker で処理しやすくすることもできます。共通の構造的な手がかりと、Markdown、HTML、LaTeX、CJK 言語など、さまざまなコンテンツタイプで良好に機能するルールやヒューリスティックを活用しています。
各チャンクの最大長: 1000
各チャンクの最大文字数。テキスト内に適切な境界があれば、チャンクはこの値より短くなることがあります。

合計チャンク数 0


Segmenter API は無料です!

API キーを指定すると、より高いレート制限が使え、キーに料金は請求されません。
レート制限
レート制限は 2 つの方法で追跡されます:RPM (1 分あたりのリクエスト数) および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。
製品API エンドポイント説明API キーなし無料 API キーあり有料 API キーありプレミアム API キーあり平均レイテンシトークン使用量のカウント方法HTTP メソッド
Reader APIhttps://r.jina.aiURL を LLM に適したテキストに変換する20 RPM500 RPM500 RPM5000 RPM7.9s出力応答内のトークンの数に基づきます。GET/POST
Reader APIhttps://s.jina.aiWeb を検索し、結果を LLM に適したテキストに変換する100 RPM100 RPM1000 RPM2.5sリクエストごとに固定数のトークンを消費します(10,000 トークンから)。GET/POST
Reranker APIhttps://api.jina.ai/v1/rerankクエリに基づいてドキュメントをランク付けする100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
入力サイズに依存
入力リクエスト内のトークンの数に基づきます。POST
埋め込み APIhttps://api.jina.ai/v1/embeddingsテキスト/画像を固定長ベクトルに変換する100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
入力サイズに依存
入力リクエスト内のトークンの数に基づきます。POST
レート制限
レート制限は 2 つの方法で追跡されます:RPM (1 分あたりのリクエスト数) および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。
製品API エンドポイント説明API キーなし無料 API キーあり有料 API キーありプレミアム API キーあり平均レイテンシトークン使用量のカウント方法HTTP メソッド
Reader APIhttps://r.jina.aiURL を LLM に適したテキストに変換する20 RPM500 RPM500 RPM5000 RPM7.9s出力応答内のトークンの数に基づきます。GET/POST
Reader APIhttps://s.jina.aiWeb を検索し、結果を LLM に適したテキストに変換する100 RPM100 RPM1000 RPM2.5sリクエストごとに固定数のトークンを消費します(10,000 トークンから)。GET/POST
Reranker APIhttps://api.jina.ai/v1/rerankクエリに基づいてドキュメントをランク付けする100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
入力サイズに依存
入力リクエスト内のトークンの数に基づきます。POST
埋め込み APIhttps://api.jina.ai/v1/embeddingsテキスト/画像を固定長ベクトルに変換する100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
入力サイズに依存
入力リクエスト内のトークンの数に基づきます。POST
請求に関するよくある質問