Segmenter

長いテキストをチャンクに分割し、トークナイズするための無料 API。

セグメンタ API

Segmenter API は、LLM がコンテキスト制限内で入力を管理し、モデルのパフォーマンスを最適化するために不可欠です。開発者はトークンをカウントし、関連するテキストセグメントを抽出できるため、効率的なデータ処理とコスト管理が可能になります。


GET リクエストを使用してトークン数をカウントする

その他の機能については POST リクエストを使用してください

リクエスト
POST
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{ "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀" }
EOFEOF


セグメンタとは何ですか?

セグメンターは、テキストをトークンやチャンクに変換する重要なコンポーネントです。トークンやチャンクは、Embeddings/Reranker モデルや LLM が処理する基本的なデータ単位です。トークンは、単語全体、単語の一部、または個々の文字を表すことができます。

長いドキュメントを超高速でチャンクに分割!

Segmenter API を使って長いドキュメントを小さなチャンクに分割し、Embeddings や Reranker で処理しやすくすることもできます。共通の構造的な手がかりと、Markdown、HTML、LaTeX、CJK 言語など、さまざまなコンテンツタイプで良好に機能するルールやヒューリスティックを活用しています。
各チャンクの最大長: 1000
各ブロック内の最大文字数。実際、テキスト内に自然な境界がある場合、ブロックの長さはこの値よりも小さくなる可能性があります。

合計チャンク数 0


Segmenter API は無料です!

API キーを提供すると、より高いレート制限にアクセスでき、キーは請求されません。
レート制限
レート制限は 2 つの方法で追跡されます:RPM (1 分あたりのリクエスト数) および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。
製品API エンドポイント説明API キーなし無料 API キーあり有料 API キーありプレミアム API キーあり平均レイテンシトークン使用量のカウント方法許可されるリクエスト
Reader APIhttps://r.jina.aiURL を LLM に適したテキストに変換する20 RPM500 RPM500 RPM5000 RPM7.9s出力応答内のトークンの数に基づきます。GET/POST
Reader APIhttps://s.jina.aiWeb を検索し、結果を LLM に適したテキストに変換する100 RPM100 RPM1000 RPM2.5s各リクエストには、10,000 トークンから始まる固定数のトークンが必要です。GET/POST
Reranker APIhttps://api.jina.ai/v1/rerankクエリに基づいてドキュメントをランク付けする100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
入力サイズに依存
入力リクエスト内のトークンの数に基づきます。POST
ベクトルモデルAPIhttps://api.jina.ai/v1/embeddingsテキスト/画像を固定長ベクトルに変換する100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
入力サイズに依存
入力リクエスト内のトークンの数に基づきます。POST
レート制限
レート制限は 2 つの方法で追跡されます:RPM (1 分あたりのリクエスト数) および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。
製品API エンドポイント説明API キーなし無料 API キーあり有料 API キーありプレミアム API キーあり平均レイテンシトークン使用量のカウント方法許可されるリクエスト
Reader APIhttps://r.jina.aiURL を LLM に適したテキストに変換する20 RPM500 RPM500 RPM5000 RPM7.9s出力応答内のトークンの数に基づきます。GET/POST
Reader APIhttps://s.jina.aiWeb を検索し、結果を LLM に適したテキストに変換する100 RPM100 RPM1000 RPM2.5s各リクエストには、10,000 トークンから始まる固定数のトークンが必要です。GET/POST
Reranker APIhttps://api.jina.ai/v1/rerankクエリに基づいてドキュメントをランク付けする100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
入力サイズに依存
入力リクエスト内のトークンの数に基づきます。POST
ベクトルモデルAPIhttps://api.jina.ai/v1/embeddingsテキスト/画像を固定長ベクトルに変換する100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
入力サイズに依存
入力リクエスト内のトークンの数に基づきます。POST
請求に関するよくある質問