Segmenter
長いテキストをチャンクに分割し、トークナイズするための無料 API。
セグメンタ API
Segmenter API は、LLM がコンテキスト制限内で入力を管理し、モデルのパフォーマンスを最適化するために不可欠です。開発者はトークンをカウントし、関連するテキストセグメントを抽出できるため、効率的なデータ処理とコスト管理が可能になります。
GET リクエストを使用してトークン数をカウントする
その他の機能については POST リクエストを使用してください
最後の N 個のトークンを返します
指定されたコンテンツの最後の N 個のトークンを返します。境界は含みません。'head' と併用することはできません。
Segmenter
使用するトークナイザーを選択します。
cl100k_base
arrow_drop_down
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀"
}
EOFEOFkey
APIキー
visibility_off
利用可能なトークン
0
セグメンタとは何ですか?
セグメンターは、テキストをトークンやチャンクに変換する重要なコンポーネントです。トークンやチャンクは、Embeddings/Reranker モデルや LLM が処理する基本的なデータ単位です。トークンは、単語全体、単語の一部、または個々の文字を表すことができます。
テキストを入力してください
長いドキュメントを超高速でチャンクに分割!
Segmenter API を使って長いドキュメントを小さなチャンクに分割し、Embeddings や Reranker で処理しやすくすることもできます。共通の構造的な手がかりと、Markdown、HTML、LaTeX、CJK 言語など、さまざまなコンテンツタイプで良好に機能するルールやヒューリスティックを活用しています。
テキストを入力してください
各ブロック内の最大文字数。実際、テキスト内に自然な境界がある場合、ブロックの長さはこの値よりも小さくなる可能性があります。
合計チャンク数 0
Segmenter API は無料です!
API キーを提供すると、より高いレート制限にアクセスでき、キーは請求されません。
レート制限
レート制限は 2 つの方法で追跡されます:RPM (1 分あたりのリクエスト数) および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。
列
arrow_drop_down
| Product | API Endpoint | Descriptionarrow_upward | w/o API Keykey_off | w/ Free API Keykey | w/ Paid API Keykey | w/ Premium API Keykey | Average latency | Token Usage Counting | Allowed Request | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | Converts a URL to LLM-friendly text | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Count the number of tokens in the output response. | GET/POST | |
| Reader API | https://s.jina.ai | Search the web and convert results to LLM-friendly text | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Every request costs a fixed number of tokens, starting from 10,000 tokens | GET/POST | |
| Embedding API | https://api.jina.ai/v1/embeddings | Convert text/images to fixed-length vectors | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart depends on the input size help | Count the number of tokens in the input request. | POST | |
| Reranker API | https://api.jina.ai/v1/rerank | Rank documents by query | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart depends on the input size help | Count the number of tokens in the input request. | POST |
code
JinaのすべてのAPIで同じAPIキーを使用できますか?
keyboard_arrow_down
code
API キーのトークンの使用状況を表示できますか?
keyboard_arrow_down
code
API キーを忘れた場合はどうすればよいですか?
keyboard_arrow_down
code
API キーには有効期限がありますか?
keyboard_arrow_down
code
API キー間でトークン残高を転送できますか?
keyboard_arrow_down
code
API キーを破棄してもいいですか?
keyboard_arrow_down
code
一部のモデルの初回リクエストに時間がかかるのはなぜですか?
keyboard_arrow_down
code
私の API データはモデルのトレーニングに使用されましたか?
keyboard_arrow_down
code
Jina API のレート制限は何ですか?
keyboard_arrow_down
code
API にはバッチサイズの制限がありますか?
keyboard_arrow_down
code
ElasticsearchのJina APIは、Jinaモデルと同じですか?
keyboard_arrow_down
レート制限
レート制限は 2 つの方法で追跡されます:RPM (1 分あたりのリクエスト数) および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。
列
arrow_drop_down
| Product | API Endpoint | Descriptionarrow_upward | w/o API Keykey_off | w/ Free API Keykey | w/ Paid API Keykey | w/ Premium API Keykey | Average latency | Token Usage Counting | Allowed Request | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | Converts a URL to LLM-friendly text | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Count the number of tokens in the output response. | GET/POST | |
| Reader API | https://s.jina.ai | Search the web and convert results to LLM-friendly text | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Every request costs a fixed number of tokens, starting from 10,000 tokens | GET/POST | |
| Embedding API | https://api.jina.ai/v1/embeddings | Convert text/images to fixed-length vectors | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart depends on the input size help | Count the number of tokens in the input request. | POST | |
| Reranker API | https://api.jina.ai/v1/rerank | Rank documents by query | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart depends on the input size help | Count the number of tokens in the input request. | POST |
請求に関するよくある質問
attach_money
API の料金は文の数またはリクエストの数に基づいて課金されますか?
keyboard_arrow_down
attach_money
新規ユーザーは無料トライアルを利用できますか?
keyboard_arrow_down
attach_money
失敗したリクエストに対してトークンは差し引かれますか?
keyboard_arrow_down
attach_money
どのような支払い方法が利用できますか?
keyboard_arrow_down
attach_money
トークンの購入について請求書は発行されますか?
keyboard_arrow_down
attach_money
APIトークンではなく、商用ライセンスを購入するにはどうすればよいですか?
keyboard_arrow_down
attach_money
クレジットカードではなく、請求書または発注書で支払うことはできますか?
keyboard_arrow_down
attach_money
支払いは済ませましたが、残高やレート制限が変わっていません。何をチェックすれば良いでしょうか?
keyboard_arrow_down
attach_money
キャンセル、自動チャージの停止、または保存済みの支払い方法の削除方法を教えてください。
keyboard_arrow_down