Segmenter
長いテキストをチャンクに分割し、トークナイズするための無料 API。
Segmenter API
Segmenter API は、LLM がコンテキスト制限内で入力を管理し、モデルのパフォーマンスを最適化するために不可欠です。開発者はトークンをカウントし、関連するテキストセグメントを抽出できるため、効率的なデータ処理とコスト管理が可能になります。
GET リクエストを使用してトークン数をカウントする
その他の機能については POST リクエストを使用してください
最後の N 個のトークンを返します
指定されたコンテンツの最後の N 個のトークンを返します。境界は含みません。'head' と併用することはできません。
Segmenter
使用するトークナイザーを選択します。
cl100k_base
arrow_drop_down
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀"
}
EOFEOFkey
API キー
visibility_off
利用可能なトークン
0
Segmenter とは何ですか?
セグメンターは、テキストをトークンやチャンクに変換する重要なコンポーネントです。トークンやチャンクは、Embeddings/Reranker モデルや LLM が処理する基本的なデータ単位です。トークンは、単語全体、単語の一部、または個々の文字を表すことができます。
入力テキスト
長いドキュメントを超高速でチャンクに分割!
Segmenter API を使って長いドキュメントを小さなチャンクに分割し、Embeddings や Reranker で処理しやすくすることもできます。共通の構造的な手がかりと、Markdown、HTML、LaTeX、CJK 言語など、さまざまなコンテンツタイプで良好に機能するルールやヒューリスティックを活用しています。
入力テキスト
各チャンクの最大文字数。テキスト内に適切な境界があれば、チャンクはこの値より短くなることがあります。
合計チャンク数 0
Segmenter API は無料です!
API キーを指定すると、より高いレート制限が使え、キーに料金は請求されません。
レート制限
レート制限は 2 つの方法で追跡されます:RPM (1 分あたりのリクエスト数) および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。
列
arrow_drop_down
| 製品 | API エンドポイント | 説明arrow_upward | API キーなしkey_off | 無料 API キーありkey | 有料 API キーありkey | プレミアム API キーありkey | 平均レイテンシ | トークン使用量のカウント方法 | HTTP メソッド | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | URL を LLM に適したテキストに変換する | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 出力応答内のトークンの数に基づきます。 | GET/POST | |
| Reader API | https://s.jina.ai | Web を検索し、結果を LLM に適したテキストに変換する | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | リクエストごとに固定数のトークンを消費します(10,000 トークンから)。 | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | クエリに基づいてドキュメントをランク付けする | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 入力サイズに依存 help | 入力リクエスト内のトークンの数に基づきます。 | POST | |
| 埋め込み API | https://api.jina.ai/v1/embeddings | テキスト/画像を固定長ベクトルに変換する | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 入力サイズに依存 help | 入力リクエスト内のトークンの数に基づきます。 | POST |
code
Jina のすべての API で同じ API キーを使用できますか?
keyboard_arrow_down
code
API キーのトークンの使用状況を表示できますか?
keyboard_arrow_down
code
API キーを忘れた場合はどうすればよいですか?
keyboard_arrow_down
code
API キーには有効期限がありますか?
keyboard_arrow_down
code
API キー間でトークン残高を転送できますか?
keyboard_arrow_down
code
API キーを無効化できますか?
keyboard_arrow_down
code
一部のモデルの初回リクエストに時間がかかるのはなぜですか?
keyboard_arrow_down
code
私の API データはモデルのトレーニングに使用されますか?
keyboard_arrow_down
code
Jina API のレート制限はどのくらいですか?
keyboard_arrow_down
code
API にはバッチサイズの制限がありますか?
keyboard_arrow_down
code
Jina API は Elastic 内の Jina モデルと同じものですか?
keyboard_arrow_down
レート制限
レート制限は 2 つの方法で追跡されます:RPM (1 分あたりのリクエスト数) および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。
列
arrow_drop_down
| 製品 | API エンドポイント | 説明arrow_upward | API キーなしkey_off | 無料 API キーありkey | 有料 API キーありkey | プレミアム API キーありkey | 平均レイテンシ | トークン使用量のカウント方法 | HTTP メソッド | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | URL を LLM に適したテキストに変換する | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 出力応答内のトークンの数に基づきます。 | GET/POST | |
| Reader API | https://s.jina.ai | Web を検索し、結果を LLM に適したテキストに変換する | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | リクエストごとに固定数のトークンを消費します(10,000 トークンから)。 | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | クエリに基づいてドキュメントをランク付けする | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 入力サイズに依存 help | 入力リクエスト内のトークンの数に基づきます。 | POST | |
| 埋め込み API | https://api.jina.ai/v1/embeddings | テキスト/画像を固定長ベクトルに変換する | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 入力サイズに依存 help | 入力リクエスト内のトークンの数に基づきます。 | POST |
請求に関するよくある質問
attach_money
API の料金は文の数またはリクエストの数に基づいて課金されますか?
keyboard_arrow_down
attach_money
新規ユーザーは無料トライアルを利用できますか?
keyboard_arrow_down
attach_money
失敗したリクエストに対してトークンは差し引かれますか?
keyboard_arrow_down
attach_money
どのような支払い方法が利用できますか?
keyboard_arrow_down
attach_money
トークンの購入について請求書は発行されますか?
keyboard_arrow_down
attach_money
API トークンではなく、商用ライセンスを購入するにはどうすればよいですか?
keyboard_arrow_down
attach_money
クレジットカードではなく、請求書または発注書で支払うことはできますか?
keyboard_arrow_down
attach_money
支払いは済ませましたが、残高やレート制限が変わっていません。何をチェックすれば良いでしょうか?
keyboard_arrow_down
attach_money
解約、自動チャージの停止、保存した支払い方法の削除はどうすればよいですか?
keyboard_arrow_down