Segmenter

長いテキストをチャンクに分割し、トークナイズするための無料 API。

セグメンタ API

Segmenter API は、LLM がコンテキスト制限内で入力を管理し、モデルのパフォーマンスを最適化するために不可欠です。開発者はトークンをカウントし、関連するテキストセグメントを抽出できるため、効率的なデータ処理とコスト管理が可能になります。

https://api.jina.ai/v1/segment?content=

73 トークン、125 文字。

トークンを返す

トークンとそれに対応する ID を応答で返します。切り替えて結果の視覚化を表示します。

チャンクを返す

共通の構造的な手がかりに基づき、さまざまなテキストタイプやエッジケースに対応しながら、入力を意味的にまとまりのあるセグメントへチャンク分割します。

最初の N 個のトークンを返す

指定されたコンテンツの最初の N 個のトークンを返します。境界は含みません。'tail' と併用することはできません。

最後の N 個のトークンを返します

指定されたコンテンツの最後の N 個のトークンを返します。境界は含みません。'head' と併用することはできません。

Segmenter

使用するトークナイザーを選択します。

cl100k_base

リクエスト

Bash

言語

curl -X POST 'https://api.jina.ai/v1/segment' \
  -H "Content-Type: application/json" \
  -d @- <<EOFEOF
  {
    "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座，从此不同！🚀\n検索ベース,もう二度と同じことはありません！🚀"
  }
EOFEOF

APIキー

利用可能なトークン

これはあなた固有のキーです。大切に保管してください！

セグメンタとは何ですか？

セグメンターは、テキストをトークンやチャンクに変換する重要なコンポーネントです。トークンやチャンクは、Embeddings/Reranker モデルや LLM が処理する基本的なデータ単位です。トークンは、単語全体、単語の一部、または個々の文字を表すことができます。

テキストを入力してください

長いドキュメントを超高速でチャンクに分割！

Segmenter API を使って長いドキュメントを小さなチャンクに分割し、Embeddings や Reranker で処理しやすくすることもできます。共通の構造的な手がかりと、Markdown、HTML、LaTeX、CJK 言語など、さまざまなコンテンツタイプで良好に機能するルールやヒューリスティックを活用しています。

テキストを入力してください

各チャンクの最大長: 1000

各ブロック内の最大文字数。実際、テキスト内に自然な境界がある場合、ブロックの長さはこの値よりも小さくなる可能性があります。

Segmenter API は無料です！

API キーを提供すると、より高いレート制限にアクセスでき、キーは請求されません。

レート制限

レート制限は 2 つの方法で追跡されます：RPM (1 分あたりのリクエスト数) および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。

列

製品	API エンドポイント	説明	API キーなし	無料 API キーあり	有料 API キーあり	プレミアム API キーあり	平均レイテンシ	トークン使用量のカウント方法	許可されるリクエスト
Reader API	`https://r.jina.ai`	URL を LLM に適したテキストに変換する	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	出力応答内のトークンの数に基づきます。	GET/POST
Reader API	`https://s.jina.ai`	Web を検索し、結果を LLM に適したテキストに変換する		100 RPM	100 RPM	1000 RPM	2.5s	各リクエストには、10000 トークンから始まる固定数のトークンが必要です。	GET/POST
Reranker API	`https://api.jina.ai/v1/rerank`	クエリに基づいてドキュメントをランク付けする		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	入力サイズに依存	入力リクエスト内のトークンの数に基づきます。	POST
ベクトルモデルAPI	`https://api.jina.ai/v1/embeddings`	テキスト/画像を固定長ベクトルに変換する		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	入力サイズに依存	入力リクエスト内のトークンの数に基づきます。	POST

APIキーを取得する

営業担当者に問い合わせる

よくある質問

JinaのすべてのAPIで同じAPIキーを使用できますか？

API キーのトークンの使用状況を表示できますか？

API キーを忘れた場合はどうすればよいですか？

API キーには有効期限がありますか？

API キー間でトークン残高を転送できますか？

API キーを破棄してもいいですか？

一部のモデルの初回リクエストに時間がかかるのはなぜですか？

私の API データはモデルのトレーニングに使用されましたか？

Jina API のレート制限は何ですか？

API にはバッチサイズの制限がありますか？

ElasticsearchのJina APIは、Jinaモデルと同じですか？

API キーを取得するにはどうすればよいですか？

レート制限とは何ですか？

レート制限

列

製品	API エンドポイント	説明	API キーなし	無料 API キーあり	有料 API キーあり	プレミアム API キーあり	平均レイテンシ	トークン使用量のカウント方法	許可されるリクエスト
Reader API	`https://r.jina.ai`	URL を LLM に適したテキストに変換する	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	出力応答内のトークンの数に基づきます。	GET/POST
Reader API	`https://s.jina.ai`	Web を検索し、結果を LLM に適したテキストに変換する		100 RPM	100 RPM	1000 RPM	2.5s	各リクエストには、10000 トークンから始まる固定数のトークンが必要です。	GET/POST
Reranker API	`https://api.jina.ai/v1/rerank`	クエリに基づいてドキュメントをランク付けする		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	入力サイズに依存	入力リクエスト内のトークンの数に基づきます。	POST
ベクトルモデルAPI	`https://api.jina.ai/v1/embeddings`	テキスト/画像を固定長ベクトルに変換する		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	入力サイズに依存	入力リクエスト内のトークンの数に基づきます。	POST

API の料金は文の数またはリクエストの数に基づいて課金されますか？

新規ユーザーは無料トライアルを利用できますか？

失敗したリクエストに対してトークンは差し引かれますか？

どのような支払い方法が利用できますか？

トークンの購入について請求書は発行されますか？

APIトークンではなく、商用ライセンスを購入するにはどうすればよいですか？

クレジットカードではなく、請求書または発注書で支払うことはできますか？

支払いは済ませましたが、残高やレート制限が変わっていません。何をチェックすれば良いでしょうか？

キャンセル、自動チャージの停止、または保存済みの支払い方法の削除方法を教えてください。