Segmenter

長いテキストをチャンクに分割し、単語を分割するための無料 API。

セグメンタ API

Segmenter API は、LLM がコンテキスト制限内で入力を管理し、モデルのパフォーマンスを最適化するために不可欠です。開発者はトークンをカウントし、関連するテキストセグメントを抽出できるため、効率的なデータ処理とコスト管理が可能になります。

レート制限

よくある質問

Docs

サービス状況

https://api.jina.ai/v1/segment?content=

73 トークン、125 文字。

トークンを返す

トークンとそれに対応する ID を応答で返します。切り替えて結果の視覚化を表示します。

チャンクを返す

共通の構造的な手がかりに基づき、さまざまなテキストタイプやエッジケースに対応しながら、入力を意味的にまとまりのあるセグメントへチャンク分割します。

最初の N 個のトークンを返す

指定されたコンテンツの最初の N 個のトークンを返します。境界は含みません。'tail' と併用することはできません。

最後の N 個のトークンを返します

指定されたコンテンツの最後の N 個のトークンを返します。境界は含みません。'head' と併用することはできません。

セグメンタ

使用するトークナイザーを選択します。

cl100k_base

リクエスト

Bash

言語

curl -X POST 'https://api.jina.ai/v1/segment' \
  -H "Content-Type: application/json" \
  -d @- <<EOFEOF
  {
    "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座，从此不同！🚀\n検索ベース,もう二度と同じことはありません！🚀"
  }
EOFEOF

APIキー

トークン残量

これはあなた固有のキーです。大切に保管してください！

セグメンタとは何ですか?

セグメンターは、テキストをトークンやチャンクに変換する重要なコンポーネントです。トークンやチャンクは、Embeddings/Reranker モデルや LLM が処理する基本的なデータ単位です。トークンは、単語全体、単語の一部、または個々の文字を表すことができます。

テキストを入力してください

長いドキュメントを超高速でチャンクに分割!

Segmenter API を使って長いドキュメントを小さなチャンクに分割し、Embeddings や Reranker で処理しやすくすることもできます。共通の構造的な手がかりを活用し、Markdown、HTML、LaTeX、CJK 言語など、さまざまな種類のコンテンツで良好に機能する一連のルールとヒューリスティックを構築しました。

テキストを入力してください

各ブロックの最大長: 1000

各ブロック内の最大文字数。実際、テキスト内に自然な境界がある場合、ブロックの長さはこの値よりも小さくなる可能性があります。

Segmenter API は無料です!

API キーを提供すると、より高いレート制限にアクセスでき、キーは請求されません。

レート制限

レート制限は 3 つの方法で追跡されます: RPM (1 分あたりのリクエスト数)、および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。

列

製品	API エンドポイント	説明	API キーなし	無料 API キーあり	有料 API キーあり	プレミアム API キーあり	平均遅延	トークン使用量のカウント方法	許可されるリクエスト
リーダーAPI	`https://r.jina.ai`	URL を LLM に適したテキストに変換する	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	出力応答内のトークンの数に基づきます。	GET/POST
リーダーAPI	`https://s.jina.ai`	Web を検索し、結果を LLM に適したテキストに変換する		100 RPM	100 RPM	1000 RPM	2.5s	各リクエストには、10000 トークンから始まる固定数のトークンが必要です。	GET/POST
Reranker API	`https://api.jina.ai/v1/rerank`	クエリに基づいてドキュメントをランク付けする		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	入力サイズに依存	入力リクエスト内のトークンの数に基づきます。	POST
ベクトルモデルAPI	`https://api.jina.ai/v1/embeddings`	テキスト/画像を固定長ベクトルに変換する		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	入力サイズに依存	入力リクエスト内のトークンの数に基づきます。	POST
分類子 API	`https://api.jina.ai/v1/train`	ラベル付きサンプルを使用して分類器をトレーニングする		25 RPM & 25,000 TPM	125 RPM & 500,000 TPM	1,250 RPM & 12,000,000 TPM	入力サイズに依存	トークン数の計算: input_tokens × num_iters	POST
分類子 API (ゼロサンプル)	`https://api.jina.ai/v1/classify`	ゼロショット分類を使用して入力を分類する		25 RPM & 25,000 TPM	125 RPM & 500,000 TPM	1,250 RPM & 12,000,000 TPM	入力サイズに依存	トークン数の計算: input_tokens + label_tokens	POST
分類子 API (小さなサンプル)	`https://api.jina.ai/v1/classify`	トレーニングされた少数ショット分類器を使用して入力を分類する		25 RPM & 25,000 TPM	125 RPM & 500,000 TPM	1,250 RPM & 12,000,000 TPM	入力サイズに依存	トークン数の計算: input_tokens	POST
セグメンタ API	`https://api.jina.ai/v1/segment`	長いテキストをトークン化してセグメント化する	20 RPM	200 RPM	200 RPM	1,000 RPM	0.3s	トークンの使用量はカウントされません。	GET/POST
DeepSearch	`https://deepsearch.jina.ai/v1/chat/completions`	推論し、検索し、繰り返して最善の答えを見つける		50 RPM	50 RPM	500 RPM	56.7s	プロセス全体のトークンの総数をカウントします。	POST

APIキーを取得する

営業担当者に問い合わせる

よくある質問

Segmenter API の料金はいくらですか?

API キーを提供しない場合のレート制限は何ですか?

API キーを指定した場合、レート制限はどのくらいになりますか?

私の API キーからトークンを請求してくれますか?

Segmenter API は複数の言語をサポートしていますか?

GET リクエストと POST リクエストの違いは何ですか?

リクエストごとに分割できる単語の最大長はどれくらいですか?

チャンキング機能はどのように動作しますか?セマンティックチャンキングですか?

Segmenter API では 'endoftext' のような特殊トークンをどのように処理しますか?

チャンキングは英語以外の言語もサポートしていますか?

API キーを取得するにはどうすればよいですか?

レート制限とは何ですか?

レート制限

列

製品	API エンドポイント	説明	API キーなし	無料 API キーあり	有料 API キーあり	プレミアム API キーあり	平均遅延	トークン使用量のカウント方法	許可されるリクエスト
リーダーAPI	`https://r.jina.ai`	URL を LLM に適したテキストに変換する	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	出力応答内のトークンの数に基づきます。	GET/POST
リーダーAPI	`https://s.jina.ai`	Web を検索し、結果を LLM に適したテキストに変換する		100 RPM	100 RPM	1000 RPM	2.5s	各リクエストには、10000 トークンから始まる固定数のトークンが必要です。	GET/POST
Reranker API	`https://api.jina.ai/v1/rerank`	クエリに基づいてドキュメントをランク付けする		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	入力サイズに依存	入力リクエスト内のトークンの数に基づきます。	POST
ベクトルモデルAPI	`https://api.jina.ai/v1/embeddings`	テキスト/画像を固定長ベクトルに変換する		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	入力サイズに依存	入力リクエスト内のトークンの数に基づきます。	POST
分類子 API	`https://api.jina.ai/v1/train`	ラベル付きサンプルを使用して分類器をトレーニングする		25 RPM & 25,000 TPM	125 RPM & 500,000 TPM	1,250 RPM & 12,000,000 TPM	入力サイズに依存	トークン数の計算: input_tokens × num_iters	POST
分類子 API (ゼロサンプル)	`https://api.jina.ai/v1/classify`	ゼロショット分類を使用して入力を分類する		25 RPM & 25,000 TPM	125 RPM & 500,000 TPM	1,250 RPM & 12,000,000 TPM	入力サイズに依存	トークン数の計算: input_tokens + label_tokens	POST
分類子 API (小さなサンプル)	`https://api.jina.ai/v1/classify`	トレーニングされた少数ショット分類器を使用して入力を分類する		25 RPM & 25,000 TPM	125 RPM & 500,000 TPM	1,250 RPM & 12,000,000 TPM	入力サイズに依存	トークン数の計算: input_tokens	POST
セグメンタ API	`https://api.jina.ai/v1/segment`	長いテキストをトークン化してセグメント化する	20 RPM	200 RPM	200 RPM	1,000 RPM	0.3s	トークンの使用量はカウントされません。	GET/POST
DeepSearch	`https://deepsearch.jina.ai/v1/chat/completions`	推論し、検索し、繰り返して最善の答えを見つける		50 RPM	50 RPM	500 RPM	56.7s	プロセス全体のトークンの総数をカウントします。	POST

Reader、Embedding、Reranker、Classifier、Fine-Tuned Model API に同じ API キーを使用できますか?

API キーのトークンの使用状況を表示できますか?

API キーを忘れた場合はどうすればよいですか?

API キーには有効期限がありますか?

API キー間でトークン残高を転送できますか?

API キーを破棄してもいいですか?

一部のモデルの初回リクエストに時間がかかるのはなぜですか?

私の API データはモデルのトレーニングに使用されましたか?

Jina API のレート制限は何ですか?

API にはバッチサイズの制限がありますか?

API の料金は文の数またはリクエストの数に基づいて課金されますか?

新規ユーザーは無料トライアルを利用できますか?

失敗したリクエストに対してトークンは差し引かれますか?

どのような支払い方法が利用できますか?

トークンの購入について請求書は発行されますか?