Segmenteur

API gratuite pour segmenter un texte long en chunks et le tokeniser.

API de segmentation

Notre API Segmenter est essentielle pour aider les LLM à gérer les entrées dans les limites du contexte et à optimiser les performances du modèle. Elle permet aux développeurs de compter les tokens et d'extraire les segments de texte pertinents, garantissant ainsi un traitement efficace des données et une gestion des coûts.


Utiliser la requête GET pour compter les tokens

Utilisez la requête POST pour plus de fonctionnalités

Demande
POST
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{ "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀" }
EOFEOF


Qu'est-ce qu'un segmenteur ?

Un segmenteur est un composant essentiel qui convertit le texte en tokens ou en chunks, qui sont les unités de données de base traitées par un modèle d'embedding/de reclassement ou LLM. Les tokens peuvent représenter des mots entiers, des parties de mots ou même des caractères individuels.

Découpage des longs documents, à la vitesse de l'éclair !

Vous pouvez également utiliser l'API Segmenter pour découper de longs documents en chunks plus petits, ce qui facilite leur traitement dans les embeddings ou les reclassements. Nous exploitons des repères structurels courants et créons un ensemble de règles et d'heuristiques qui fonctionnent bien avec divers types de contenu, par exemple Markdown, HTML, LaTeX et les langues CJK.
Longueur maximale de chaque chunk: 1000
Nombre maximal de caractères dans chaque bloc. En pratique, la longueur du bloc peut être inférieure à cette valeur s'il existe une limite naturelle dans le texte.

0 chunks au total


L'API Segmenter est gratuite !

En fournissant votre clé API, vous pouvez accéder à une limite de débit plus élevée et votre clé ne sera pas facturée.
Limite de débit
Les limites de débit sont suivies de deux manières : RPM (requêtes par minute) et TPM (tokens par minute). Les limites sont appliquées par IP/clé API et sont déclenchées dès que le seuil RPM ou TPM est atteint. Lorsque vous fournissez une clé API dans l'en-tête de la requête, nous suivons les limites de débit par clé plutôt que par adresse IP.
ProductAPI EndpointDescriptionw/o API Keyw/ Free API Keyw/ Paid API Keyw/ Premium API KeyAverage latencyToken Usage CountingAllowed Request
Reader APIhttps://r.jina.aiConverts a URL to LLM-friendly text20 RPM500 RPM500 RPM5000 RPM7.9sCount the number of tokens in the output response.GET/POST
Reader APIhttps://s.jina.aiSearch the web and convert results to LLM-friendly text100 RPM100 RPM1000 RPM2.5sEvery request costs a fixed number of tokens, starting from 10 000 tokensGET/POST
Embedding APIhttps://api.jina.ai/v1/embeddingsConvert text/images to fixed-length vectors100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depends on the input size
Count the number of tokens in the input request.POST
Reranker APIhttps://api.jina.ai/v1/rerankRank documents by query100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depends on the input size
Count the number of tokens in the input request.POST
Limite de débit
Les limites de débit sont suivies de deux manières : RPM (requêtes par minute) et TPM (tokens par minute). Les limites sont appliquées par IP/clé API et sont déclenchées dès que le seuil RPM ou TPM est atteint. Lorsque vous fournissez une clé API dans l'en-tête de la requête, nous suivons les limites de débit par clé plutôt que par adresse IP.
ProductAPI EndpointDescriptionw/o API Keyw/ Free API Keyw/ Paid API Keyw/ Premium API KeyAverage latencyToken Usage CountingAllowed Request
Reader APIhttps://r.jina.aiConverts a URL to LLM-friendly text20 RPM500 RPM500 RPM5000 RPM7.9sCount the number of tokens in the output response.GET/POST
Reader APIhttps://s.jina.aiSearch the web and convert results to LLM-friendly text100 RPM100 RPM1000 RPM2.5sEvery request costs a fixed number of tokens, starting from 10 000 tokensGET/POST
Embedding APIhttps://api.jina.ai/v1/embeddingsConvert text/images to fixed-length vectors100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depends on the input size
Count the number of tokens in the input request.POST
Reranker APIhttps://api.jina.ai/v1/rerankRank documents by query100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depends on the input size
Count the number of tokens in the input request.POST
Questions courantes liées à la facturation