Segmenteur

API gratuite pour segmenter un texte long en chunks et le tokeniser.

API de segmentation

Notre API Segmenter est essentielle pour aider les LLM à gérer les entrées dans les limites du contexte et à optimiser les performances du modèle. Elle permet aux développeurs de compter les tokens et d'extraire les segments de texte pertinents, garantissant ainsi un traitement efficace des données et une gestion des coûts.


Utiliser la requête GET pour compter les tokens

Utilisez la requête POST pour plus de fonctionnalités

Demande
POST
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{ "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀" }
EOFEOF


Qu'est-ce qu'un segmenteur ?

Un segmenteur est un composant essentiel qui convertit le texte en tokens ou en chunks, qui sont les unités de données de base traitées par un modèle d'embedding/de reclassement ou LLM. Les tokens peuvent représenter des mots entiers, des parties de mots ou même des caractères individuels.

Découpage des longs documents, à la vitesse de l'éclair !

Vous pouvez également utiliser l'API Segmenter pour découper de longs documents en chunks plus petits, ce qui facilite leur traitement dans les embeddings ou les reclassements. Nous exploitons des repères structurels courants et créons un ensemble de règles et d'heuristiques qui fonctionnent bien avec divers types de contenu, par exemple Markdown, HTML, LaTeX et les langues CJK.
Longueur maximale de chaque chunk: 1000
Nombre maximal de caractères dans chaque bloc. En pratique, la longueur du bloc peut être inférieure à cette valeur s'il existe une limite naturelle dans le texte.

0 chunks au total


L'API Segmenter est gratuite !

En fournissant votre clé API, vous pouvez accéder à une limite de débit plus élevée et votre clé ne sera pas facturée.
Limite de débit
Les limites de débit sont suivies de deux manières : RPM (requêtes par minute) et TPM (tokens par minute). Les limites sont appliquées par IP/clé API et sont déclenchées dès que le seuil RPM ou TPM est atteint. Lorsque vous fournissez une clé API dans l'en-tête de la requête, nous suivons les limites de débit par clé plutôt que par adresse IP.
ProduitPoint de terminaison de l'APIDescriptionsans clé APIavec clé API gratuiteavec clé API payanteavec clé API PremiumLatence moyenneComptage de l'utilisation des tokensDemande autorisée
API de Readerhttps://r.jina.aiConvertir l'URL en texte compatible LLM20 RPM500 RPM500 RPM5000 RPM7.9sCompter le nombre de tokens dans la réponse de sortie.GET/POST
API de Readerhttps://s.jina.aiRechercher sur le web et convertir les résultats en texte adapté au LLM100 RPM100 RPM1000 RPM2.5sChaque demande coûte un nombre fixe de tokens, à partir de 10 000 tokensGET/POST
API de reclassementhttps://api.jina.ai/v1/rerankClasser les documents par requête100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dépend de la taille de l'entrée
Compter le nombre de tokens dans la demande d'entrée.POST
API embeddingshttps://api.jina.ai/v1/embeddingsConvertir du texte/des images en vecteurs de longueur fixe100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dépend de la taille de l'entrée
Compter le nombre de tokens dans la demande d'entrée.POST
Limite de débit
Les limites de débit sont suivies de deux manières : RPM (requêtes par minute) et TPM (tokens par minute). Les limites sont appliquées par IP/clé API et sont déclenchées dès que le seuil RPM ou TPM est atteint. Lorsque vous fournissez une clé API dans l'en-tête de la requête, nous suivons les limites de débit par clé plutôt que par adresse IP.
ProduitPoint de terminaison de l'APIDescriptionsans clé APIavec clé API gratuiteavec clé API payanteavec clé API PremiumLatence moyenneComptage de l'utilisation des tokensDemande autorisée
API de Readerhttps://r.jina.aiConvertir l'URL en texte compatible LLM20 RPM500 RPM500 RPM5000 RPM7.9sCompter le nombre de tokens dans la réponse de sortie.GET/POST
API de Readerhttps://s.jina.aiRechercher sur le web et convertir les résultats en texte adapté au LLM100 RPM100 RPM1000 RPM2.5sChaque demande coûte un nombre fixe de tokens, à partir de 10 000 tokensGET/POST
API de reclassementhttps://api.jina.ai/v1/rerankClasser les documents par requête100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dépend de la taille de l'entrée
Compter le nombre de tokens dans la demande d'entrée.POST
API embeddingshttps://api.jina.ai/v1/embeddingsConvertir du texte/des images en vecteurs de longueur fixe100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dépend de la taille de l'entrée
Compter le nombre de tokens dans la demande d'entrée.POST
Questions courantes liées à la facturation