Segmenter

API gratuite pour segmenter un texte long en chunks et le tokeniser.

API Segmenter

Notre API Segmenter est essentielle pour aider les LLM à gérer les entrées dans les limites du contexte et à optimiser les performances du modèle. Elle permet aux développeurs de compter les tokens et d'extraire les segments de texte pertinents, garantissant ainsi un traitement efficace des données et une gestion des coûts.


Utilisez une requête GET pour compter les tokens

Utilisez une requête POST pour plus de fonctionnalités

Demande
POST
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{ "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀" }
EOFEOF


Qu'est-ce que le Segmenter ?

Un segmenteur est un composant essentiel qui convertit le texte en tokens ou en chunks, qui sont les unités de données de base traitées par un modèle d'embedding, un reranker ou un LLM. Les tokens peuvent représenter des mots entiers, des parties de mots ou même des caractères individuels.

Découpage des longs documents, à la vitesse de l'éclair !

Vous pouvez également utiliser l'API Segmenter pour découper de longs documents en chunks plus petits, ce qui facilite leur traitement par des embeddings ou des rerankers. Nous exploitons des repères structurels courants ainsi qu'un ensemble de règles et d'heuristiques qui fonctionnent bien avec divers types de contenu, par exemple Markdown, HTML, LaTeX et les langues CJK.
Longueur maximale de chaque chunk: 1000
Nombre maximal de caractères par chunk. En pratique, un chunk peut être plus court que cette valeur si le texte offre une bonne frontière.

0 chunks au total


L'API Segmenter est gratuite !

En fournissant votre clé API, vous pouvez accéder à une limite de débit plus élevée et votre clé ne sera pas facturée.
Limite de débit
Les limites de débit sont suivies de deux manières : RPM (requêtes par minute) et TPM (tokens par minute). Les limites sont appliquées par IP ou clé API et se déclenchent dès que l'un des deux seuils, RPM ou TPM, est atteint. Lorsque vous fournissez une clé API dans l'en-tête de la requête, nous suivons les limites de débit par clé plutôt que par adresse IP.
ProduitPoint de terminaison de l'APIDescriptionSans clé APIAvec clé API gratuiteAvec clé API payanteAvec clé API PremiumLatence moyenneComptage de l'utilisation des tokensMéthode HTTP
API Readerhttps://r.jina.aiConvertir l'URL en texte compatible LLM20 RPM500 RPM500 RPM5000 RPM7.9sCompter le nombre de tokens dans la réponse de sortie.GET/POST
API Readerhttps://s.jina.aiRechercher sur le web et convertir les résultats en texte compatible LLM100 RPM100 RPM1000 RPM2.5sChaque demande coûte un nombre fixe de tokens, à partir de 10 000 tokensGET/POST
API Embeddingshttps://api.jina.ai/v1/embeddingsConvertir du texte/des images en vecteurs de longueur fixe100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dépend de la taille de l'entrée
Compter le nombre de tokens dans la demande d'entrée.POST
API Rerankerhttps://api.jina.ai/v1/rerankClasser les documents selon la requête100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dépend de la taille de l'entrée
Compter le nombre de tokens dans la demande d'entrée.POST
Limite de débit
Les limites de débit sont suivies de deux manières : RPM (requêtes par minute) et TPM (tokens par minute). Les limites sont appliquées par IP ou clé API et se déclenchent dès que l'un des deux seuils, RPM ou TPM, est atteint. Lorsque vous fournissez une clé API dans l'en-tête de la requête, nous suivons les limites de débit par clé plutôt que par adresse IP.
ProduitPoint de terminaison de l'APIDescriptionSans clé APIAvec clé API gratuiteAvec clé API payanteAvec clé API PremiumLatence moyenneComptage de l'utilisation des tokensMéthode HTTP
API Readerhttps://r.jina.aiConvertir l'URL en texte compatible LLM20 RPM500 RPM500 RPM5000 RPM7.9sCompter le nombre de tokens dans la réponse de sortie.GET/POST
API Readerhttps://s.jina.aiRechercher sur le web et convertir les résultats en texte compatible LLM100 RPM100 RPM1000 RPM2.5sChaque demande coûte un nombre fixe de tokens, à partir de 10 000 tokensGET/POST
API Embeddingshttps://api.jina.ai/v1/embeddingsConvertir du texte/des images en vecteurs de longueur fixe100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dépend de la taille de l'entrée
Compter le nombre de tokens dans la demande d'entrée.POST
API Rerankerhttps://api.jina.ai/v1/rerankClasser les documents selon la requête100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dépend de la taille de l'entrée
Compter le nombre de tokens dans la demande d'entrée.POST
Questions courantes liées à la facturation