Segmenteur
API gratuite pour segmenter un texte long en morceaux et en tokenisation.
API de segmentation
Notre API Segmenter est essentielle pour aider les LLM à gérer les entrées dans les limites du contexte et à optimiser les performances du modèle. Elle permet aux développeurs de compter les jetons et d'extraire les segments de texte pertinents, garantissant ainsi un traitement efficace des données et une gestion des coûts.
chevron_leftchevron_right
Utiliser la requête GET pour compter les jetons
Utilisez la requête POST pour plus de fonctionnalités
Renvoie les N derniers jetons
Renvoie les N derniers jetons du contenu donné. Limite exclusive. Ne peut pas être utilisé avec 'head'.
Segmenteur
Choisissez le tokeniseur à utiliser.
cl100k_base
arrow_drop_down
upload
Demande
Bash
Langue
arrow_drop_down
curl -X POST 'https://api.jina.ai/v1/segment' \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀"
}
EOFEOF
key
Clé API
visibility_off
Jetons disponibles
0
Qu'est-ce qu'un segmenteur ?
Un segmenteur est un composant essentiel qui convertit le texte en jetons ou en morceaux, qui sont les unités de données de base traitées par un modèle d'intégration/de reclassement ou LLM. Les jetons peuvent représenter des mots entiers, des parties de mots ou même des caractères individuels.
Saisir du texte
Rédiger de longs documents à la vitesse de l'éclair !
Vous pouvez également utiliser l'API Segmenter pour découper de longs documents en morceaux plus petits, ce qui facilite leur traitement dans les intégrations ou les reclassements. Nous exploitons des repères structurels courants et créons un ensemble de règles et d'heuristiques qui fonctionnent bien avec divers types de contenu, par exemple les langages Markdown, HTML, LaTeX et CJK.
Saisir du texte
Nombre maximal de caractères dans chaque bloc. En pratique, la longueur du bloc peut être inférieure à cette valeur s'il existe une limite naturelle dans le texte.
0 morceaux au total
L'API Segmenter est gratuite !
En fournissant votre clé API, vous pouvez accéder à une limite de débit plus élevée et votre clé ne sera pas facturée.
Limite de taux
Les limites de débit sont suivies de trois manières : RPM (requêtes par minute) et TPM (jetons par minute). Les limites sont appliquées par IP/clé API et sont déclenchées dès que le seuil RPM ou TPM est atteint. Lorsque vous fournissez une clé API dans l'en-tête de la requête, nous suivons les limites de débit par clé plutôt que par adresse IP.
Colonnes
arrow_drop_down
| Produit | Point de terminaison de l'API | Descriptionarrow_upward | sans clé APIkey_off | avec clé API gratuitekey | avec clé API payantekey | avec clé API Premiumkey | Latence moyenne | Comptage de l'utilisation des jetons | Demande autorisée | |
|---|---|---|---|---|---|---|---|---|---|---|
| API de lecteur | https://r.jina.ai | Convertir l'URL en texte compatible LLM | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Comptez le nombre de jetons dans la réponse de sortie. | GET/POST | |
| API de lecteur | https://s.jina.ai | Recherchez sur le Web et convertissez les résultats en texte adapté au LLM | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Chaque demande coûte un nombre fixe de jetons, à partir de 10000 jetons | GET/POST | |
| API d'intégration | https://api.jina.ai/v1/embeddings | Convertir du texte/des images en vecteurs de longueur fixe | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dépend de la taille de l'entrée help | Comptez le nombre de jetons dans la demande d'entrée. | POST | |
| API de reclassement | https://api.jina.ai/v1/rerank | Classer les documents par requête | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dépend de la taille de l'entrée help | Comptez le nombre de jetons dans la demande d'entrée. | POST | |
| API de classificateur | https://api.jina.ai/v1/train | Entraîner un classificateur à l'aide d'exemples étiquetés | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart dépend de la taille de l'entrée | Les jetons sont comptés comme suit : input_tokens × num_iters | POST | |
| API de classificateur (Coup zéro) | https://api.jina.ai/v1/classify | Classer les entrées à l'aide de la classification à coup zéro | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart dépend de la taille de l'entrée | Jetons comptés comme : input_tokens + label_tokens | POST | |
| API de classificateur (Quelques coups) | https://api.jina.ai/v1/classify | Classer les entrées à l'aide d'un classificateur à quelques coups entraîné | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart dépend de la taille de l'entrée | Jetons comptés comme : input_tokens | POST | |
| API de segmentation | https://api.jina.ai/v1/segment | Tokeniser et segmenter un texte long | 20 RPM | 200 RPM | 200 RPM | 1,000 RPM | 0.3s | Le jeton n'est pas comptabilisé comme une utilisation. | GET/POST | |
| DeepSearch | https://deepsearch.jina.ai/v1/chat/completions | Raisonner, rechercher et itérer pour trouver la meilleure réponse | block | 50 RPM | 50 RPM | 500 RPM | 56.7s | Comptez le nombre total de jetons dans l’ensemble du processus. | POST |
Combien coûte l'API Segmenter ?
keyboard_arrow_down
Si je ne fournis pas de clé API, quelle est la limite de débit ?
keyboard_arrow_down
Si je fournis une clé API, quelle est la limite de débit ?
keyboard_arrow_down
Allez-vous facturer les jetons à partir de ma clé API ?
keyboard_arrow_down
L'API Segmenter prend-elle en charge plusieurs langues ?
keyboard_arrow_down
Quelle est la différence entre les requêtes GET et POST ?
keyboard_arrow_down
Quelle est la longueur maximale que je peux tokeniser par requête ?
keyboard_arrow_down
Comment fonctionne la fonction de fragmentation ? S'agit-il d'une fragmentation sémantique ?
keyboard_arrow_down
Comment gérez-vous les jetons spéciaux tels que « endoftext » dans l'API Segmenter ?
keyboard_arrow_down
Le chunking prend-il en charge d'autres langues que l'anglais ?
keyboard_arrow_down
Limite de taux
Les limites de débit sont suivies de trois manières : RPM (requêtes par minute) et TPM (jetons par minute). Les limites sont appliquées par IP/clé API et sont déclenchées dès que le seuil RPM ou TPM est atteint. Lorsque vous fournissez une clé API dans l'en-tête de la requête, nous suivons les limites de débit par clé plutôt que par adresse IP.
Colonnes
arrow_drop_down
| Produit | Point de terminaison de l'API | Descriptionarrow_upward | sans clé APIkey_off | avec clé API gratuitekey | avec clé API payantekey | avec clé API Premiumkey | Latence moyenne | Comptage de l'utilisation des jetons | Demande autorisée | |
|---|---|---|---|---|---|---|---|---|---|---|
| API de lecteur | https://r.jina.ai | Convertir l'URL en texte compatible LLM | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Comptez le nombre de jetons dans la réponse de sortie. | GET/POST | |
| API de lecteur | https://s.jina.ai | Recherchez sur le Web et convertissez les résultats en texte adapté au LLM | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Chaque demande coûte un nombre fixe de jetons, à partir de 10000 jetons | GET/POST | |
| API d'intégration | https://api.jina.ai/v1/embeddings | Convertir du texte/des images en vecteurs de longueur fixe | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dépend de la taille de l'entrée help | Comptez le nombre de jetons dans la demande d'entrée. | POST | |
| API de reclassement | https://api.jina.ai/v1/rerank | Classer les documents par requête | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dépend de la taille de l'entrée help | Comptez le nombre de jetons dans la demande d'entrée. | POST | |
| API de classificateur | https://api.jina.ai/v1/train | Entraîner un classificateur à l'aide d'exemples étiquetés | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart dépend de la taille de l'entrée | Les jetons sont comptés comme suit : input_tokens × num_iters | POST | |
| API de classificateur (Coup zéro) | https://api.jina.ai/v1/classify | Classer les entrées à l'aide de la classification à coup zéro | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart dépend de la taille de l'entrée | Jetons comptés comme : input_tokens + label_tokens | POST | |
| API de classificateur (Quelques coups) | https://api.jina.ai/v1/classify | Classer les entrées à l'aide d'un classificateur à quelques coups entraîné | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart dépend de la taille de l'entrée | Jetons comptés comme : input_tokens | POST | |
| API de segmentation | https://api.jina.ai/v1/segment | Tokeniser et segmenter un texte long | 20 RPM | 200 RPM | 200 RPM | 1,000 RPM | 0.3s | Le jeton n'est pas comptabilisé comme une utilisation. | GET/POST | |
| DeepSearch | https://deepsearch.jina.ai/v1/chat/completions | Raisonner, rechercher et itérer pour trouver la meilleure réponse | block | 50 RPM | 50 RPM | 500 RPM | 56.7s | Comptez le nombre total de jetons dans l’ensemble du processus. | POST |
Questions courantes liées à l'API
code
Puis-je utiliser la même clé API pour les API de lecture, d'intégration, de reclassement, de classification et de réglage fin ?
keyboard_arrow_down
code
Puis-je surveiller l’utilisation des jetons de ma clé API ?
keyboard_arrow_down
code
Que dois-je faire si j'oublie ma clé API ?
keyboard_arrow_down
code
Les clés API expirent-elles ?
keyboard_arrow_down
code
Puis-je transférer des jetons entre des clés API ?
keyboard_arrow_down
code
Puis-je révoquer ma clé API ?
keyboard_arrow_down
code
Pourquoi la première demande de certains modèles est-elle lente ?
keyboard_arrow_down
code
Mes données API sont-elles utilisées pour entraîner vos modèles ?
keyboard_arrow_down
code
Quelles sont les limites de débit des API Jina ?
keyboard_arrow_down
code
Existe-t-il des limites de taille de lot pour les API ?
keyboard_arrow_down
Questions courantes liées à la facturation
attach_money
La facturation est-elle basée sur le nombre de phrases ou de demandes ?
keyboard_arrow_down
attach_money
Existe-t-il un essai gratuit disponible pour les nouveaux utilisateurs ?
keyboard_arrow_down
attach_money
Les jetons sont-ils facturés pour les demandes ayant échoué ?
keyboard_arrow_down
attach_money
Quels moyens de paiement sont acceptés ?
keyboard_arrow_down
attach_money
La facturation est-elle disponible pour les achats de jetons ?
keyboard_arrow_down