Segmenter
API gratuite pour segmenter un texte long en chunks et le tokeniser.
API Segmenter
Notre API Segmenter est essentielle pour aider les LLM à gérer les entrées dans les limites du contexte et à optimiser les performances du modèle. Elle permet aux développeurs de compter les tokens et d'extraire les segments de texte pertinents, garantissant ainsi un traitement efficace des données et une gestion des coûts.
Utilisez une requête GET pour compter les tokens
Utilisez une requête POST pour plus de fonctionnalités
Renvoie les N derniers tokens
Renvoie les N derniers tokens du contenu donné. Limite exclusive. Ne peut pas être utilisé avec 'head'.
Segmenter
Choisissez le tokenizer à utiliser.
cl100k_base
arrow_drop_down
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀"
}
EOFEOFkey
Clé API
visibility_off
Tokens disponibles
0
Qu'est-ce que le Segmenter ?
Un segmenteur est un composant essentiel qui convertit le texte en tokens ou en chunks, qui sont les unités de données de base traitées par un modèle d'embedding, un reranker ou un LLM. Les tokens peuvent représenter des mots entiers, des parties de mots ou même des caractères individuels.
Texte d'entrée
Découpage des longs documents, à la vitesse de l'éclair !
Vous pouvez également utiliser l'API Segmenter pour découper de longs documents en chunks plus petits, ce qui facilite leur traitement par des embeddings ou des rerankers. Nous exploitons des repères structurels courants ainsi qu'un ensemble de règles et d'heuristiques qui fonctionnent bien avec divers types de contenu, par exemple Markdown, HTML, LaTeX et les langues CJK.
Texte d'entrée
Nombre maximal de caractères par chunk. En pratique, un chunk peut être plus court que cette valeur si le texte offre une bonne frontière.
0 chunks au total
L'API Segmenter est gratuite !
En fournissant votre clé API, vous pouvez accéder à une limite de débit plus élevée et votre clé ne sera pas facturée.
Limite de débit
Les limites de débit sont suivies de deux manières : RPM (requêtes par minute) et TPM (tokens par minute). Les limites sont appliquées par IP ou clé API et se déclenchent dès que l'un des deux seuils, RPM ou TPM, est atteint. Lorsque vous fournissez une clé API dans l'en-tête de la requête, nous suivons les limites de débit par clé plutôt que par adresse IP.
Colonnes
arrow_drop_down
| Produit | Point de terminaison de l'API | Descriptionarrow_upward | Sans clé APIkey_off | Avec clé API gratuitekey | Avec clé API payantekey | Avec clé API Premiumkey | Latence moyenne | Comptage de l'utilisation des tokens | Méthode HTTP | |
|---|---|---|---|---|---|---|---|---|---|---|
| API Reader | https://r.jina.ai | Convertir l'URL en texte compatible LLM | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Compter le nombre de tokens dans la réponse de sortie. | GET/POST | |
| API Reader | https://s.jina.ai | Rechercher sur le web et convertir les résultats en texte compatible LLM | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Chaque demande coûte un nombre fixe de tokens, à partir de 10 000 tokens | GET/POST | |
| API Embeddings | https://api.jina.ai/v1/embeddings | Convertir du texte/des images en vecteurs de longueur fixe | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dépend de la taille de l'entrée help | Compter le nombre de tokens dans la demande d'entrée. | POST | |
| API Reranker | https://api.jina.ai/v1/rerank | Classer les documents selon la requête | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dépend de la taille de l'entrée help | Compter le nombre de tokens dans la demande d'entrée. | POST |
code
Puis-je utiliser la même clé API pour toutes les API Jina ?
keyboard_arrow_down
code
Puis-je surveiller l’utilisation des tokens de ma clé API ?
keyboard_arrow_down
code
Que dois-je faire si j'oublie ma clé API ?
keyboard_arrow_down
code
Les clés API expirent-elles ?
keyboard_arrow_down
code
Puis-je transférer des tokens entre des clés API ?
keyboard_arrow_down
code
Puis-je révoquer ma clé API ?
keyboard_arrow_down
code
Pourquoi la première requête de certains modèles est-elle lente ?
keyboard_arrow_down
code
Mes données API sont-elles utilisées pour entraîner vos modèles ?
keyboard_arrow_down
code
Quelles sont les limites de débit des API Jina ?
keyboard_arrow_down
code
Existe-t-il des limites de taille de lot pour les API ?
keyboard_arrow_down
code
Les API Jina sont-elles la même chose que les modèles Jina au sein d'Elastic ?
keyboard_arrow_down
Limite de débit
Les limites de débit sont suivies de deux manières : RPM (requêtes par minute) et TPM (tokens par minute). Les limites sont appliquées par IP ou clé API et se déclenchent dès que l'un des deux seuils, RPM ou TPM, est atteint. Lorsque vous fournissez une clé API dans l'en-tête de la requête, nous suivons les limites de débit par clé plutôt que par adresse IP.
Colonnes
arrow_drop_down
| Produit | Point de terminaison de l'API | Descriptionarrow_upward | Sans clé APIkey_off | Avec clé API gratuitekey | Avec clé API payantekey | Avec clé API Premiumkey | Latence moyenne | Comptage de l'utilisation des tokens | Méthode HTTP | |
|---|---|---|---|---|---|---|---|---|---|---|
| API Reader | https://r.jina.ai | Convertir l'URL en texte compatible LLM | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Compter le nombre de tokens dans la réponse de sortie. | GET/POST | |
| API Reader | https://s.jina.ai | Rechercher sur le web et convertir les résultats en texte compatible LLM | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Chaque demande coûte un nombre fixe de tokens, à partir de 10 000 tokens | GET/POST | |
| API Embeddings | https://api.jina.ai/v1/embeddings | Convertir du texte/des images en vecteurs de longueur fixe | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dépend de la taille de l'entrée help | Compter le nombre de tokens dans la demande d'entrée. | POST | |
| API Reranker | https://api.jina.ai/v1/rerank | Classer les documents selon la requête | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dépend de la taille de l'entrée help | Compter le nombre de tokens dans la demande d'entrée. | POST |
Questions courantes liées à la facturation
attach_money
La facturation repose-t-elle sur le nombre de phrases ou de requêtes ?
keyboard_arrow_down
attach_money
Un essai gratuit est-il proposé aux nouveaux utilisateurs ?
keyboard_arrow_down
attach_money
Les tokens sont-ils facturés pour les requêtes ayant échoué ?
keyboard_arrow_down
attach_money
Quels moyens de paiement sont acceptés ?
keyboard_arrow_down
attach_money
Peut-on obtenir une facture pour les achats de tokens ?
keyboard_arrow_down
attach_money
Comment puis-je acheter une licence commerciale plutôt que des tokens API ?
keyboard_arrow_down
attach_money
Puis-je payer par facture ou bon de commande plutôt que par carte ?
keyboard_arrow_down
attach_money
J'ai payé, mais mon solde ou ma limite de débit n'a pas changé. Que dois-je vérifier ?
keyboard_arrow_down
attach_money
Comment puis-je annuler, arrêter le rechargement automatique ou supprimer un mode de paiement enregistré ?
keyboard_arrow_down