Segmentatore
API gratuita per la segmentazione di testi lunghi in blocchi e tokenizzazione.
API del segmentatore
La nostra API Segmenter è fondamentale per aiutare gli LLM a gestire l'input entro i limiti del contesto e ottimizzare le prestazioni del modello. Consente agli sviluppatori di contare i token ed estrarre segmenti di testo rilevanti, garantendo un'elaborazione efficiente dei dati e una gestione dei costi.
chevron_leftchevron_right
Utilizzare la richiesta GET per contare i token
Utilizza la richiesta POST per altre funzionalità
Restituisce gli ultimi N token
Restituisce gli ultimi N token del contenuto specificato. Esclusivo di confine. Non può essere utilizzato con 'head'.
Segmentatore
Scegli il tokenizzatore da utilizzare.
cl100k_base
arrow_drop_down
upload
Richiesta
Bash
Lingua
arrow_drop_down
curl -X POST 'https://api.jina.ai/v1/segment' \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀"
}
EOFEOF
key
Chiave API
visibility_off
Gettoni disponibili
0
Che cosa è un Segmenter?
Un segmentatore è un componente cruciale che converte il testo in token o blocchi, che sono le unità di dati di base che un modello di incorporamento/reranker o LLM elabora. I token possono rappresentare parole intere, parti di parole o persino singoli caratteri.
Testo di input
Suddividere documenti lunghi in frammenti, alla velocità della luce!
Puoi anche usare Segmenter API per tagliare documenti lunghi in blocchi più piccoli, rendendone più facile l'elaborazione in incorporamenti o reranker. Sfruttiamo spunti strutturali comuni e creiamo un set di regole ed euristiche che funzionano bene su diversi tipi di contenuto, ad esempio Markdown, HTML, LaTeX e linguaggi CJK.
Testo di input
Numero massimo di caratteri in ogni blocco. In pratica la lunghezza del blocco può essere inferiore a questo valore, se c'è un confine naturale nel testo.
0 blocchi in totale
L'API Segmenter è gratuita!
Fornendo la tua chiave API, potrai accedere a un limite di tariffa più elevato e la tua chiave non verrà addebitata.
Limite di velocità
I limiti di velocità vengono monitorati in tre modi: RPM (richieste al minuto) e TPM (token al minuto). I limiti vengono applicati per IP/chiave API e vengono attivati al raggiungimento della soglia RPM o TPM. Quando si fornisce una chiave API nell'intestazione della richiesta, i limiti di velocità vengono monitorati per chiave anziché per indirizzo IP.
Colonne
arrow_drop_down
| Prodotto | Punto finale API | Descrizionearrow_upward | senza chiave APIkey_off | con chiave API gratuitakey | con chiave API a pagamentokey | con chiave API Premiumkey | Latenza media | Conteggio dell'utilizzo del token | Richiesta consentita | |
|---|---|---|---|---|---|---|---|---|---|---|
| API del lettore | https://r.jina.ai | Convertire l'URL in testo compatibile con LLM | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Contare il numero di token nella risposta di output. | GET/POST | |
| API del lettore | https://s.jina.ai | Cerca sul web e converti i risultati in testo compatibile con LLM | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Ogni richiesta costa un numero fisso di token, a partire da 10000 token | GET/POST | |
| API di riclassificazione | https://api.jina.ai/v1/rerank | Classifica i documenti per query | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dipende dalla dimensione dell'input help | Conta il numero di token nella richiesta di input. | POST | |
| Incorporamento dell'API | https://api.jina.ai/v1/embeddings | Convertire testo/immagini in vettori di lunghezza fissa | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dipende dalla dimensione dell'input help | Conta il numero di token nella richiesta di input. | POST | |
| API del classificatore | https://api.jina.ai/v1/train | Addestrare un classificatore utilizzando esempi etichettati | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart dipende dalla dimensione dell'input | I token vengono conteggiati come: input_tokens × num_iters | POST | |
| API del classificatore (Colpo zero) | https://api.jina.ai/v1/classify | Classificare gli input utilizzando la classificazione zero-shot | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart dipende dalla dimensione dell'input | I token vengono conteggiati come: input_tokens + label_tokens | POST | |
| API del classificatore (Pochi colpi) | https://api.jina.ai/v1/classify | Classificare gli input utilizzando un classificatore addestrato a pochi scatti | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart dipende dalla dimensione dell'input | I token sono conteggiati come: input_tokens | POST | |
| API del segmentatore | https://api.jina.ai/v1/segment | Tokenizzare e segmentare il testo lungo | 20 RPM | 200 RPM | 200 RPM | 1,000 RPM | 0.3s | Il token non viene conteggiato come utilizzo. | GET/POST | |
| DeepSearch | https://deepsearch.jina.ai/v1/chat/completions | Ragiona, cerca e ripeti per trovare la risposta migliore | block | 50 RPM | 50 RPM | 500 RPM | 56.7s | Contare il numero totale di token nell'intero processo. | POST |
Quanto costa l'API Segmenter?
keyboard_arrow_down
Se non fornisco una chiave API, qual è il limite di velocità?
keyboard_arrow_down
Se fornisco una chiave API, qual è il limite di velocità?
keyboard_arrow_down
Addebiterete i token dalla mia chiave API?
keyboard_arrow_down
L'API Segmenter supporta più lingue?
keyboard_arrow_down
Qual è la differenza tra le richieste GET e POST?
keyboard_arrow_down
Qual è la lunghezza massima che posso tokenizzare per richiesta?
keyboard_arrow_down
Come funziona la funzione di chunking? È un chunking semantico?
keyboard_arrow_down
Come si gestiscono i token speciali come 'endoftext' nella Segmenter API?
keyboard_arrow_down
La suddivisione in blocchi supporta anche altre lingue oltre all'inglese?
keyboard_arrow_down
Limite di velocità
I limiti di velocità vengono monitorati in tre modi: RPM (richieste al minuto) e TPM (token al minuto). I limiti vengono applicati per IP/chiave API e vengono attivati al raggiungimento della soglia RPM o TPM. Quando si fornisce una chiave API nell'intestazione della richiesta, i limiti di velocità vengono monitorati per chiave anziché per indirizzo IP.
Colonne
arrow_drop_down
| Prodotto | Punto finale API | Descrizionearrow_upward | senza chiave APIkey_off | con chiave API gratuitakey | con chiave API a pagamentokey | con chiave API Premiumkey | Latenza media | Conteggio dell'utilizzo del token | Richiesta consentita | |
|---|---|---|---|---|---|---|---|---|---|---|
| API del lettore | https://r.jina.ai | Convertire l'URL in testo compatibile con LLM | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Contare il numero di token nella risposta di output. | GET/POST | |
| API del lettore | https://s.jina.ai | Cerca sul web e converti i risultati in testo compatibile con LLM | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Ogni richiesta costa un numero fisso di token, a partire da 10000 token | GET/POST | |
| API di riclassificazione | https://api.jina.ai/v1/rerank | Classifica i documenti per query | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dipende dalla dimensione dell'input help | Conta il numero di token nella richiesta di input. | POST | |
| Incorporamento dell'API | https://api.jina.ai/v1/embeddings | Convertire testo/immagini in vettori di lunghezza fissa | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dipende dalla dimensione dell'input help | Conta il numero di token nella richiesta di input. | POST | |
| API del classificatore | https://api.jina.ai/v1/train | Addestrare un classificatore utilizzando esempi etichettati | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart dipende dalla dimensione dell'input | I token vengono conteggiati come: input_tokens × num_iters | POST | |
| API del classificatore (Colpo zero) | https://api.jina.ai/v1/classify | Classificare gli input utilizzando la classificazione zero-shot | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart dipende dalla dimensione dell'input | I token vengono conteggiati come: input_tokens + label_tokens | POST | |
| API del classificatore (Pochi colpi) | https://api.jina.ai/v1/classify | Classificare gli input utilizzando un classificatore addestrato a pochi scatti | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart dipende dalla dimensione dell'input | I token sono conteggiati come: input_tokens | POST | |
| API del segmentatore | https://api.jina.ai/v1/segment | Tokenizzare e segmentare il testo lungo | 20 RPM | 200 RPM | 200 RPM | 1,000 RPM | 0.3s | Il token non viene conteggiato come utilizzo. | GET/POST | |
| DeepSearch | https://deepsearch.jina.ai/v1/chat/completions | Ragiona, cerca e ripeti per trovare la risposta migliore | block | 50 RPM | 50 RPM | 500 RPM | 56.7s | Contare il numero totale di token nell'intero processo. | POST |
Domande comuni relative all'API
code
Posso usare la stessa chiave API per le API di lettura, incorporamento, riclassificazione, classificazione e messa a punto?
keyboard_arrow_down
code
Posso monitorare l'utilizzo del token della mia chiave API?
keyboard_arrow_down
code
Cosa devo fare se dimentico la mia chiave API?
keyboard_arrow_down
code
Le chiavi API scadono?
keyboard_arrow_down
code
Posso trasferire token tra chiavi API?
keyboard_arrow_down
code
Posso revocare la mia chiave API?
keyboard_arrow_down
code
Perché la prima richiesta per alcuni modelli è lenta?
keyboard_arrow_down
code
I miei dati API vengono utilizzati per addestrare i vostri modelli?
keyboard_arrow_down
code
Quali sono i limiti di velocità per le API Jina?
keyboard_arrow_down
code
Esistono limiti alle dimensioni dei batch per le API?
keyboard_arrow_down
Domande comuni relative alla fatturazione
attach_money
La fatturazione è basata sul numero di frasi o richieste?
keyboard_arrow_down
attach_money
È disponibile una prova gratuita per i nuovi utenti?
keyboard_arrow_down
attach_money
Vengono addebitati i token per le richieste non riuscite?
keyboard_arrow_down
attach_money
Quali metodi di pagamento sono accettati?
keyboard_arrow_down
attach_money
È disponibile la fatturazione per gli acquisti di token?
keyboard_arrow_down