Segmentatore

API gratuita per la segmentazione di testi lunghi in chunk e per la tokenizzazione.

API del segmentatore

La nostra API Segmenter è fondamentale per aiutare gli LLM a gestire l'input entro i limiti del contesto e ottimizzare le prestazioni del modello. Consente agli sviluppatori di contare i token ed estrarre segmenti di testo rilevanti, garantendo un'elaborazione efficiente dei dati e una gestione dei costi.


Utilizzare la richiesta GET per contare i token

Utilizza la richiesta POST per altre funzionalità

Richiesta
POST
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{ "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀" }
EOFEOF


Che cosa è un Segmenter?

Un segmentatore è un componente cruciale che converte il testo in token o chunk, che sono le unità di dati di base che un modello di embedding/reranker o LLM elabora. I token possono rappresentare parole intere, parti di parole o persino singoli caratteri.

Suddividere documenti lunghi in frammenti, alla velocità della luce!

Puoi anche usare l'API Segmenter per tagliare documenti lunghi in chunk più piccoli, rendendone più facile l'elaborazione con embeddings o reranker. Sfruttiamo indizi strutturali comuni e un insieme di regole ed euristiche che funzionano bene su diversi tipi di contenuto, ad esempio Markdown, HTML, LaTeX e lingue CJK.
Lunghezza massima di ogni chunk: 1000
Numero massimo di caratteri in ogni blocco. In pratica la lunghezza del blocco può essere inferiore a questo valore, se c'è un confine naturale nel testo.

0 chunk in totale


L'API Segmenter è gratuita!

Fornendo la tua chiave API, potrai accedere a un limite di tariffa più elevato e la tua chiave non verrà addebitata.
Limite di velocità
I limiti di velocità vengono monitorati in due modi: RPM (richieste al minuto) e TPM (token al minuto). I limiti vengono applicati per IP/chiave API e vengono attivati al raggiungimento della soglia RPM o TPM. Quando si fornisce una chiave API nell'intestazione della richiesta, i limiti di velocità vengono monitorati per chiave anziché per indirizzo IP.
ProdottoPunto finale APIDescrizionesenza chiave APIcon chiave API gratuitacon chiave API a pagamentocon chiave API PremiumLatenza mediaConteggio dell'utilizzo del tokenRichiesta consentita
API del Readerhttps://r.jina.aiConvertire l'URL in testo compatibile con LLM20 RPM500 RPM500 RPM5000 RPM7.9sContare il numero di token nella risposta di output.GET/POST
API del Readerhttps://s.jina.aiCercare sul web e convertire i risultati in testo compatibile con LLM100 RPM100 RPM1000 RPM2.5sOgni richiesta costa un numero fisso di token, a partire da 10.000 tokenGET/POST
API di embeddinghttps://api.jina.ai/v1/embeddingsConvertire testo/immagini in vettori di lunghezza fissa100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dipende dalla dimensione dell'input
Contare il numero di token nella richiesta di input.POST
API Rerankerhttps://api.jina.ai/v1/rerankClassificare i documenti per query100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dipende dalla dimensione dell'input
Contare il numero di token nella richiesta di input.POST
Limite di velocità
I limiti di velocità vengono monitorati in due modi: RPM (richieste al minuto) e TPM (token al minuto). I limiti vengono applicati per IP/chiave API e vengono attivati al raggiungimento della soglia RPM o TPM. Quando si fornisce una chiave API nell'intestazione della richiesta, i limiti di velocità vengono monitorati per chiave anziché per indirizzo IP.
ProdottoPunto finale APIDescrizionesenza chiave APIcon chiave API gratuitacon chiave API a pagamentocon chiave API PremiumLatenza mediaConteggio dell'utilizzo del tokenRichiesta consentita
API del Readerhttps://r.jina.aiConvertire l'URL in testo compatibile con LLM20 RPM500 RPM500 RPM5000 RPM7.9sContare il numero di token nella risposta di output.GET/POST
API del Readerhttps://s.jina.aiCercare sul web e convertire i risultati in testo compatibile con LLM100 RPM100 RPM1000 RPM2.5sOgni richiesta costa un numero fisso di token, a partire da 10.000 tokenGET/POST
API di embeddinghttps://api.jina.ai/v1/embeddingsConvertire testo/immagini in vettori di lunghezza fissa100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dipende dalla dimensione dell'input
Contare il numero di token nella richiesta di input.POST
API Rerankerhttps://api.jina.ai/v1/rerankClassificare i documenti per query100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dipende dalla dimensione dell'input
Contare il numero di token nella richiesta di input.POST
Domande comuni relative alla fatturazione