Segmenter

API gratuita per la segmentazione di testi lunghi in chunk e per la tokenizzazione.

API Segmenter

La nostra API Segmenter è fondamentale per aiutare gli LLM a gestire l'input entro i limiti del contesto e ottimizzare le prestazioni del modello. Consente agli sviluppatori di contare i token ed estrarre segmenti di testo rilevanti, garantendo un'elaborazione efficiente dei dati e un contenimento dei costi.


Usa una richiesta GET per contare i token

Usa una richiesta POST per altre funzionalità

Richiesta
POST
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{ "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀" }
EOFEOF


Che cos'è un Segmenter?

Un segmentatore è un componente cruciale: converte il testo in token o chunk, le unità di dati di base che un modello di embedding/reranker o un LLM elabora. I token possono rappresentare parole intere, parti di parole o persino singoli caratteri.

Suddividere documenti lunghi in chunk, alla velocità della luce!

Puoi anche usare l'API Segmenter per tagliare documenti lunghi in chunk più piccoli, rendendone più facile l'elaborazione con embeddings o reranker. Sfruttiamo indizi strutturali comuni e un insieme di regole ed euristiche che funzionano bene su diversi tipi di contenuto, ad esempio Markdown, HTML, LaTeX e lingue CJK.
Lunghezza massima di ogni chunk: 1000
Numero massimo di caratteri in ogni chunk. In pratica un chunk può essere più corto di questo valore, se nel testo c'è un confine naturale.

0 chunk in totale


L'API Segmenter è gratuita!

Con la tua chiave API accedi a un limite di frequenza più alto e la chiave non viene addebitata.
Limite di frequenza
I limiti di frequenza si misurano in due modi: RPM (richieste al minuto) e TPM (token al minuto). Si applicano per IP o chiave API e scattano non appena si raggiunge la soglia RPM o TPM. Se nella richiesta fornisci una chiave API, teniamo traccia dei limiti per chiave anziché per indirizzo IP.
ProdottoEndpoint APIDescrizioneSenza chiave APICon chiave API gratuitaCon chiave API a pagamentoCon chiave API PremiumLatenza mediaConteggio tokenMetodo HTTP
API del Readerhttps://r.jina.aiConvertire l'URL in testo compatibile con LLM20 RPM500 RPM500 RPM5000 RPM7.9sContare il numero di token nella risposta di output.GET/POST
API del Readerhttps://s.jina.aiCercare sul web e convertire i risultati in testo compatibile con LLM100 RPM100 RPM1000 RPM2.5sOgni richiesta costa un numero fisso di token, a partire da 10.000 tokenGET/POST
API Embeddingshttps://api.jina.ai/v1/embeddingsConvertire testo/immagini in vettori di lunghezza fissa100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dipende dalla dimensione dell'input
Contare il numero di token nella richiesta di input.POST
API Rerankerhttps://api.jina.ai/v1/rerankOrdinare i documenti per query100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dipende dalla dimensione dell'input
Contare il numero di token nella richiesta di input.POST
Limite di frequenza
I limiti di frequenza si misurano in due modi: RPM (richieste al minuto) e TPM (token al minuto). Si applicano per IP o chiave API e scattano non appena si raggiunge la soglia RPM o TPM. Se nella richiesta fornisci una chiave API, teniamo traccia dei limiti per chiave anziché per indirizzo IP.
ProdottoEndpoint APIDescrizioneSenza chiave APICon chiave API gratuitaCon chiave API a pagamentoCon chiave API PremiumLatenza mediaConteggio tokenMetodo HTTP
API del Readerhttps://r.jina.aiConvertire l'URL in testo compatibile con LLM20 RPM500 RPM500 RPM5000 RPM7.9sContare il numero di token nella risposta di output.GET/POST
API del Readerhttps://s.jina.aiCercare sul web e convertire i risultati in testo compatibile con LLM100 RPM100 RPM1000 RPM2.5sOgni richiesta costa un numero fisso di token, a partire da 10.000 tokenGET/POST
API Embeddingshttps://api.jina.ai/v1/embeddingsConvertire testo/immagini in vettori di lunghezza fissa100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dipende dalla dimensione dell'input
Contare il numero di token nella richiesta di input.POST
API Rerankerhttps://api.jina.ai/v1/rerankOrdinare i documenti per query100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dipende dalla dimensione dell'input
Contare il numero di token nella richiesta di input.POST
Domande comuni relative alla fatturazione