Segmentador

API gratuita para segmentar texto largo en chunks y tokenizarlo.

API de Segmenter

Nuestra API Segmenter es fundamental para ayudar a los LLM a gestionar la entrada dentro de los límites del contexto y optimizar el rendimiento del modelo. Permite a los desarrolladores contar tokens y extraer segmentos de texto relevantes, lo que garantiza un procesamiento de datos eficiente y una gestión de costos.


Utilice una solicitud GET para contar tokens

Utilice una solicitud POST para obtener más funciones

Solicitud
POST
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{ "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀" }
EOFEOF


¿Qué es un segmentador?

Un segmentador es un componente crucial que convierte el texto en tokens o chunks, que son las unidades básicas de datos que procesa un modelo de embeddings, un reranker o un LLM. Los tokens pueden representar palabras completas, partes de palabras o incluso caracteres individuales.

¡Divida documentos largos a la velocidad del rayo!

También puede utilizar la API Segmenter para dividir documentos largos en chunks más pequeños, lo que facilita su procesamiento en embeddings o rerankers. Nos apoyamos en señales estructurales comunes y en un conjunto de reglas y heurísticas que funcionan bien en diversos tipos de contenido, por ejemplo Markdown, HTML, LaTeX e idiomas CJK.
Longitud máxima de cada chunk: 1000
Número máximo de caracteres en cada chunk. En la práctica, la longitud del chunk puede ser menor que este valor, si existe un límite natural en el texto.

0 chunks en total


¡La API de Segmenter es gratuita!

Al proporcionar su clave API, accederá a un límite de velocidad más alto y no se le cobrará nada a su clave.
Límite de velocidad
Los límites de velocidad se miden de dos maneras: RPM (solicitudes por minuto) y TPM (tokens por minuto). Los límites se aplican por IP o clave API y se activan en cuanto se alcanza el umbral de RPM o de TPM. Al proporcionar una clave API en el encabezado de la solicitud, controlamos los límites de velocidad por clave, no por dirección IP.
ProductoPunto final de APIDescripciónSin clave APICon clave API gratuitaCon clave API de pagoCon clave API premiumLatencia mediaRecuento de uso de tokensMétodo HTTP
API de Readerhttps://r.jina.aiConvertir la URL en texto compatible con LLM20 RPM500 RPM500 RPM5000 RPM7.9sContar el número de tokens en la respuesta de salida.GET/POST
API de Readerhttps://s.jina.aiBuscar en la web y convertir los resultados en texto compatible con LLM100 RPM100 RPM1000 RPM2.5sCada solicitud cuesta una cantidad fija de tokens, a partir de 10.000 tokensGET/POST
API de Embeddingshttps://api.jina.ai/v1/embeddingsConvertir texto/imágenes en vectores de longitud fija100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depende del tamaño de entrada
Contar el número de tokens en la solicitud de entrada.POST
API de Rerankerhttps://api.jina.ai/v1/rerankReordenar documentos según la consulta100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depende del tamaño de entrada
Contar el número de tokens en la solicitud de entrada.POST
Límite de velocidad
Los límites de velocidad se miden de dos maneras: RPM (solicitudes por minuto) y TPM (tokens por minuto). Los límites se aplican por IP o clave API y se activan en cuanto se alcanza el umbral de RPM o de TPM. Al proporcionar una clave API en el encabezado de la solicitud, controlamos los límites de velocidad por clave, no por dirección IP.
ProductoPunto final de APIDescripciónSin clave APICon clave API gratuitaCon clave API de pagoCon clave API premiumLatencia mediaRecuento de uso de tokensMétodo HTTP
API de Readerhttps://r.jina.aiConvertir la URL en texto compatible con LLM20 RPM500 RPM500 RPM5000 RPM7.9sContar el número de tokens en la respuesta de salida.GET/POST
API de Readerhttps://s.jina.aiBuscar en la web y convertir los resultados en texto compatible con LLM100 RPM100 RPM1000 RPM2.5sCada solicitud cuesta una cantidad fija de tokens, a partir de 10.000 tokensGET/POST
API de Embeddingshttps://api.jina.ai/v1/embeddingsConvertir texto/imágenes en vectores de longitud fija100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depende del tamaño de entrada
Contar el número de tokens en la solicitud de entrada.POST
API de Rerankerhttps://api.jina.ai/v1/rerankReordenar documentos según la consulta100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depende del tamaño de entrada
Contar el número de tokens en la solicitud de entrada.POST
Preguntas comunes relacionadas con la facturación