Segmentador

API gratuita para segmentar texto largo en chunks y tokenizarlo.

API de segmentación

Nuestra API Segmenter es fundamental para ayudar a los LLM a gestionar la entrada dentro de los límites del contexto y optimizar el rendimiento del modelo. Permite a los desarrolladores contar tokens y extraer segmentos de texto relevantes, lo que garantiza un procesamiento de datos eficiente y una gestión de costos.


Utilice la solicitud GET para contar tokens

Utilice la solicitud POST para obtener más funciones

Pedido
POST
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{ "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀" }
EOFEOF


¿Qué es un segmentador?

Un segmentador es un componente crucial que convierte el texto en tokens o chunks, que son las unidades básicas de datos que procesa un modelo de embedding/reranking o LLM. Los tokens pueden representar palabras completas, partes de palabras o incluso caracteres individuales.

¡Divida documentos largos a la velocidad del rayo!

También puede utilizar Segmenter API para dividir documentos largos en chunks más pequeños, lo que facilita su procesamiento en embeddings o rerankers. Aprovechamos las señales estructurales comunes y creamos un conjunto de reglas y heurísticas que funcionan bien en diversos tipos de contenido, por ejemplo Markdown, HTML, LaTeX y lenguajes CJK.
Longitud máxima de cada chunk: 1000
Número máximo de caracteres en cada fragmento. En la práctica, la longitud del fragmento puede ser menor que este valor, si existe un límite natural en el texto.

0 fragmentos en total


¡La API de Segmenter es gratuita!

Al proporcionar su clave API, podrá acceder a un límite de tarifa más alto y no se le cobrará su clave.
Límite de velocidad
Los límites de velocidad se controlan de dos maneras: RPM (solicitudes por minuto) y TPM (tokens por minuto). Los límites se aplican por IP/clave API y se activan cuando se alcanza primero el umbral de RPM o TPM. Al proporcionar una clave API en el encabezado de la solicitud, controlamos los límites de velocidad por clave, no por dirección IP.
ProductoPunto final de APIDescripciónSin clave APIcon clave API gratuitacon clave API de pagocon clave API PremiumLatencia mediaRecuento de uso de tokensSolicitud permitida
API de Readerhttps://r.jina.aiConvertir la URL en texto compatible con LLM20 RPM500 RPM500 RPM5000 RPM7.9sContar el número de tokens en la respuesta de salida.GET/POST
API de Readerhttps://s.jina.aiBuscar en la web y convertir los resultados en texto compatible con LLM100 RPM100 RPM1000 RPM2.5sCada solicitud cuesta una cantidad fija de tokens, a partir de 10.000 tokensGET/POST
API de embeddinghttps://api.jina.ai/v1/embeddingsConvertir texto/imágenes en vectores de longitud fija100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depende del tamaño de entrada
Contar el número de tokens en la solicitud de entrada.POST
API de Rerankerhttps://api.jina.ai/v1/rerankReordenar documentos según la consulta100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depende del tamaño de entrada
Contar el número de tokens en la solicitud de entrada.POST
Límite de velocidad
Los límites de velocidad se controlan de dos maneras: RPM (solicitudes por minuto) y TPM (tokens por minuto). Los límites se aplican por IP/clave API y se activan cuando se alcanza primero el umbral de RPM o TPM. Al proporcionar una clave API en el encabezado de la solicitud, controlamos los límites de velocidad por clave, no por dirección IP.
ProductoPunto final de APIDescripciónSin clave APIcon clave API gratuitacon clave API de pagocon clave API PremiumLatencia mediaRecuento de uso de tokensSolicitud permitida
API de Readerhttps://r.jina.aiConvertir la URL en texto compatible con LLM20 RPM500 RPM500 RPM5000 RPM7.9sContar el número de tokens en la respuesta de salida.GET/POST
API de Readerhttps://s.jina.aiBuscar en la web y convertir los resultados en texto compatible con LLM100 RPM100 RPM1000 RPM2.5sCada solicitud cuesta una cantidad fija de tokens, a partir de 10.000 tokensGET/POST
API de embeddinghttps://api.jina.ai/v1/embeddingsConvertir texto/imágenes en vectores de longitud fija100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depende del tamaño de entrada
Contar el número de tokens en la solicitud de entrada.POST
API de Rerankerhttps://api.jina.ai/v1/rerankReordenar documentos según la consulta100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depende del tamaño de entrada
Contar el número de tokens en la solicitud de entrada.POST
Preguntas comunes relacionadas con la facturación