Segmentador
API gratuita para segmentar texto largo en fragmentos y tokenizarlo.
API de segmentación
Nuestra API Segmenter es fundamental para ayudar a los LLM a gestionar la entrada dentro de los límites del contexto y optimizar el rendimiento del modelo. Permite a los desarrolladores contar tokens y extraer segmentos de texto relevantes, lo que garantiza un procesamiento de datos eficiente y una gestión de costos.
chevron_leftchevron_right
Utilice la solicitud GET para contar tokens
Utilice la solicitud POST para obtener más funciones
Devuelve los últimos N tokens
Devuelve los últimos N tokens del contenido indicado. Excluye límites. No se puede utilizar con 'head'.
Segmentador
Seleccione el tokenizador a utilizar.
cl100k_base
arrow_drop_down
upload
Pedido
Bash
Idioma
arrow_drop_down
curl -X POST 'https://api.jina.ai/v1/segment' \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀"
}
EOFEOF
key
Clave API
visibility_off
Fichas disponibles
0
¿Qué es un segmentador?
Un segmentador es un componente crucial que convierte el texto en tokens o fragmentos, que son las unidades básicas de datos que procesa un modelo de incrustación/reclasificación o LLM. Los tokens pueden representar palabras completas, partes de palabras o incluso caracteres individuales.
Texto de entrada
¡Agrupe documentos largos a la velocidad del rayo!
También puede utilizar Segmenter API para dividir documentos largos en fragmentos más pequeños, lo que facilita su procesamiento en incrustaciones o reclasificadores. Aprovechamos las señales estructurales comunes y creamos un conjunto de reglas y heurísticas que funcionan bien en diversos tipos de contenido, por ejemplo, lenguajes Markdown, HTML, LaTeX y CJK.
Texto de entrada
Número máximo de caracteres en cada fragmento. En la práctica, la longitud del fragmento puede ser menor que este valor, si existe un límite natural en el texto.
0 fragmentos en total
¡La API de Segmenter es gratuita!
Al proporcionar su clave API, podrá acceder a un límite de tarifa más alto y no se le cobrará su clave.
Límite de velocidad
Los límites de velocidad se controlan de tres maneras: RPM (solicitudes por minuto) y TPM (tokens por minuto). Los límites se aplican por IP/clave API y se activan cuando se alcanza primero el umbral de RPM o TPM. Al proporcionar una clave API en el encabezado de la solicitud, controlamos los límites de velocidad por clave, no por dirección IP.
Columnas
arrow_drop_down
Producto | Punto final de API | Descripciónarrow_upward | Sin clave APIkey_off | con clave APIkey | con clave API Premiumkey | Latencia media | Recuento de uso de tokens | Solicitud Permitida | |
---|---|---|---|---|---|---|---|---|---|
API de lector | https://r.jina.ai | Convertir URL a texto compatible con LLM | 20 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Cuente la cantidad de tokens en la respuesta de salida. | GET/POST | |
API de lector | https://s.jina.ai | Busque en la web y convierta los resultados en texto compatible con LLM | block | 100 RPM | trending_up1000 RPM | 2.5s | Cada solicitud cuesta una cantidad fija de tokens, a partir de 10000 tokens | GET/POST | |
Búsqueda profunda | https://deepsearch.jina.ai/v1/chat/completions | Razonar, buscar e iterar para encontrar la mejor respuesta. | block | 50 RPM | 500 RPM | 56.7s | Cuente el número total de tokens en todo el proceso. | POST | |
API de incrustación | https://api.jina.ai/v1/embeddings | Convertir texto/imágenes en vectores de longitud fija | block | 500 RPM & 1,000,000 TPM | trending_up2,000 RPM & 5,000,000 TPM | ssid_chart depende del tamaño de entrada help | Cuente la cantidad de tokens en la solicitud de entrada. | POST | |
API de reclasificación | https://api.jina.ai/v1/rerank | Clasificar documentos por consulta | block | 500 RPM & 1,000,000 TPM | trending_up2,000 RPM & 5,000,000 TPM | ssid_chart depende del tamaño de entrada help | Cuente la cantidad de tokens en la solicitud de entrada. | POST | |
API de clasificador | https://api.jina.ai/v1/train | Entrenar un clasificador usando ejemplos etiquetados | block | 20 RPM & 200,000 TPM | 60 RPM & 1,000,000 TPM | ssid_chart depende del tamaño de entrada | Los tokens se cuentan como: input_tokens × num_iters | POST | |
API de clasificador (Disparo cero) | https://api.jina.ai/v1/classify | Clasificar las entradas utilizando la clasificación de disparo cero | block | 200 RPM & 500,000 TPM | 1,000 RPM & 3,000,000 TPM | ssid_chart depende del tamaño de entrada | Los tokens se cuentan como: input_tokens + label_tokens | POST | |
API de clasificador (Pocos disparos) | https://api.jina.ai/v1/classify | Clasifique las entradas utilizando un clasificador de pocos disparos entrenado | block | 20 RPM & 200,000 TPM | 60 RPM & 1,000,000 TPM | ssid_chart depende del tamaño de entrada | Los tokens se cuentan como: input_tokens | POST | |
API de segmentación | https://api.jina.ai/v1/segment | Tokenizar y segmentar textos largos | 20 RPM | 200 RPM | 1,000 RPM | 0.3s | El token no se cuenta como uso. | GET/POST |
¿Cuánto cuesta la API Segmenter?
keyboard_arrow_down
Si no proporciono una clave API, ¿cuál es el límite de velocidad?
keyboard_arrow_down
Si proporciono una clave API, ¿cuál es el límite de velocidad?
keyboard_arrow_down
¿Cobrarás los tokens de mi clave API?
keyboard_arrow_down
¿La API de Segmenter admite varios idiomas?
keyboard_arrow_down
¿Cuál es la diferencia entre las solicitudes GET y POST?
keyboard_arrow_down
¿Cuál es la longitud máxima que puedo tokenizar por solicitud?
keyboard_arrow_down
¿Cómo funciona la función de fragmentación? ¿Se trata de fragmentación semántica?
keyboard_arrow_down
¿Cómo se manejan tokens especiales como 'endoftext' en la API de Segmenter?
keyboard_arrow_down
¿La función de chunking admite otros idiomas además del inglés?
keyboard_arrow_down
Límite de velocidad
Los límites de velocidad se controlan de tres maneras: RPM (solicitudes por minuto) y TPM (tokens por minuto). Los límites se aplican por IP/clave API y se activan cuando se alcanza primero el umbral de RPM o TPM. Al proporcionar una clave API en el encabezado de la solicitud, controlamos los límites de velocidad por clave, no por dirección IP.
Columnas
arrow_drop_down
Producto | Punto final de API | Descripciónarrow_upward | Sin clave APIkey_off | con clave APIkey | con clave API Premiumkey | Latencia media | Recuento de uso de tokens | Solicitud Permitida | |
---|---|---|---|---|---|---|---|---|---|
API de lector | https://r.jina.ai | Convertir URL a texto compatible con LLM | 20 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Cuente la cantidad de tokens en la respuesta de salida. | GET/POST | |
API de lector | https://s.jina.ai | Busque en la web y convierta los resultados en texto compatible con LLM | block | 100 RPM | trending_up1000 RPM | 2.5s | Cada solicitud cuesta una cantidad fija de tokens, a partir de 10000 tokens | GET/POST | |
Búsqueda profunda | https://deepsearch.jina.ai/v1/chat/completions | Razonar, buscar e iterar para encontrar la mejor respuesta. | block | 50 RPM | 500 RPM | 56.7s | Cuente el número total de tokens en todo el proceso. | POST | |
API de incrustación | https://api.jina.ai/v1/embeddings | Convertir texto/imágenes en vectores de longitud fija | block | 500 RPM & 1,000,000 TPM | trending_up2,000 RPM & 5,000,000 TPM | ssid_chart depende del tamaño de entrada help | Cuente la cantidad de tokens en la solicitud de entrada. | POST | |
API de reclasificación | https://api.jina.ai/v1/rerank | Clasificar documentos por consulta | block | 500 RPM & 1,000,000 TPM | trending_up2,000 RPM & 5,000,000 TPM | ssid_chart depende del tamaño de entrada help | Cuente la cantidad de tokens en la solicitud de entrada. | POST | |
API de clasificador | https://api.jina.ai/v1/train | Entrenar un clasificador usando ejemplos etiquetados | block | 20 RPM & 200,000 TPM | 60 RPM & 1,000,000 TPM | ssid_chart depende del tamaño de entrada | Los tokens se cuentan como: input_tokens × num_iters | POST | |
API de clasificador (Disparo cero) | https://api.jina.ai/v1/classify | Clasificar las entradas utilizando la clasificación de disparo cero | block | 200 RPM & 500,000 TPM | 1,000 RPM & 3,000,000 TPM | ssid_chart depende del tamaño de entrada | Los tokens se cuentan como: input_tokens + label_tokens | POST | |
API de clasificador (Pocos disparos) | https://api.jina.ai/v1/classify | Clasifique las entradas utilizando un clasificador de pocos disparos entrenado | block | 20 RPM & 200,000 TPM | 60 RPM & 1,000,000 TPM | ssid_chart depende del tamaño de entrada | Los tokens se cuentan como: input_tokens | POST | |
API de segmentación | https://api.jina.ai/v1/segment | Tokenizar y segmentar textos largos | 20 RPM | 200 RPM | 1,000 RPM | 0.3s | El token no se cuenta como uso. | GET/POST |
Preguntas comunes relacionadas con API
code
¿Puedo usar la misma clave API para las API de lectura, inserción, reclasificación, clasificación y ajuste?
keyboard_arrow_down
code
¿Puedo monitorear el uso del token de mi clave API?
keyboard_arrow_down
code
¿Qué debo hacer si olvido mi clave API?
keyboard_arrow_down
code
¿Caducan las claves API?
keyboard_arrow_down
code
¿Puedo transferir tokens entre claves API?
keyboard_arrow_down
code
¿Puedo revocar mi clave API?
keyboard_arrow_down
code
¿Por qué la primera solicitud de algunos modelos es lenta?
keyboard_arrow_down
code
¿Se utilizan los datos de entrada del usuario para entrenar sus modelos?
keyboard_arrow_down
Preguntas comunes relacionadas con la facturación
attach_money
¿La facturación se basa en el número de sentencias o solicitudes?
keyboard_arrow_down
attach_money
¿Hay una prueba gratuita disponible para nuevos usuarios?
keyboard_arrow_down
attach_money
¿Se cobran tokens por solicitudes fallidas?
keyboard_arrow_down
attach_money
¿Qué métodos de pago se aceptan?
keyboard_arrow_down
attach_money
¿Está disponible la facturación para compras de tokens?
keyboard_arrow_down