Сегментатор

Бесплатный API для сегментации длинного текста на чанки и токенизации.

API сегментатора

Наш API Segmenter имеет решающее значение для помощи LLM в управлении вводом в рамках контекстных ограничений и оптимизации производительности модели. Он позволяет разработчикам подсчитывать токены и извлекать соответствующие текстовые сегменты, обеспечивая эффективную обработку данных и управление затратами.

https://api.jina.ai/v1/segment?content=

73 токенов, 125 символов.

Верните токены.

Верните токены и соответствующие им идентификаторы в ответе. Переключите, чтобы увидеть визуализацию результата.

Верните чанки

Разделение входных данных на семантически значимые сегменты с обработкой широкого спектра типов текста и пограничных случаев на основе общих структурных признаков.

Верните первые N токенов

Возвращает первые N токенов указанного содержимого. Исключает границу. Не может использоваться с 'tail'.

Верните последние N токенов

Возвращает последние N токенов указанного контента. Исключает границу. Не может использоваться с 'head'.

Сегментатор

Выберите токенизатор для использования.

cl100k_base

curl "https://api.jina.ai/v1/segment" \
  -H "Content-Type: application/json" \
  -d @- <<EOFEOF
{
  "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座，从此不同！🚀\n検索ベース,もう二度と同じことはありません！🚀"
}
EOFEOF

API-ключ

Доступные токены

Это ваш уникальный ключ. Храните его в надежном месте!

Что такое сегментатор?

Сегментатор — это важный компонент, который преобразует текст в токены или чанки, которые являются основными единицами данных, обрабатываемыми моделью эмбеддинга/реранжирования или LLM. Токены могут представлять целые слова, части слов или даже отдельные символы.

Введите текст

Молниеносное разбиение длинных документов на фрагменты!

Вы также можете использовать API Segmenter для разрезания длинных документов на более мелкие фрагменты, что упрощает их обработку в эмбеддингах или рераннерах. Мы используем общие структурные подсказки и набор правил и эвристик, которые хорошо работают с различными типами контента, например, языками Markdown, HTML, LaTeX и CJK.

Введите текст

Максимальная длина каждого чанка: 1000

Максимальное количество символов в каждом чанке. На практике длина чанка может быть меньше этого значения, если в тексте есть естественная граница.

API сегментатора бесплатен!

Указав свой ключ API, вы сможете получить доступ к более высокому лимиту скорости, и плата за ваш ключ взиматься не будет.

Ограничение скорости

Ограничения скорости отслеживаются двумя способами: RPM (запросы в минуту) и TPM (токены в минуту). Ограничения применяются для каждого IP/API-ключа и срабатывают при достижении порогового значения RPM или TPM. Когда вы указываете ключ API в заголовке запроса, мы отслеживаем ограничения скорости по ключу, а не по IP-адресу.

Колонки

Product	API Endpoint	Description	w/o API Key	w/ Free API Key	w/ Paid API Key	w/ Premium API Key	Average latency	Token Usage Counting	Allowed Request
Reader API	`https://r.jina.ai`	Converts a URL to LLM-friendly text	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	Count the number of tokens in the output response.	GET/POST
Reader API	`https://s.jina.ai`	Search the web and convert results to LLM-friendly text		100 RPM	100 RPM	1000 RPM	2.5s	Every request costs a fixed number of tokens, starting from 10 000 tokens	GET/POST
Embedding API	`https://api.jina.ai/v1/embeddings`	Convert text/images to fixed-length vectors		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	depends on the input size	Count the number of tokens in the input request.	POST
Reranker API	`https://api.jina.ai/v1/rerank`	Rank documents by query		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	depends on the input size	Count the number of tokens in the input request.	POST

Получите свой API-ключ

Связаться с отделом продаж

Часто задаваемые вопросы

Могу ли я использовать один и тот же API-ключ для всех API Jina?

Могу ли я отслеживать использование токена моего ключа API?

Что мне делать, если я забуду свой ключ API?

Срок действия ключей API истекает?

Могу ли я передавать токены между ключами API?

Могу ли я отозвать свой ключ API?

Почему первый запрос для некоторых моделей выполняется медленно?

Используются ли данные из моего API для обучения ваших моделей?

Каковы ограничения скорости запросов к API Jina?

Существуют ли ограничения на размер пакета для API?

Являются ли API Jina тем же самым, что и модели Jina внутри Elastic?

Как получить мой ключ API?

Каков лимит запросов?

Ограничение скорости

Колонки

Product	API Endpoint	Description	w/o API Key	w/ Free API Key	w/ Paid API Key	w/ Premium API Key	Average latency	Token Usage Counting	Allowed Request
Reader API	`https://r.jina.ai`	Converts a URL to LLM-friendly text	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	Count the number of tokens in the output response.	GET/POST
Reader API	`https://s.jina.ai`	Search the web and convert results to LLM-friendly text		100 RPM	100 RPM	1000 RPM	2.5s	Every request costs a fixed number of tokens, starting from 10 000 tokens	GET/POST
Embedding API	`https://api.jina.ai/v1/embeddings`	Convert text/images to fixed-length vectors		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	depends on the input size	Count the number of tokens in the input request.	POST
Reranker API	`https://api.jina.ai/v1/rerank`	Rank documents by query		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	depends on the input size	Count the number of tokens in the input request.	POST

Выставление счетов зависит от количества предложений или запросов?

Доступна ли бесплатная пробная версия для новых пользователей?

Взимаются ли токены за неудачные запросы?

Какие способы оплаты принимаются?

Доступно ли выставление счетов за покупку токенов?

Как мне приобрести коммерческую лицензию, а не токены API?

Могу ли я оплатить счетом-фактурой или заказом на покупку вместо банковской карты?

Я оплатил, но мой баланс или лимит не изменились. Что мне следует проверить?

Как отменить, остановить автоматическое пополнение счета или удалить сохраненный способ оплаты?