Сегментатор

Бесплатный API для сегментации длинного текста на чанки и токенизации.

API сегментатора

Наш API Segmenter имеет решающее значение для помощи LLM в управлении вводом в рамках контекстных ограничений и оптимизации производительности модели. Он позволяет разработчикам подсчитывать токены и извлекать соответствующие текстовые сегменты, обеспечивая эффективную обработку данных и управление затратами.

https://api.jina.ai/v1/segment?content=

73 токенов, 125 символов.

Верните токены.

Верните токены и соответствующие им идентификаторы в ответе. Переключите, чтобы увидеть визуализацию результата.

Верните чанки

Разделение входных данных на семантически значимые сегменты с обработкой широкого спектра типов текста и пограничных случаев на основе общих структурных признаков.

Верните первые N токенов

Возвращает первые N токенов указанного содержимого. Исключает границу. Не может использоваться с 'tail'.

Верните последние N токенов

Возвращает последние N токенов указанного контента. Исключает границу. Не может использоваться с 'head'.

Сегментатор

Выберите токенизатор для использования.

cl100k_base

Запрос

Bash

Язык

curl -X POST 'https://api.jina.ai/v1/segment' \
  -H "Content-Type: application/json" \
  -d @- <<EOFEOF
  {
    "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座，从此不同！🚀\n検索ベース,もう二度と同じことはありません！🚀"
  }
EOFEOF

API-ключ

Доступные токены

Это ваш уникальный ключ. Храните его в надежном месте!

Что такое сегментатор?

Сегментатор — это важный компонент, который преобразует текст в токены или чанки, которые являются основными единицами данных, обрабатываемыми моделью эмбеддинга/реранжирования или LLM. Токены могут представлять целые слова, части слов или даже отдельные символы.

Введите текст

Молниеносная обработка длинных документов!

Вы также можете использовать API Segmenter для разрезания длинных документов на более мелкие фрагменты, что упрощает их обработку в эмбеддингах или рераннерах. Мы используем общие структурные подсказки и набор правил и эвристик, которые хорошо работают с различными типами контента, например, языками Markdown, HTML, LaTeX и CJK.

Введите текст

Максимальная длина каждого чанка: 1000

Максимальное количество символов в каждом чанке. На практике длина чанка может быть меньше этого значения, если в тексте есть естественная граница.

API сегментатора бесплатен!

Указав свой ключ API, вы сможете получить доступ к более высокому лимиту скорости, и плата за ваш ключ взиматься не будет.

Ограничение скорости

Ограничения скорости отслеживаются двумя способами: RPM (запросы в минуту) и TPM (токены в минуту). Ограничения применяются для каждого IP/API-ключа и срабатывают при достижении порогового значения RPM или TPM. Когда вы указываете ключ API в заголовке запроса, мы отслеживаем ограничения скорости по ключу, а не по IP-адресу.

Колонки

Продукт	Конечная точка API	Описание	без API-ключа	с бесплатным API-ключом	с платным API-ключом	с премиум-ключом API	Средняя задержка	Подсчет использования токенов	Разрешенный запрос
API Reader	`https://r.jina.ai`	Преобразовать URL в текст, понятный LLM	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	Подсчитывать количество токенов в выходном ответе.	GET/POST
API Reader	`https://s.jina.ai`	Искать в интернете и преобразовывать результаты в текст, понятный LLM		100 RPM	100 RPM	1000 RPM	2.5s	Каждый запрос стоит фиксированное количество токенов, начиная с 10000 токенов.	GET/POST
API реранкера	`https://api.jina.ai/v1/rerank`	Ранжировать документы по запросу		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	зависит от размера входных данных	Подсчитывать количество токенов во входном запросе.	POST
API эмбеддингов	`https://api.jina.ai/v1/embeddings`	Преобразовывать текст/изображения в векторы фиксированной длины		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	зависит от размера входных данных	Подсчитывать количество токенов во входном запросе.	POST

Получите свой API-ключ

Связаться с отделом продаж

Часто задаваемые вопросы

Могу ли я использовать один и тот же API-ключ для всех API Jina?

Могу ли я отслеживать использование токена моего ключа API?

Что мне делать, если я забуду свой ключ API?

Срок действия ключей API истекает?

Могу ли я передавать токены между ключами API?

Могу ли я отозвать свой ключ API?

Почему первый запрос для некоторых моделей выполняется медленно?

Используются ли данные из моего API для обучения ваших моделей?

Каковы ограничения скорости запросов к API Jina?

Существуют ли ограничения на размер пакета для API?

Являются ли API Jina тем же самым, что и модели Jina внутри Elastic?

Как получить мой ключ API?

Каков лимит запросов?

Ограничение скорости

Колонки

Продукт	Конечная точка API	Описание	без API-ключа	с бесплатным API-ключом	с платным API-ключом	с премиум-ключом API	Средняя задержка	Подсчет использования токенов	Разрешенный запрос
API Reader	`https://r.jina.ai`	Преобразовать URL в текст, понятный LLM	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	Подсчитывать количество токенов в выходном ответе.	GET/POST
API Reader	`https://s.jina.ai`	Искать в интернете и преобразовывать результаты в текст, понятный LLM		100 RPM	100 RPM	1000 RPM	2.5s	Каждый запрос стоит фиксированное количество токенов, начиная с 10000 токенов.	GET/POST
API реранкера	`https://api.jina.ai/v1/rerank`	Ранжировать документы по запросу		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	зависит от размера входных данных	Подсчитывать количество токенов во входном запросе.	POST
API эмбеддингов	`https://api.jina.ai/v1/embeddings`	Преобразовывать текст/изображения в векторы фиксированной длины		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	зависит от размера входных данных	Подсчитывать количество токенов во входном запросе.	POST

Выставление счетов зависит от количества предложений или запросов?

Доступна ли бесплатная пробная версия для новых пользователей?

Взимаются ли токены за неудачные запросы?

Какие способы оплаты принимаются?

Доступно ли выставление счетов за покупку токенов?

Как мне приобрести коммерческую лицензию, а не токены API?

Могу ли я оплатить счетом-фактурой или заказом на покупку вместо банковской карты?

Я оплатил, но мой баланс или лимит не изменились. Что мне следует проверить?

Как отменить, остановить автоматическое пополнение счета или удалить сохраненный способ оплаты?