Сегментатор

Бесплатный API для сегментации длинного текста на фрагменты и токенизации.

API сегментатора

Наш API Segmenter имеет решающее значение для помощи LLM в управлении вводом в рамках контекстных ограничений и оптимизации производительности модели. Он позволяет разработчикам подсчитывать токены и извлекать соответствующие текстовые сегменты, обеспечивая эффективную обработку данных и управление затратами.

Ограничение скорости

Часто задаваемые вопросы

Статус

https://api.jina.ai/v1/segment?content=

73 токенов, 125 символов.

Верните жетоны.

Верните токены и соответствующие им идентификаторы в ответе. Переключите, чтобы увидеть визуализацию результата.

Верните куски

Разделение входных данных на семантически значимые сегменты с обработкой широкого спектра типов текста и пограничных случаев на основе общих структурных признаков.

Верните первые N токенов

Возвращает первые N токенов указанного содержимого. Исключает границу. Не может использоваться с 'tail'.

Верните последние N токенов

Возвращает последние N токенов указанного контента. Исключает границу. Не может использоваться с 'head'.

Сегментатор

Выберите токенизатор для использования.

cl100k_base

Запрос

Bash

Язык

curl -X POST 'https://api.jina.ai/v1/segment' \
  -H "Content-Type: application/json" \
  -d @- <<EOFEOF
  {
    "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座，从此不同！🚀\n検索ベース,もう二度と同じことはありません！🚀"
  }
EOFEOF

API-ключ

Доступные токены

Это ваш уникальный ключ. Храните его в надежном месте!

Что такое сегментатор?

Сегментатор — это важный компонент, который преобразует текст в токены или фрагменты, которые являются основными единицами данных, обрабатываемыми моделью внедрения/переранжирования или LLM. Токены могут представлять целые слова, части слов или даже отдельные символы.

Введите текст

Молниеносная обработка длинных документов!

Вы также можете использовать API Segmenter для разрезания длинных документов на более мелкие фрагменты, что упрощает их обработку в встраиваниях или рераннерах. Мы используем общие структурные подсказки и создаем набор правил и эвристик, которые хорошо работают с различными типами контента, например, языками Markdown, HTML, LaTeX и CJK.

Введите текст

Максимальная длина каждого фрагмента: 1000

Максимальное количество символов в каждом фрагменте. На практике длина фрагмента может быть меньше этого значения, если в тексте есть естественная граница.

0 кусков всего

API сегментатора бесплатен!

Указав свой ключ API, вы сможете получить доступ к более высокому лимиту скорости, и плата за ваш ключ взиматься не будет.

Ограничение скорости

Ограничения скорости отслеживаются тремя способами: RPM (запросы в минуту) и TPM (токены в минуту). Ограничения применяются для каждого IP/API-ключа и срабатывают при достижении порогового значения RPM или TPM. Когда вы указываете ключ API в заголовке запроса, мы отслеживаем ограничения скорости по ключу, а не по IP-адресу.

Колонки

Продукт	Конечная точка API	Описание	без API-ключа	с API-ключом	с премиум-ключом API	Средняя задержка	Подсчет использования токенов	Разрешенный запрос
API-интерфейс читателя	`https://r.jina.ai`	Преобразовать URL в текст, понятный LLM	20 RPM	500 RPM	5000 RPM	7.9s	Подсчитайте количество токенов в выходном ответе.	GET/POST
API-интерфейс читателя	`https://s.jina.ai`	Поиск в Интернете и преобразование результатов в текст, понятный LLM		100 RPM	1000 RPM	2.5s	Каждый запрос стоит фиксированное количество токенов, начиная с 10000 токенов.	GET/POST
Глубокий поиск	`https://deepsearch.jina.ai/v1/chat/completions`	Рассуждайте, ищите и повторяйте, чтобы найти лучший ответ.		50 RPM	500 RPM	56.7s	Подсчитайте общее количество токенов за весь процесс.	POST
API реранкера	`https://api.jina.ai/v1/rerank`	Ранжировать документы по запросу		500 RPM & 1,000,000 TPM	2,000 RPM & 5,000,000 TPM	зависит от размера входных данных	Подсчитайте количество токенов во входном запросе.	POST
Встраивание API	`https://api.jina.ai/v1/embeddings`	Преобразование текста/изображений в векторы фиксированной длины		500 RPM & 1,000,000 TPM	2,000 RPM & 5,000,000 TPM	зависит от размера входных данных	Подсчитайте количество токенов во входном запросе.	POST
API классификатора	`https://api.jina.ai/v1/train`	Обучить классификатор с использованием маркированных примеров		20 RPM & 200,000 TPM	60 RPM & 1,000,000 TPM	зависит от размера входных данных	Токены подсчитываются как: input_tokens × num_iters	POST
API классификатора (Несколько выстрелов)	`https://api.jina.ai/v1/classify`	Классифицируйте входные данные с помощью обученного классификатора с несколькими попытками		20 RPM & 200,000 TPM	60 RPM & 1,000,000 TPM	зависит от размера входных данных	Токены учитываются как: input_tokens	POST
API классификатора (Нулевой выстрел)	`https://api.jina.ai/v1/classify`	Классифицируйте входные данные, используя классификацию с нулевым результатом		200 RPM & 500,000 TPM	1,000 RPM & 3,000,000 TPM	зависит от размера входных данных	Токены считаются как: input_tokens + label_tokens	POST
API сегментатора	`https://api.jina.ai/v1/segment`	Токенизация и сегментация длинного текста	20 RPM	200 RPM	1,000 RPM	0.3s	Токен не считается использованием.	GET/POST

Получите свой API-ключ

Связаться с отделом продаж

Часто задаваемые вопросы

Сколько стоит API Segmenter?

Если я не предоставлю ключ API, каков предел скорости?

Если я предоставлю ключ API, каков предел скорости?

Будете ли вы взимать плату за токены с моего ключа API?

Поддерживает ли API Segmenter несколько языков?

В чем разница между запросами GET и POST?

Какую максимальную длину я могу токенизировать за один запрос?

Как работает функция фрагментации? Это семантическая фрагментация?

Как вы обрабатываете специальные токены, такие как «endoftext» в API Segmenter?

Поддерживает ли функция фрагментации другие языки, кроме английского?

Как получить мой ключ API?

Каков предел ставки?

Ограничение скорости

Колонки

Продукт	Конечная точка API	Описание	без API-ключа	с API-ключом	с премиум-ключом API	Средняя задержка	Подсчет использования токенов	Разрешенный запрос
API-интерфейс читателя	`https://r.jina.ai`	Преобразовать URL в текст, понятный LLM	20 RPM	500 RPM	5000 RPM	7.9s	Подсчитайте количество токенов в выходном ответе.	GET/POST
API-интерфейс читателя	`https://s.jina.ai`	Поиск в Интернете и преобразование результатов в текст, понятный LLM		100 RPM	1000 RPM	2.5s	Каждый запрос стоит фиксированное количество токенов, начиная с 10000 токенов.	GET/POST
Глубокий поиск	`https://deepsearch.jina.ai/v1/chat/completions`	Рассуждайте, ищите и повторяйте, чтобы найти лучший ответ.		50 RPM	500 RPM	56.7s	Подсчитайте общее количество токенов за весь процесс.	POST
API реранкера	`https://api.jina.ai/v1/rerank`	Ранжировать документы по запросу		500 RPM & 1,000,000 TPM	2,000 RPM & 5,000,000 TPM	зависит от размера входных данных	Подсчитайте количество токенов во входном запросе.	POST
Встраивание API	`https://api.jina.ai/v1/embeddings`	Преобразование текста/изображений в векторы фиксированной длины		500 RPM & 1,000,000 TPM	2,000 RPM & 5,000,000 TPM	зависит от размера входных данных	Подсчитайте количество токенов во входном запросе.	POST
API классификатора	`https://api.jina.ai/v1/train`	Обучить классификатор с использованием маркированных примеров		20 RPM & 200,000 TPM	60 RPM & 1,000,000 TPM	зависит от размера входных данных	Токены подсчитываются как: input_tokens × num_iters	POST
API классификатора (Несколько выстрелов)	`https://api.jina.ai/v1/classify`	Классифицируйте входные данные с помощью обученного классификатора с несколькими попытками		20 RPM & 200,000 TPM	60 RPM & 1,000,000 TPM	зависит от размера входных данных	Токены учитываются как: input_tokens	POST
API классификатора (Нулевой выстрел)	`https://api.jina.ai/v1/classify`	Классифицируйте входные данные, используя классификацию с нулевым результатом		200 RPM & 500,000 TPM	1,000 RPM & 3,000,000 TPM	зависит от размера входных данных	Токены считаются как: input_tokens + label_tokens	POST
API сегментатора	`https://api.jina.ai/v1/segment`	Токенизация и сегментация длинного текста	20 RPM	200 RPM	1,000 RPM	0.3s	Токен не считается использованием.	GET/POST

Могу ли я использовать один и тот же ключ API для чтения, встраивания, переранжирования, классификации и тонкой настройки API?

Могу ли я отслеживать использование токена моего ключа API?

Что мне делать, если я забуду свой ключ API?

Срок действия ключей API истекает?

Могу ли я передавать токены между ключами API?

Могу ли я отозвать свой ключ API?

Почему первый запрос для некоторых моделей выполняется медленно?

Используются ли входные данные пользователя для обучения ваших моделей?

Выставление счетов зависит от количества предложений или запросов?

Доступна ли бесплатная пробная версия для новых пользователей?

Взимаются ли токены за неудачные запросы?

Какие способы оплаты принимаются?

Доступно ли выставление счетов за покупку токенов?