Сегментатор
Бесплатный API для сегментации длинного текста на чанки и токенизации.
API сегментатора
Наш API Segmenter помогает LLM укладываться в ограничения контекста и повышать производительность модели. Он позволяет разработчикам подсчитывать токены и извлекать нужные фрагменты текста, обеспечивая эффективную обработку данных и контроль затрат.
Используйте GET-запрос для подсчёта токенов
Используйте POST-запрос для получения дополнительных функций
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座，从此不同！🚀\n検索ベース,もう二度と同じことはありません！🚀"
}
EOFEOFЧто такое сегментатор?
Сегментатор — важный компонент, который превращает текст в токены или чанки: базовые единицы данных, с которыми работает модель эмбеддингов, реранкер или LLM. Токены могут соответствовать целым словам, частям слов или отдельным символам.
Молниеносный чанкинг длинных документов!
Вы также можете использовать API Segmenter, чтобы резать длинные документы на небольшие фрагменты: так их проще обрабатывать эмбеддингами или реранкерами. Мы опираемся на типичные структурные признаки и набор правил и эвристик, которые хорошо работают на разных типах контента — Markdown, HTML, LaTeX, языках CJK.
Максимальное количество символов в каждом чанке. На практике длина чанка может быть меньше этого значения, если в тексте есть естественная граница.
Всего 0 чанков
API сегментатора бесплатен!
Указав свой ключ API, вы получите более высокий лимит скорости, и с ключа не спишут плату.
Ограничение скорости
Ограничения скорости отслеживаются двумя способами: RPM (запросы в минуту) и TPM (токены в минуту). Ограничения применяются к каждому IP-адресу или ключу API и срабатывают, как только достигнут порог по RPM или TPM. Если вы передаёте ключ API в заголовке запроса, мы отслеживаем ограничения по ключу, а не по IP-адресу.
| Продукт | Конечная точка API | Описаниеarrow_upward | без API-ключаkey_off | с бесплатным API-ключомkey | с платным API-ключомkey | с премиум-API-ключомkey | Средняя задержка | Подсчёт использования токенов | HTTP-метод | |
|---|---|---|---|---|---|---|---|---|---|---|
| API Reader | https://r.jina.ai | Преобразовать URL в текст, понятный LLM | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Подсчитывать количество токенов в выходном ответе. | GET/POST | |
| API Reader | https://s.jina.ai | Искать в интернете и преобразовывать результаты в текст, понятный LLM | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Каждый запрос стоит фиксированное количество токенов, начиная с 10 000 токенов. | GET/POST | |
| API реранкера | https://api.jina.ai/v1/rerank | Ранжировать документы по запросу | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart зависит от размера входных данных help | Подсчитывать количество токенов во входном запросе. | POST | |
| API эмбеддингов | https://api.jina.ai/v1/embeddings | Преобразовывать текст/изображения в векторы фиксированной длины | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart зависит от размера входных данных help | Подсчитывать количество токенов во входном запросе. | POST |
code
Могу ли я использовать один и тот же API-ключ для всех API Jina?
keyboard_arrow_down
code
Могу ли я отслеживать расход токенов по своему ключу API?
keyboard_arrow_down
code
Что мне делать, если я забуду свой ключ API?
keyboard_arrow_down
code
Истекает ли срок действия ключей API?
keyboard_arrow_down
code
Могу ли я передавать токены между ключами API?
keyboard_arrow_down
code
Могу ли я отозвать свой ключ API?
keyboard_arrow_down
code
Почему первый запрос для некоторых моделей выполняется медленно?
keyboard_arrow_down
code
Используются ли данные из моего API для обучения ваших моделей?
keyboard_arrow_down
code
Каковы ограничения скорости запросов к API Jina?
keyboard_arrow_down
code
Существуют ли ограничения на размер пакета для API?
keyboard_arrow_down
code
Те же ли это API Jina, что и модели Jina в Elastic?
keyboard_arrow_down
Ограничение скорости
Ограничения скорости отслеживаются двумя способами: RPM (запросы в минуту) и TPM (токены в минуту). Ограничения применяются к каждому IP-адресу или ключу API и срабатывают, как только достигнут порог по RPM или TPM. Если вы передаёте ключ API в заголовке запроса, мы отслеживаем ограничения по ключу, а не по IP-адресу.
| Продукт | Конечная точка API | Описаниеarrow_upward | без API-ключаkey_off | с бесплатным API-ключомkey | с платным API-ключомkey | с премиум-API-ключомkey | Средняя задержка | Подсчёт использования токенов | HTTP-метод | |
|---|---|---|---|---|---|---|---|---|---|---|
| API Reader | https://r.jina.ai | Преобразовать URL в текст, понятный LLM | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Подсчитывать количество токенов в выходном ответе. | GET/POST | |
| API Reader | https://s.jina.ai | Искать в интернете и преобразовывать результаты в текст, понятный LLM | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Каждый запрос стоит фиксированное количество токенов, начиная с 10 000 токенов. | GET/POST | |
| API реранкера | https://api.jina.ai/v1/rerank | Ранжировать документы по запросу | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart зависит от размера входных данных help | Подсчитывать количество токенов во входном запросе. | POST | |
| API эмбеддингов | https://api.jina.ai/v1/embeddings | Преобразовывать текст/изображения в векторы фиксированной длины | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart зависит от размера входных данных help | Подсчитывать количество токенов во входном запросе. | POST |
Общие вопросы по оплате
attach_money
Оплата зависит от количества предложений или запросов?
keyboard_arrow_down
attach_money
Доступна ли бесплатная пробная версия для новых пользователей?
keyboard_arrow_down
attach_money
Взимаются ли токены за неудачные запросы?
keyboard_arrow_down
attach_money
Какие способы оплаты принимаются?
keyboard_arrow_down
attach_money
Доступно ли выставление счетов за покупку токенов?
keyboard_arrow_down
attach_money
Как мне приобрести коммерческую лицензию, а не токены API?
keyboard_arrow_down
attach_money
Могу ли я оплатить счётом-фактурой или заказом на покупку вместо банковской карты?
keyboard_arrow_down
attach_money
Я оплатил, но мой баланс или лимит не изменились. Что мне следует проверить?
keyboard_arrow_down
attach_money
Как отменить, остановить автоматическое пополнение счёта или удалить сохранённый способ оплаты?
keyboard_arrow_down
