Автоматическая тонкая настройка
Скажите, в каком домене ваши эмбеддинги должны работать лучше всего, и мы автоматически подготовим для этого домена точно настроенную модель эмбеддинга, готовую к работе.
Что такое автоматическая тонкая настройка?
Существует три способа указать ваше требование: общая инструкция, URL-адрес или описание запроса и документа. Выберите один.
public
Или URL веб-страницы
Использовать содержимое страницы по URL для тонкой настройки.
keyboard_arrow_down
notes
Или общая инструкция
Предоставьте подробное описание того, как будут использоваться точно настроенные эмбеддинги.
keyboard_arrow_down
Выберите базовую модель эмбеддинга
Точная настройка позволяет взять предварительно обученную модель и адаптировать её к конкретной задаче или предметной области, обучив на новом наборе данных. На практике найти эффективные обучающие данные непросто. Для хорошего обучения мало просто скормить модели сырые PDF и HTML — добиться результата трудно. Автоматическая тонкая настройка решает эту проблему: она сама генерирует эффективные обучающие данные через продвинутый конвейер LLM-агентов и дообучает модель в рамках ML-процесса. Это можно рассматривать как сочетание генерации синтетических данных и AutoML: вам достаточно описать нужную предметную область на естественном языке, а остальное сделает наша система.
Автоматическая тонкая настройка обещает почти волшебство: точно настроенные эмбеддинги для любой предметной области. Но действительно ли это работает? Сомнение вполне разумное. Мы проверили это на разных предметных областях и базовых моделях. Ниже — результаты с намеренно отобранными удачными и неудачными примерами.
Базовая модель для тонкой настройки
jinaai/jina-embeddings-v2-base-enСреднее улучшение
arrow_upward 2%
description Инструкция по домену
speed Производительность на синтетическом валидационном наборе до и после тонкой настройки
NDCG
0.505 arrow_forward 0.532 arrow_upward 5%
MAP
0.352 arrow_forward 0.389 arrow_upward 10%
MRR
0.352 arrow_forward 0.389 arrow_upward 10%
speed Производительность на отложенном тестовом наборе до и после тонкой настройки
check
Протестировано на случайной выборке 50 из tollefj/norwegian-nli-triplets
NDCG
0.852 arrow_forward 0.867 arrow_upward 2%
MAP
0.800 arrow_forward 0.820 arrow_upward 2%
MRR
0.800 arrow_forward 0.820 arrow_upward 2%
data_usage Созданы синтетические данные
Всего
4648
Обучение
4480
Валидация
168
Базовая модель для тонкой настройки
jinaai/jina-embeddings-v2-base-enСреднее улучшение
arrow_upward 6%
description Инструкция по домену
speed Производительность на синтетическом валидационном наборе до и после тонкой настройки
NDCG
0.672 arrow_forward 0.755 arrow_upward 12%
MAP
0.567 arrow_forward 0.675 arrow_upward 19%
MRR
0.567 arrow_forward 0.675 arrow_upward 19%
speed Производительность на отложенном тестовом наборе до и после тонкой настройки
check
Протестировано на случайной выборке 50 из mteb/askubuntudupquestions-reranking
NDCG
0.698 arrow_forward 0.722 arrow_upward 3%
MAP
0.515 arrow_forward 0.549 arrow_upward 6%
MRR
0.666 arrow_forward 0.712 arrow_upward 7%
data_usage Созданы синтетические данные
Всего
616
Обучение
448
Валидация
168
Базовая модель для тонкой настройки
jinaai/jina-embeddings-v2-base-enСреднее улучшение
arrow_upward 9%
description Инструкция по домену
speed Производительность на синтетическом валидационном наборе до и после тонкой настройки
NDCG
0.727 arrow_forward 0.861 arrow_upward 18%
MAP
0.640 arrow_forward 0.814 arrow_upward 27%
MRR
0.640 arrow_forward 0.814 arrow_upward 27%
speed Производительность на отложенном тестовом наборе до и после тонкой настройки
check
Протестировано на случайной выборке 50 из mteb/scidocs-reranking
NDCG
0.773 arrow_forward 0.822 arrow_upward 6%
MAP
0.575 arrow_forward 0.651 arrow_upward 13%
MRR
0.823 arrow_forward 0.884 arrow_upward 7%
data_usage Созданы синтетические данные
Всего
616
Обучение
448
Валидация
168
Базовая модель для тонкой настройки
jinaai/jina-embeddings-v2-base-zhСреднее улучшение
arrow_upward 1%
description Инструкция по домену
speed Производительность на синтетическом валидационном наборе до и после тонкой настройки
NDCG
0.718 arrow_forward 0.785 arrow_upward 9%
MAP
0.629 arrow_forward 0.717 arrow_upward 14%
MRR
0.629 arrow_forward 0.717 arrow_upward 14%
speed Производительность на отложенном тестовом наборе до и после тонкой настройки
check
Протестировано на случайной выборке 50 из C-MTEB/CMedQAv2-reranking
NDCG
0.938 arrow_forward 0.948 arrow_upward 1%
MAP
0.912 arrow_forward 0.926 arrow_upward 2%
MRR
0.920 arrow_forward 0.933 arrow_upward 1%
data_usage Созданы синтетические данные
Всего
616
Обучение
448
Валидация
168
Базовая модель для тонкой настройки
jinaai/jina-embeddings-v2-base-enСреднее улучшение
arrow_upward 6%
description Инструкция по домену
speed Производительность на синтетическом валидационном наборе до и после тонкой настройки
NDCG
0.543 arrow_forward 0.579 arrow_upward 7%
MAP
0.402 arrow_forward 0.452 arrow_upward 12%
MRR
0.402 arrow_forward 0.452 arrow_upward 12%
speed Производительность на отложенном тестовом наборе до и после тонкой настройки
check
Протестировано на случайной выборке 50 из nc33/triplet_sbert_law2 (machine-translated to dutch)
NDCG
0.904 arrow_forward 0.948 arrow_upward 5%
MAP
0.870 arrow_forward 0.930 arrow_upward 7%
MRR
0.870 arrow_forward 0.930 arrow_upward 7%
data_usage Созданы синтетические данные
Всего
9128
Обучение
8960
Валидация
168
Базовая модель для тонкой настройки
jinaai/jina-embeddings-v2-base-codeСреднее улучшение
arrow_downward -4%
description Инструкция по домену
speed Производительность на синтетическом валидационном наборе до и после тонкой настройки
NDCG
0.671 arrow_forward 0.640 arrow_downward -5%
MAP
0.569 arrow_forward 0.525 arrow_downward -8%
MRR
0.569 arrow_forward 0.525 arrow_downward -8%
speed Производительность на отложенном тестовом наборе до и после тонкой настройки
check
Протестировано на случайной выборке 50 из mteb/stackoverflowdupquestions-reranking
NDCG
0.640 arrow_forward 0.621 arrow_downward -3%
MAP
0.530 arrow_forward 0.505 arrow_downward -5%
MRR
0.555 arrow_forward 0.532 arrow_downward -4%
data_usage Созданы синтетические данные
Всего
616
Обучение
448
Валидация
168
Базовая модель для тонкой настройки
jinaai/jina-embeddings-v2-base-codeСреднее улучшение
arrow_downward -4%
description Инструкция по домену
speed Производительность на синтетическом валидационном наборе до и после тонкой настройки
NDCG
0.632 arrow_forward 0.711 arrow_upward 13%
MAP
0.517 arrow_forward 0.622 arrow_upward 20%
MRR
0.517 arrow_forward 0.622 arrow_upward 20%
speed Производительность на отложенном тестовом наборе до и после тонкой настройки
check
Протестировано на случайной выборке 50 из mteb/stackoverflowdupquestions-reranking
NDCG
0.640 arrow_forward 0.619 arrow_downward -3%
MAP
0.530 arrow_forward 0.504 arrow_downward -5%
MRR
0.555 arrow_forward 0.525 arrow_downward -5%
data_usage Созданы синтетические данные
Всего
616
Обучение
448
Валидация
168
Базовая модель для тонкой настройки
jinaai/jina-embeddings-v2-base-enСреднее улучшение
arrow_upward 1%
description Инструкция по домену
speed Производительность на синтетическом валидационном наборе до и после тонкой настройки
NDCG
0.646 arrow_forward 0.729 arrow_upward 13%
MAP
0.535 arrow_forward 0.644 arrow_upward 20%
MRR
0.535 arrow_forward 0.644 arrow_upward 20%
speed Производительность на отложенном тестовом наборе до и после тонкой настройки
check
Протестировано на случайной выборке 50 из mteb/askubuntudupquestions-reranking
NDCG
0.645 arrow_forward 0.650 arrow_upward 1%
MAP
0.452 arrow_forward 0.462 arrow_upward 2%
MRR
0.606 arrow_forward 0.605 arrow_downward -0%
data_usage Созданы синтетические данные
Всего
616
Обучение
448
Валидация
168
API автоматической тонкой настройки
Получите точно настроенные эмбеддинги для любого домена.
globe_book
Используйте
r.jina.ai для чтения URL-адреса и извлечения его содержимогоtravel_explore
Используйте
s.jina.ai для поиска в Интернете и получения результатов поискаДобавьте
mcp.jina.ai как MCP-сервер, чтобы вызывать наши API из любой LLM.Формат контента
Return-Format
Вы можете контролировать уровень детализации ответа, чтобы предотвратить чрезмерную фильтрацию. Конвейер по умолчанию оптимизирован для большинства веб-сайтов и входных данных LLM.
По умолчанию
arrow_drop_down
JSON-ответ
Accept
Ответ будет в формате JSON, содержащий URL-адрес, заголовок, контент и временную метку (если имеется). В режиме поиска он возвращает список из пяти записей, каждая из которых соответствует описанной структуре JSON.
Тайм-аут (секунды)
X-Timeout
Максимальное время ожидания загрузки страницы. Увеличивайте его для медленно загружаемых страниц, уменьшайте для простых статических страниц.
Бюджет токенов
X-Token-Budget
Ограничивает максимальное количество токенов, используемых для этого запроса. Превышение этого лимита приведет к сбою запроса.
Использовать jina-ocr-v1
X-Respond-With
Использует jina-ocr-v1 для преобразования изображения в Markdown и обеспечивает высокое качество на страницах и документах со сложной структурой и содержимым. Требует в 40 раз больше токенов!open_in_newУзнать больше
Страница
X-Page
Страница для обработки. Фокусируется на указанной странице многостраничного документа и применяется только при обработке документа, такого как PDF.
Извлекать только (CSS-селектор)
X-Target-Selector
Извлекайте только контент, соответствующий этим CSS-селекторам. Пример: article, .main-content, #post-body
Ожидать (CSS-селектор)
X-Wait-For-Selector
Подождите, пока эти элементы появятся, прежде чем извлекать контент. Полезно для динамически загружаемого контента.
Исключить (CSS-селектор)
X-Remove-Selector
Удалите эти элементы перед извлечением. Например: nav, footer, .sidebar, #ads
Удалить все изображения
X-Retain-Images
Удаляет все изображения из выходных данных. Уменьшает использование токенов, когда изображения не нужны.
Формат цитирования OpenAI
X-Retain-Links
Форматирование ссылок для инструмента веб-браузера OpenAI. Использует специальные маркеры цитирования, совместимые с моделями GPT.open_in_newУзнать больше
Раздел ссылок
X-With-Links-Summary
В конце будет создан раздел «Кнопки и ссылки». Это помогает нижестоящим LLM или веб-агентам перемещаться по странице или предпринимать дальнейшие действия.
Нет
arrow_drop_down
Раздел изображений
X-With-Images-Summary
В конце будет создан раздел «Изображения». Это даёт нижестоящим LLM обзор всех визуальных элементов на странице, что может улучшить рассуждения.
Нет
arrow_drop_down
Размер области просмотра браузера
POST
viewport
Задает размеры окна браузера. Влияет на адаптивный дизайн и видимость контента.open_in_newУзнать больше
Переслать cookie
X-Set-Cookie
Наш сервер API может пересылать ваши пользовательские настройки файлов cookie при доступе к URL-адресу, что полезно для страниц, требующих дополнительной аутентификации. Обратите внимание, что запросы с файлами cookie не кэшируются.open_in_newУзнать больше
Подпись к изображению
X-With-Generated-Alt
Подписывает все изображения по указанному URL-адресу, добавляя «Image [idx]: [caption]» в качестве альтернативного тега для тех, у кого его нет. Это позволяет последующим LLM взаимодействовать с изображениями в таких действиях, как рассуждение и подведение итогов.
Использовать прокси-сервер
X-Proxy-Url
Наш сервер API может использовать ваш прокси-сервер для доступа к URL-адресам, что полезно для страниц, доступных только через определенные прокси.open_in_newУзнать больше
Прокси-сервер конкретной страны
X-Proxy
Установите код страны для прокси-сервера на основе местоположения. Используйте «auto» для оптимального выбора или «none» для отключения.
Обход кэша
X-No-Cache
Наш API кэширует содержимое URL в течение определённого времени. Установите true, чтобы игнорировать кэш и загружать контент из URL напрямую.
Допуск кэша (секунды)
X-Cache-Tolerance
Принимать кэшированное содержимое, если оно моложе N секунд. Установите 0 для свежего содержимого (как при обходе кэша) или большее значение, чтобы получать более быстрые ответы из кэша.
Время готовности страницы
X-Respond-Timing
Момент, когда страница считается полностью загруженной. Более поздние значения ждут дольше, но захватывают больше динамического контента.
По умолчанию
arrow_drop_down
Свой User-Agent
X-User-Agent
Переопределяет строку User-Agent браузера. Полезно для доступа к сайтам, требующим определённых браузеров или блокирующим поисковых роботов.
Свой Referer
X-Referer
Установите заголовок HTTP Referer. Некоторые сайты проверяют его, чтобы убедиться, что трафик поступает из ожидаемых источников.
Сохранение изображений Base64
X-Keep-Img-Data-Url
Сохранять изображения, закодированные в base64, прямо в выходном Markdown вместо преобразования их во внешние URL-адреса.
Не кэшировать и не отслеживать
DNT
Предотвратите кэширование или запись этого запроса на наших серверах. Используйте для конфиденциальных URL-адресов.
GitHub Flavored Markdown
X-No-Gfm
Включение/отключение функций GFM (GitHub Flavored Markdown).
Включено
arrow_drop_down
Режим потока
Accept
Режим потока полезен для больших страниц: он даёт больше времени на полную отрисовку. Если в стандартном режиме контент получается неполным, попробуйте потоковый режим.open_in_newУзнать больше
Настроить локаль браузера
X-Locale
Управляйте локалью браузера для отображения страницы. Множество веб-сайтов предоставляют разный контент в зависимости от локали.open_in_newУзнать больше
Учитывать robots.txt
X-Robots-Txt
Перед выполнением запроса проверьте правила в файле robots.txt. Укажите имя бота, которое следует использовать для проверки.
Включить содержимое iframe
X-With-Iframe
Извлекать контент из встроенных iframe. Включить для страниц, контент которых загружается во фреймы.
Включить теневой DOM
X-With-Shadow-Dom
Извлекать контент из компонентов Shadow DOM. Включить эту функцию для страниц, использующих веб-компоненты.
Использовать исходный URL как базовый
X-Base
Для разрешения относительных URL-адресов используйте исходный URL-адрес назначения до перенаправлений, а не конечный.
Локальный файл PDF/HTML
POST
Используйте Reader для локальных файлов PDF и HTML, загрузив их. Поддерживаются только файлы PDF и HTML. Для HTML укажите также референсный URL, чтобы связанные скрипты CSS/JS анализировались корректно.
upload
Выполнить JavaScript перед извлечением
POST
Выполните пользовательский JavaScript для изменения страницы перед извлечением контента. Это может быть встроенный код или URL-адрес файла скрипта.open_in_newУзнать больше
Стиль заголовка
X-Md-Heading-Style
Устанавливает формат заголовка markdown (передается в Turndown).
С решётками
arrow_drop_down
Стиль горизонтальной линии
X-Md-Hr
Определяет формат горизонтальной линии разметки (передается в Turndown).
Стиль маркера
X-Md-Bullet-List-Marker
Устанавливает символ маркера маркированного списка (передается в Turndown).
*
arrow_drop_down
Стиль выделения
X-Md-Em-Delimiter
Определяет разделитель выделения в Markdown (передается в Turndown).
_
arrow_drop_down
Стиль сильного выделения
X-Md-Strong-Delimiter
Устанавливает разделитель сильного акцента markdown (передается в Turndown).
**
arrow_drop_down
Стиль ссылки
X-Md-Link-Style
Определяет формат ссылки markdown (передается в Turndown).
Встроенные
arrow_drop_down
Размещение в ЕС
Экспериментальный
При включении инфраструктура и обработка данных для этого запроса находятся в ЕС.
curl "https://r.jina.ai/https://www.example.com"key
API-ключ
visibility_off
Доступные токены
0
code
Могу ли я использовать один и тот же API-ключ для всех API Jina?
keyboard_arrow_down
code
Могу ли я отслеживать расход токенов по своему ключу API?
keyboard_arrow_down
code
Что мне делать, если я забуду свой ключ API?
keyboard_arrow_down
code
Истекает ли срок действия ключей API?
keyboard_arrow_down
code
Могу ли я передавать токены между ключами API?
keyboard_arrow_down
code
Могу ли я отозвать свой ключ API?
keyboard_arrow_down
code
Почему первый запрос для некоторых моделей выполняется медленно?
keyboard_arrow_down
code
Используются ли данные из моего API для обучения ваших моделей?
keyboard_arrow_down
code
Каковы ограничения скорости запросов к API Jina?
keyboard_arrow_down
code
Существуют ли ограничения на размер пакета для API?
keyboard_arrow_down
code
Те же ли это API Jina, что и модели Jina в Elastic?
keyboard_arrow_down
Ограничение скорости
Ограничения скорости отслеживаются двумя способами: RPM (запросы в минуту) и TPM (токены в минуту). Ограничения применяются к каждому IP-адресу или ключу API и срабатывают, как только достигнут порог по RPM или TPM. Если вы передаёте ключ API в заголовке запроса, мы отслеживаем ограничения по ключу, а не по IP-адресу.
Колонки
arrow_drop_down
| Продукт | Конечная точка API | Описаниеarrow_upward | без API-ключаkey_off | с бесплатным API-ключомkey | с платным API-ключомkey | с премиум-API-ключомkey | Средняя задержка | Подсчёт использования токенов | HTTP-метод | |
|---|---|---|---|---|---|---|---|---|---|---|
| API Reader | https://r.jina.ai | Преобразовать URL в текст, понятный LLM | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Подсчитывать количество токенов в выходном ответе. | GET/POST | |
| API Reader | https://s.jina.ai | Искать в интернете и преобразовывать результаты в текст, понятный LLM | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Каждый запрос стоит фиксированное количество токенов, начиная с 10 000 токенов. | GET/POST | |
| API реранкера | https://api.jina.ai/v1/rerank | Ранжировать документы по запросу | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart зависит от размера входных данных help | Подсчитывать количество токенов во входном запросе. | POST | |
| API эмбеддингов | https://api.jina.ai/v1/embeddings | Преобразовывать текст/изображения в векторы фиксированной длины | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart зависит от размера входных данных help | Подсчитывать количество токенов во входном запросе. | POST |
Общие вопросы по оплате
attach_money
Оплата зависит от количества предложений или запросов?
keyboard_arrow_down
attach_money
Доступна ли бесплатная пробная версия для новых пользователей?
keyboard_arrow_down
attach_money
Взимаются ли токены за неудачные запросы?
keyboard_arrow_down
attach_money
Какие способы оплаты принимаются?
keyboard_arrow_down
attach_money
Доступно ли выставление счетов за покупку токенов?
keyboard_arrow_down
attach_money
Как мне приобрести коммерческую лицензию, а не токены API?
keyboard_arrow_down
attach_money
Могу ли я оплатить счётом-фактурой или заказом на покупку вместо банковской карты?
keyboard_arrow_down
attach_money
Я оплатил, но мой баланс или лимит не изменились. Что мне следует проверить?
keyboard_arrow_down
attach_money
Как отменить, остановить автоматическое пополнение счёта или удалить сохранённый способ оплаты?
keyboard_arrow_down