Автоматическая точная настройка
Просто сообщите нам, в каком домене вы хотите, чтобы ваши эмбеддинги преуспели, и мы автоматически предоставим готовую к использованию, точно настроенную модель эмбеддинга для этого домена.
Что такое автоматическая точная настройка?
Существует три способа указать ваше требование: общая инструкция, URL-адрес или описание запроса-документа. Выбери один.
public
Или URL веб-страницы
Обратитесь к содержимому URL-адреса для точной настройки.
keyboard_arrow_down
notes
Или общая инструкция
Предоставьте подробное описание того, как будут использоваться точно настроенные эмбеддинги.
keyboard_arrow_down
Выберите базовую модель эмбеддинга
Точная настройка позволяет вам взять предварительно обученную модель и адаптировать ее к конкретной задаче или предметной области, обучая ее на новом наборе данных. На практике поиск эффективных обучающих данных не является простой задачей для многих пользователей. Для эффективного обучения требуется нечто большее, чем просто добавление в модель необработанных PDF-файлов и HTML-файлов; и это трудно сделать правильно. Автоматическая точная настройка решает эту проблему, автоматически генерируя эффективные обучающие данные с помощью расширенного конвейера агентов LLM; и точная настройка модели в рамках рабочего процесса машинного обучения. Вы можете рассматривать это как комбинацию генерации синтетических данных и AutoML, поэтому все, что вам нужно сделать, это описать целевой домен на естественном языке, а наша система сделает все остальное.
Автоматическая точная настройка дает волшебное обещание предоставить точно настроенные эмбеддинги для любого домена, который вы захотите. Но действительно ли это работает? Это вполне обоснованное сомнение. Чтобы выяснить это, мы протестировали его на различных доменах и базовых моделях. Посмотрите результаты, собранные вишнями и лимонами ниже.
Базовая модель для доводки
jinaai/jina-embeddings-v2-base-enСреднее улучшение
arrow_upward 2%
description Инструкция домена
speed Производительность на синтетическом валидационном наборе до и после точной настройки
NDCG
0.505 arrow_forward 0.532 arrow_upward 5%
MAP
0.352 arrow_forward 0.389 arrow_upward 10%
MRR
0.352 arrow_forward 0.389 arrow_upward 10%
speed Производительность на удержанном тестовом наборе до и после точной настройки
check
Протестировано на случайных выборках 50 из tollefj/norwegian-nli-triplets.
NDCG
0.852 arrow_forward 0.867 arrow_upward 2%
MAP
0.800 arrow_forward 0.820 arrow_upward 2%
MRR
0.800 arrow_forward 0.820 arrow_upward 2%
data_usage Созданы синтетические данные
Общий
4648
Обучение
4480
Проверка
168
Базовая модель для доводки
jinaai/jina-embeddings-v2-base-enСреднее улучшение
arrow_upward 6%
description Инструкция домена
speed Производительность на синтетическом валидационном наборе до и после точной настройки
NDCG
0.672 arrow_forward 0.755 arrow_upward 12%
MAP
0.567 arrow_forward 0.675 arrow_upward 19%
MRR
0.567 arrow_forward 0.675 arrow_upward 19%
speed Производительность на удержанном тестовом наборе до и после точной настройки
check
Протестировано на случайных выборках 50 из mteb/askubuntudupquestions-reranking.
NDCG
0.698 arrow_forward 0.722 arrow_upward 3%
MAP
0.515 arrow_forward 0.549 arrow_upward 6%
MRR
0.666 arrow_forward 0.712 arrow_upward 7%
data_usage Созданы синтетические данные
Общий
616
Обучение
448
Проверка
168
Базовая модель для доводки
jinaai/jina-embeddings-v2-base-enСреднее улучшение
arrow_upward 9%
description Инструкция домена
speed Производительность на синтетическом валидационном наборе до и после точной настройки
NDCG
0.727 arrow_forward 0.861 arrow_upward 18%
MAP
0.640 arrow_forward 0.814 arrow_upward 27%
MRR
0.640 arrow_forward 0.814 arrow_upward 27%
speed Производительность на удержанном тестовом наборе до и после точной настройки
check
Протестировано на случайных выборках 50 из mteb/scidocs-reranking.
NDCG
0.773 arrow_forward 0.822 arrow_upward 6%
MAP
0.575 arrow_forward 0.651 arrow_upward 13%
MRR
0.823 arrow_forward 0.884 arrow_upward 7%
data_usage Созданы синтетические данные
Общий
616
Обучение
448
Проверка
168
Базовая модель для доводки
jinaai/jina-embeddings-v2-base-zhСреднее улучшение
arrow_upward 1%
description Инструкция домена
speed Производительность на синтетическом валидационном наборе до и после точной настройки
NDCG
0.718 arrow_forward 0.785 arrow_upward 9%
MAP
0.629 arrow_forward 0.717 arrow_upward 14%
MRR
0.629 arrow_forward 0.717 arrow_upward 14%
speed Производительность на удержанном тестовом наборе до и после точной настройки
check
Протестировано на случайных выборках 50 из C-MTEB/CMedQAv2-reranking.
NDCG
0.938 arrow_forward 0.948 arrow_upward 1%
MAP
0.912 arrow_forward 0.926 arrow_upward 2%
MRR
0.920 arrow_forward 0.933 arrow_upward 1%
data_usage Созданы синтетические данные
Общий
616
Обучение
448
Проверка
168
Базовая модель для доводки
jinaai/jina-embeddings-v2-base-enСреднее улучшение
arrow_upward 6%
description Инструкция домена
speed Производительность на синтетическом валидационном наборе до и после точной настройки
NDCG
0.543 arrow_forward 0.579 arrow_upward 7%
MAP
0.402 arrow_forward 0.452 arrow_upward 12%
MRR
0.402 arrow_forward 0.452 arrow_upward 12%
speed Производительность на удержанном тестовом наборе до и после точной настройки
check
Протестировано на случайных выборках 50 из nc33/triplet_sbert_law2 (machine-translated to dutch).
NDCG
0.904 arrow_forward 0.948 arrow_upward 5%
MAP
0.870 arrow_forward 0.930 arrow_upward 7%
MRR
0.870 arrow_forward 0.930 arrow_upward 7%
data_usage Созданы синтетические данные
Общий
9128
Обучение
8960
Проверка
168
Базовая модель для доводки
jinaai/jina-embeddings-v2-base-codeСреднее улучшение
arrow_downward -4%
description Инструкция домена
speed Производительность на синтетическом валидационном наборе до и после точной настройки
NDCG
0.671 arrow_forward 0.640 arrow_downward -5%
MAP
0.569 arrow_forward 0.525 arrow_downward -8%
MRR
0.569 arrow_forward 0.525 arrow_downward -8%
speed Производительность на удержанном тестовом наборе до и после точной настройки
check
Протестировано на случайных выборках 50 из mteb/stackoverflowdupquestions-reranking.
NDCG
0.640 arrow_forward 0.621 arrow_downward -3%
MAP
0.530 arrow_forward 0.505 arrow_downward -5%
MRR
0.555 arrow_forward 0.532 arrow_downward -4%
data_usage Созданы синтетические данные
Общий
616
Обучение
448
Проверка
168
Базовая модель для доводки
jinaai/jina-embeddings-v2-base-codeСреднее улучшение
arrow_downward -4%
description Инструкция домена
speed Производительность на синтетическом валидационном наборе до и после точной настройки
NDCG
0.632 arrow_forward 0.711 arrow_upward 13%
MAP
0.517 arrow_forward 0.622 arrow_upward 20%
MRR
0.517 arrow_forward 0.622 arrow_upward 20%
speed Производительность на удержанном тестовом наборе до и после точной настройки
check
Протестировано на случайных выборках 50 из mteb/stackoverflowdupquestions-reranking.
NDCG
0.640 arrow_forward 0.619 arrow_downward -3%
MAP
0.530 arrow_forward 0.504 arrow_downward -5%
MRR
0.555 arrow_forward 0.525 arrow_downward -5%
data_usage Созданы синтетические данные
Общий
616
Обучение
448
Проверка
168
Базовая модель для доводки
jinaai/jina-embeddings-v2-base-enСреднее улучшение
arrow_upward 1%
description Инструкция домена
speed Производительность на синтетическом валидационном наборе до и после точной настройки
NDCG
0.646 arrow_forward 0.729 arrow_upward 13%
MAP
0.535 arrow_forward 0.644 arrow_upward 20%
MRR
0.535 arrow_forward 0.644 arrow_upward 20%
speed Производительность на удержанном тестовом наборе до и после точной настройки
check
Протестировано на случайных выборках 50 из mteb/askubuntudupquestions-reranking.
NDCG
0.645 arrow_forward 0.650 arrow_upward 1%
MAP
0.452 arrow_forward 0.462 arrow_upward 2%
MRR
0.606 arrow_forward 0.605 arrow_downward -0%
data_usage Созданы синтетические данные
Общий
616
Обучение
448
Проверка
168
API автоматической точной настройки
Получите точно настроенные эмбеддинги для любого желаемого домена.
globe_book
Используйте
r.jina.ai для чтения URL-адреса и извлечения его содержимого.travel_explore
Используйте
s.jina.ai для поиска в Интернете и получения результатов поискаДобавьте
mcp.jina.ai в качестве сервера MCP для доступа к нашему API в LLM.Формат контента
Return-Format
Вы можете контролировать уровень детализации ответа, чтобы предотвратить чрезмерную фильтрацию. Конвейер по умолчанию оптимизирован для большинства веб-сайтов и входных данных LLM.
По умолчанию
arrow_drop_down
JSON-ответ
Accept
Ответ будет в формате JSON, содержащий URL-адрес, заголовок, контент и временную метку (если имеется). В режиме поиска он возвращает список из пяти записей, каждая из которых соответствует описанной структуре JSON.
Тайм-аут (секунды)
X-Timeout
Максимальное время ожидания загрузки страницы. Увеличивайте его для медленно загружаемых страниц, уменьшайте для простых статических страниц.
Бюджет токенов
X-Token-Budget
Ограничивает максимальное количество токенов, используемых для этого запроса. Превышение этого лимита приведет к сбою запроса.
Использовать jina-ocr-v1
X-Respond-With
Использует jina-ocr-v1 для преобразования изображения в Markdown и обеспечивает высокое качество на страницах и документах со сложной структурой и содержимым. Требует в 40 раз больше токенов!open_in_newУзнать больше
Пагинация
X-Page
Страница для обработки. Фокусируется на указанной странице многостраничного документа и применяется только при обработке документа, такого как PDF.
Извлечь только (селектор CSS)
X-Target-Selector
Извлекайте только контент, соответствующий этим CSS-селекторам. Пример: article, .main-content, #post-body
Ожидание (CSS-селектора)
X-Wait-For-Selector
Подождите, пока эти элементы появятся, прежде чем извлекать контент. Полезно для динамически загружаемого контента.
Исключить (селектор CSS)
X-Remove-Selector
Удалите эти элементы перед извлечением. Например: nav, footer, .sidebar, #ads
Удалить все изображения
X-Retain-Images
Удаляет все изображения из выходных данных. Уменьшает использование токенов, когда изображения не нужны.
Формат цитирования OpenAI
X-Retain-Links
Форматирование ссылок для инструмента веб-браузера OpenAI. Использует специальные маркеры цитирования, совместимые с моделями GPT.open_in_newУзнать больше
Раздел «Краткая информация о ссылках»
X-With-Links-Summary
В конце будет создан раздел «Кнопки и ссылки». Это помогает нижестоящим LLM или веб-агентам перемещаться по странице или предпринимать дальнейшие действия.
Никто
arrow_drop_down
Раздел «Краткое описание изображений»
X-With-Images-Summary
В конце будет создан раздел «Изображения». Это дает последующим специалистам LLM обзор всех визуальных элементов на странице, что может улучшить логику.
Никто
arrow_drop_down
Размер области просмотра браузера
POST
viewport
Задает размеры окна браузера. Влияет на адаптивный дизайн и видимость контента.open_in_newУзнать больше
Переслать cookie
X-Set-Cookie
Наш сервер API может пересылать ваши пользовательские настройки файлов cookie при доступе к URL-адресу, что полезно для страниц, требующих дополнительной аутентификации. Обратите внимание, что запросы с файлами cookie не кэшируются.open_in_newУзнать больше
Подпись к изображению
X-With-Generated-Alt
Подписывает все изображения по указанному URL-адресу, добавляя «Image [idx]: [caption]» в качестве альтернативного тега для тех, у кого его нет. Это позволяет последующим LLM взаимодействовать с изображениями в таких действиях, как рассуждение и подведение итогов.
Используйте прокси-сервер
X-Proxy-Url
Наш сервер API может использовать ваш прокси-сервер для доступа к URL-адресам, что полезно для страниц, доступных только через определенные прокси.open_in_newУзнать больше
Используйте прокси-сервер для конкретной страны
X-Proxy
Установите код страны для прокси-сервера на основе местоположения. Используйте «auto» для оптимального выбора или «none» для отключения.
Обход кэша
X-No-Cache
Наш сервер API кэширует содержимое режима чтения и поиска в течение определенного периода времени. Чтобы обойти этот кеш, установите для этого заголовка значение true.
Допустимое отклонение кэша (в секундах)
X-Cache-Tolerance
Принимать кэшированное содержимое, если оно моложе N секунд. Установите значение 0 для свежего содержимого (аналогично параметру «Обход кэша») или более высокие значения для более быстрой обработки данных из кэша.
Время готовности страницы
X-Respond-Timing
Когда следует считать страницу полностью загруженной? Более поздние значения времени загрузки позволяют подождать дольше, но при этом захватывают более динамичный контент.
По умолчанию
arrow_drop_down
Пользовательский агент
X-User-Agent
Переопределяет строку User-Agent браузера. Полезно для доступа к сайтам, требующим определенных браузеров или блокирующим поисковых роботов.
Пользовательский реферер
X-Referer
Установите заголовок HTTP Referer. Некоторые сайты проверяют его, чтобы убедиться, что трафик поступает из ожидаемых источников.
Сохранение изображений Base64
X-Keep-Img-Data-Url
Сохраняйте изображения, закодированные в base64, непосредственно в выходном файле Markdown, вместо того чтобы преобразовывать их во внешние URL-адреса.
Не кэшировать и не отслеживать
DNT
Предотвратите кэширование или запись этого запроса на наших серверах. Используйте для конфиденциальных URL-адресов.
GitHub Flavored Markdown
X-No-Gfm
Включение/отключение функций GFM (GitHub Flavored Markdown).
Включено
arrow_drop_down
Режим потока
Accept
Режим потока полезен для больших целевых страниц, поскольку дает больше времени для полной визуализации страницы. Если в стандартном режиме контент получается неполным, рассмотрите возможность использования режима Stream.open_in_newУзнать больше
Настроить локаль браузера
X-Locale
Управляйте локалью браузера для отображения страницы. Множество веб-сайтов предоставляют разный контент в зависимости от локали.open_in_newУзнать больше
Уважайте robots.txt
X-Robots-Txt
Перед выполнением запроса проверьте правила в файле robots.txt. Укажите имя бота, которое следует использовать для проверки.
Включить содержимое iframe
X-With-Iframe
Извлекать контент из встроенных iframe. Включить для страниц, контент которых загружается во фреймы.
Включить теневой DOM
X-With-Shadow-Dom
Извлекать контент из компонентов Shadow DOM. Включить эту функцию для страниц, использующих веб-компоненты.
Используйте конечный URL в качестве базового.
X-Base
Для разрешения относительных URL-адресов используйте конечный URL-адрес назначения после перенаправлений, а не исходный URL-адрес.
Локальный файл PDF/HTML
POST
Используйте Reader для локальных файлов PDF и HTML, загрузив их. Поддерживаются только файлы PDF и HTML. Для HTML укажите также референсный URL, чтобы связанные скрипты CSS/JS анализировались корректно.
upload
Перед извлечением выполните JavaScript.
POST
Выполните пользовательский JavaScript для изменения страницы перед извлечением контента. Это может быть встроенный код или URL-адрес файла скрипта.open_in_newУзнать больше
Стиль заголовка
X-Md-Heading-Style
Устанавливает формат заголовка markdown (передается в Turndown).
Хэш-стиль
arrow_drop_down
Стиль горизонтальной линейки
X-Md-Hr
Определяет формат горизонтальной линии разметки (передается в Turndown).
Стиль маркера
X-Md-Bullet-List-Marker
Устанавливает символ маркера маркированного списка (передается в Turndown).
*
arrow_drop_down
Акцентный стиль
X-Md-Em-Delimiter
Определяет разделитель акцента в разметке (передается в Turndown).
_
arrow_drop_down
Стиль сильного выделения
X-Md-Strong-Delimiter
Устанавливает разделитель сильного акцента markdown (передается в Turndown).
**
arrow_drop_down
Стиль ссылки
X-Md-Link-Style
Определяет формат ссылки markdown (передается в Turndown).
Встроенно
arrow_drop_down
Размещение в ЕС
Экспериментальный
При включении инфраструктура и обработка данных для этого запроса находятся в ЕС.
curl "https://r.jina.ai/https://www.example.com"key
API-ключ
visibility_off
Доступные токены
0
code
Могу ли я использовать один и тот же API-ключ для всех API Jina?
keyboard_arrow_down
code
Могу ли я отслеживать использование токена моего ключа API?
keyboard_arrow_down
code
Что мне делать, если я забуду свой ключ API?
keyboard_arrow_down
code
Срок действия ключей API истекает?
keyboard_arrow_down
code
Могу ли я передавать токены между ключами API?
keyboard_arrow_down
code
Могу ли я отозвать свой ключ API?
keyboard_arrow_down
code
Почему первый запрос для некоторых моделей выполняется медленно?
keyboard_arrow_down
code
Используются ли данные из моего API для обучения ваших моделей?
keyboard_arrow_down
code
Каковы ограничения скорости запросов к API Jina?
keyboard_arrow_down
code
Существуют ли ограничения на размер пакета для API?
keyboard_arrow_down
code
Являются ли API Jina тем же самым, что и модели Jina внутри Elastic?
keyboard_arrow_down
Ограничение скорости
Ограничения скорости отслеживаются двумя способами: RPM (запросы в минуту) и TPM (токены в минуту). Ограничения применяются для каждого IP/API-ключа и срабатывают при достижении порогового значения RPM или TPM. Когда вы указываете ключ API в заголовке запроса, мы отслеживаем ограничения скорости по ключу, а не по IP-адресу.
Колонки
arrow_drop_down
| Продукт | Конечная точка API | Описаниеarrow_upward | без API-ключаkey_off | с бесплатным API-ключомkey | с платным API-ключомkey | с премиум-ключом APIkey | Средняя задержка | Подсчет использования токенов | Разрешенный запрос | |
|---|---|---|---|---|---|---|---|---|---|---|
| API Reader | https://r.jina.ai | Преобразовать URL в текст, понятный LLM | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Подсчитывать количество токенов в выходном ответе. | GET/POST | |
| API Reader | https://s.jina.ai | Искать в интернете и преобразовывать результаты в текст, понятный LLM | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Каждый запрос стоит фиксированное количество токенов, начиная с 10 000 токенов. | GET/POST | |
| API реранкера | https://api.jina.ai/v1/rerank | Ранжировать документы по запросу | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart зависит от размера входных данных help | Подсчитывать количество токенов во входном запросе. | POST | |
| API эмбеддингов | https://api.jina.ai/v1/embeddings | Преобразовывать текст/изображения в векторы фиксированной длины | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart зависит от размера входных данных help | Подсчитывать количество токенов во входном запросе. | POST |
Общие вопросы, связанные с выставлением счетов
attach_money
Выставление счетов зависит от количества предложений или запросов?
keyboard_arrow_down
attach_money
Доступна ли бесплатная пробная версия для новых пользователей?
keyboard_arrow_down
attach_money
Взимаются ли токены за неудачные запросы?
keyboard_arrow_down
attach_money
Какие способы оплаты принимаются?
keyboard_arrow_down
attach_money
Доступно ли выставление счетов за покупку токенов?
keyboard_arrow_down
attach_money
Как мне приобрести коммерческую лицензию, а не токены API?
keyboard_arrow_down
attach_money
Могу ли я оплатить счетом-фактурой или заказом на покупку вместо банковской карты?
keyboard_arrow_down
attach_money
Я оплатил, но мой баланс или лимит не изменились. Что мне следует проверить?
keyboard_arrow_down
attach_money
Как отменить, остановить автоматическое пополнение счета или удалить сохраненный способ оплаты?
keyboard_arrow_down