자동 미세 조정
임베딩이 어떤 도메인에서 뛰어나길 원하는지 알려주시면, 해당 도메인에 맞게 미세 조정된 즉시 사용 가능한 임베딩 모델을 자동으로 제공해 드립니다.
자동 미세 조정이란 무엇인가요?
요구 사항을 지정하는 방법에는 일반 설명, URL 또는 쿼리 문서 설명의 세 가지가 있습니다. 하나를 선택해 주세요.
public
또는 웹페이지 URL
미세 조정은 URL의 내용을 참조하세요.
keyboard_arrow_down
notes
또는 일반 지침
미세 조정된 임베딩을 어떻게 사용할 것인지 자세히 설명해 주세요.
keyboard_arrow_down
기본 벡터 모델 선택
미세 조정을 사용하면 사전 학습된 모델을 새로운 데이터 세트로 학습시켜 특정 작업이나 도메인에 맞게 적응시킬 수 있습니다. 하지만 실제로 많은 사용자에게 효과적인 학습 데이터를 찾는 일은 간단하지 않습니다. 효과적인 학습에는 원시 PDF나 HTML을 모델에 그대로 넣는 것 이상이 필요하며, 제대로 해내기가 어렵습니다. 자동 미세 조정은 고급 LLM 에이전트 파이프라인을 사용해 효과적인 학습 데이터를 자동으로 생성하고 ML 워크플로 안에서 모델을 미세 조정함으로써 이 문제를 해결합니다. 합성 데이터 생성과 AutoML을 결합한 것으로 생각하면 됩니다. 즉, 사용자는 자연어로 대상 도메인을 설명하기만 하면 나머지는 저희 시스템이 처리합니다.
자동 미세 조정은 원하는 어떤 도메인에도 미세 조정된 임베딩을 마법처럼 제공하겠다고 약속합니다. 그런데 정말 효과가 있을까요? 충분히 합리적인 의심입니다. 저희는 다양한 도메인과 기본 모델에서 이를 테스트해 보았습니다. 아래에서 잘 나온 사례와 잘 나오지 않은 사례를 모두 확인해 보세요.
미세 조정에 사용할 기본 모델
jinaai/jina-embeddings-v2-base-en평균 개선
arrow_upward 2%
description 도메인 지시어
speed 미세 조정 전후의 합성 검증 세트 성능
NDCG
0.505 arrow_forward 0.532 arrow_upward 5%
MAP
0.352 arrow_forward 0.389 arrow_upward 10%
MRR
0.352 arrow_forward 0.389 arrow_upward 10%
speed 미세 조정 전후 홀드아웃 테스트 세트에서의 성능
check
tollefj/norwegian-nli-triplets의 50 무작위 샘플에서 테스트되었습니다.
NDCG
0.852 arrow_forward 0.867 arrow_upward 2%
MAP
0.800 arrow_forward 0.820 arrow_upward 2%
MRR
0.800 arrow_forward 0.820 arrow_upward 2%
data_usage 합성 데이터 생성
전체
4648
학습
4480
검증
168
미세 조정에 사용할 기본 모델
jinaai/jina-embeddings-v2-base-en평균 개선
arrow_upward 6%
description 도메인 지시어
speed 미세 조정 전후의 합성 검증 세트 성능
NDCG
0.672 arrow_forward 0.755 arrow_upward 12%
MAP
0.567 arrow_forward 0.675 arrow_upward 19%
MRR
0.567 arrow_forward 0.675 arrow_upward 19%
speed 미세 조정 전후 홀드아웃 테스트 세트에서의 성능
check
mteb/askubuntudupquestions-reranking의 50 무작위 샘플에서 테스트되었습니다.
NDCG
0.698 arrow_forward 0.722 arrow_upward 3%
MAP
0.515 arrow_forward 0.549 arrow_upward 6%
MRR
0.666 arrow_forward 0.712 arrow_upward 7%
data_usage 합성 데이터 생성
전체
616
학습
448
검증
168
미세 조정에 사용할 기본 모델
jinaai/jina-embeddings-v2-base-en평균 개선
arrow_upward 9%
description 도메인 지시어
speed 미세 조정 전후의 합성 검증 세트 성능
NDCG
0.727 arrow_forward 0.861 arrow_upward 18%
MAP
0.640 arrow_forward 0.814 arrow_upward 27%
MRR
0.640 arrow_forward 0.814 arrow_upward 27%
speed 미세 조정 전후 홀드아웃 테스트 세트에서의 성능
check
mteb/scidocs-reranking의 50 무작위 샘플에서 테스트되었습니다.
NDCG
0.773 arrow_forward 0.822 arrow_upward 6%
MAP
0.575 arrow_forward 0.651 arrow_upward 13%
MRR
0.823 arrow_forward 0.884 arrow_upward 7%
data_usage 합성 데이터 생성
전체
616
학습
448
검증
168
미세 조정에 사용할 기본 모델
jinaai/jina-embeddings-v2-base-zh평균 개선
arrow_upward 1%
description 도메인 지시어
speed 미세 조정 전후의 합성 검증 세트 성능
NDCG
0.718 arrow_forward 0.785 arrow_upward 9%
MAP
0.629 arrow_forward 0.717 arrow_upward 14%
MRR
0.629 arrow_forward 0.717 arrow_upward 14%
speed 미세 조정 전후 홀드아웃 테스트 세트에서의 성능
check
C-MTEB/CMedQAv2-reranking의 50 무작위 샘플에서 테스트되었습니다.
NDCG
0.938 arrow_forward 0.948 arrow_upward 1%
MAP
0.912 arrow_forward 0.926 arrow_upward 2%
MRR
0.920 arrow_forward 0.933 arrow_upward 1%
data_usage 합성 데이터 생성
전체
616
학습
448
검증
168
미세 조정에 사용할 기본 모델
jinaai/jina-embeddings-v2-base-en평균 개선
arrow_upward 6%
description 도메인 지시어
speed 미세 조정 전후의 합성 검증 세트 성능
NDCG
0.543 arrow_forward 0.579 arrow_upward 7%
MAP
0.402 arrow_forward 0.452 arrow_upward 12%
MRR
0.402 arrow_forward 0.452 arrow_upward 12%
speed 미세 조정 전후 홀드아웃 테스트 세트에서의 성능
check
nc33/triplet_sbert_law2 (machine-translated to dutch)의 50 무작위 샘플에서 테스트되었습니다.
NDCG
0.904 arrow_forward 0.948 arrow_upward 5%
MAP
0.870 arrow_forward 0.930 arrow_upward 7%
MRR
0.870 arrow_forward 0.930 arrow_upward 7%
data_usage 합성 데이터 생성
전체
9128
학습
8960
검증
168
미세 조정에 사용할 기본 모델
jinaai/jina-embeddings-v2-base-code평균 개선
arrow_downward -4%
description 도메인 지시어
speed 미세 조정 전후의 합성 검증 세트 성능
NDCG
0.671 arrow_forward 0.640 arrow_downward -5%
MAP
0.569 arrow_forward 0.525 arrow_downward -8%
MRR
0.569 arrow_forward 0.525 arrow_downward -8%
speed 미세 조정 전후 홀드아웃 테스트 세트에서의 성능
check
mteb/stackoverflowdupquestions-reranking의 50 무작위 샘플에서 테스트되었습니다.
NDCG
0.640 arrow_forward 0.621 arrow_downward -3%
MAP
0.530 arrow_forward 0.505 arrow_downward -5%
MRR
0.555 arrow_forward 0.532 arrow_downward -4%
data_usage 합성 데이터 생성
전체
616
학습
448
검증
168
미세 조정에 사용할 기본 모델
jinaai/jina-embeddings-v2-base-code평균 개선
arrow_downward -4%
description 도메인 지시어
speed 미세 조정 전후의 합성 검증 세트 성능
NDCG
0.632 arrow_forward 0.711 arrow_upward 13%
MAP
0.517 arrow_forward 0.622 arrow_upward 20%
MRR
0.517 arrow_forward 0.622 arrow_upward 20%
speed 미세 조정 전후 홀드아웃 테스트 세트에서의 성능
check
mteb/stackoverflowdupquestions-reranking의 50 무작위 샘플에서 테스트되었습니다.
NDCG
0.640 arrow_forward 0.619 arrow_downward -3%
MAP
0.530 arrow_forward 0.504 arrow_downward -5%
MRR
0.555 arrow_forward 0.525 arrow_downward -5%
data_usage 합성 데이터 생성
전체
616
학습
448
검증
168
미세 조정에 사용할 기본 모델
jinaai/jina-embeddings-v2-base-en평균 개선
arrow_upward 1%
description 도메인 지시어
speed 미세 조정 전후의 합성 검증 세트 성능
NDCG
0.646 arrow_forward 0.729 arrow_upward 13%
MAP
0.535 arrow_forward 0.644 arrow_upward 20%
MRR
0.535 arrow_forward 0.644 arrow_upward 20%
speed 미세 조정 전후 홀드아웃 테스트 세트에서의 성능
check
mteb/askubuntudupquestions-reranking의 50 무작위 샘플에서 테스트되었습니다.
NDCG
0.645 arrow_forward 0.650 arrow_upward 1%
MAP
0.452 arrow_forward 0.462 arrow_upward 2%
MRR
0.606 arrow_forward 0.605 arrow_downward -0%
data_usage 합성 데이터 생성
전체
616
학습
448
검증
168
자동 미세 조정 API
원하는 모든 도메인에 대해 미세 조정된 벡터 모델을 얻으세요.
globe_book
r.jina.ai를 사용하여 URL을 읽고 해당 내용을 가져옵니다.travel_explore
s.jina.ai로 웹을 검색하고 SERP를 얻으세요LLM에서 당사 API를 사용할 수 있도록
mcp.jina.ai를 MCP 서버로 추가하세요콘텐츠 형식
Return-Format
과도한 필터링을 방지하기 위해 응답의 세부 정보 수준을 제어할 수 있습니다. 기본 파이프라인은 대부분의 사이트와 대규모 모델 입력에 맞게 최적화되어 있습니다.
기본
arrow_drop_down
JSON 응답
Accept
응답은 JSON 형식이며 URL, 제목, 콘텐츠, 타임스탬프(사용 가능한 경우)를 포함합니다. 검색 모드에서는 각각 위에서 설명한 JSON 구조를 따르는 5개 항목의 목록을 반환합니다.
타임아웃(초)
X-Timeout
페이지 로딩 최대 대기 시간입니다. 페이지 로딩 속도가 느린 경우 이 값을 늘리고, 단순하고 정적인 페이지의 경우 이 값을 줄이세요.
토큰예산
X-Token-Budget
이 요청에 사용되는 최대 토큰 수를 제한합니다. 이 제한을 초과하면 요청이 실패하게 됩니다.
jina-ocr-v1 사용
X-Respond-With
jina-ocr-v1을 사용하여 이미지를 Markdown으로 변환하며, 구조와 콘텐츠가 복잡한 웹사이트 및 문서에서 고품질 결과를 제공합니다. 토큰 사용량이 40배입니다!open_in_new자세히 알아보기
페이지네이션
X-Page
처리할 페이지입니다. 여러 페이지로 된 문서에서 지정된 페이지에 초점을 맞춥니다. PDF와 같은 문서를 처리할 때에만 적용됩니다.
지정 영역만 추출 (CSS 선택자)
X-Target-Selector
다음 CSS 선택자와 일치하는 콘텐츠만 추출하세요. 예: article, .main-content, #post-body
대기 대상 (CSS 선택자)
X-Wait-For-Selector
이러한 요소들이 나타난 후에만 콘텐츠를 추출하세요. 이는 동적으로 로드되는 콘텐츠에 매우 유용합니다.
제외 (CSS 선택자)
X-Remove-Selector
추출 전에 이러한 요소를 제거합니다. 예: nav, footer, .sidebar, #ads
모든 이미지 제거
X-Retain-Images
출력에서 모든 이미지를 제거합니다. 이렇게 하면 이미지가 필요하지 않을 때 토큰 사용량을 줄일 수 있습니다.
OpenAI 인용 형식
X-Retain-Links
OpenAI 웹 브라우징 도구에 맞는 링크 형식을 지정하세요. GPT 모델과 호환되는 특수 참조 태그를 사용하세요.open_in_new자세히 알아보기
링크 요약 섹션
X-With-Links-Summary
마지막으로 "버튼 및 링크" 섹션이 생성됩니다. 이는 다운스트림의 대규모 모델이나 웹 에이전트가 페이지를 탐색하거나 추가 작업을 수행하는 데 도움이 될 수 있습니다.
없음
arrow_drop_down
이미지 요약 섹션
X-With-Images-Summary
마지막으로 "그림" 섹션이 생성됩니다. 이를 통해 다운스트림의 대규모 모델이 페이지의 모든 시각적 요소를 살펴볼 수 있어 추론 능력이 향상됩니다.
없음
arrow_drop_down
쿠키 전달
X-Set-Cookie
당사의 API 서버는 URL에 액세스할 때 사용자 정의 쿠키 설정을 전달할 수 있으며 이는 추가 인증이 필요한 페이지에 유용합니다. 쿠키가 포함된 요청은 캐시되지 않습니다.open_in_new자세히 알아보기
이미지 캡션
X-With-Generated-Alt
지정된 URL에 있는 모든 이미지에 캡션을 추가하고, alt 태그가 없는 이미지에 'Image [idx]: [caption]'을 alt 태그로 추가합니다. 이를 통해 다운스트림 LLM이 추론 및 요약과 같은 작업에서 이미지와 상호작용할 수 있습니다.
프록시 서버 사용
X-Proxy-Url
당사의 API 서버는 귀하의 프록시를 활용하여 URL에 액세스할 수 있는데, 이는 특정 프록시를 통해서만 액세스할 수 있는 페이지에 유용합니다.open_in_new자세히 알아보기
국가별 프록시 서버를 사용하세요
X-Proxy
위치 기반 프록시 서버의 국가 코드를 설정합니다. 최적 선택은 'auto', 비활성화는 'none'을 사용하세요.
캐싱 우회
X-No-Cache
저희 API는 일정 시간 동안 URL 콘텐츠를 캐시합니다. 캐시된 결과를 무시하고 URL에서 직접 콘텐츠를 가져오려면 true로 설정하세요.
캐시 허용 시간(초)
X-Cache-Tolerance
캐시된 콘텐츠가 N초 이내에 게시된 경우 캐시된 콘텐츠가 허용됩니다. 값을 0으로 설정하면 최신 콘텐츠를 허용하는 것(캐시를 무시하는 것과 동일)이며, 더 높은 값으로 설정하면 캐시에서 더 빠른 응답을 가져올 수 있습니다.
페이지 준비 시간
X-Respond-Timing
페이지가 완전히 로드된 것으로 간주되는 시점은 언제인가요? 후자의 타이밍 측정 방식은 시간이 더 오래 걸리지만 더 많은 동적 콘텐츠를 포착합니다.
기본
arrow_drop_down
사용자 지정 사용자 에이전트
X-User-Agent
브라우저 사용자 에이전트 문자열을 재정의합니다. 특정 브라우저를 필요로 하거나 웹 크롤러를 차단하는 웹사이트에 접속할 때 매우 유용합니다.
사용자 지정 Referer
X-Referer
HTTP Referer 헤더를 설정하세요. 일부 웹사이트는 트래픽이 예상한 출처에서 왔는지 확인하기 위해 이 헤더를 확인합니다.
Base64 이미지 저장
X-Keep-Img-Data-Url
인라인으로 삽입된 base64 인코딩 이미지를 외부 URL로 변환하는 대신, 마크다운 출력에 그대로 유지하세요.
캐시 또는 추적을 하지 마세요.
DNT
이 요청이 당사 서버에 캐시되거나 기록되지 않도록 합니다. 민감한 URL에 사용하세요.
GitHub 스타일 마크다운
X-No-Gfm
GFM(GitHub Flavored Markdown) 기능을 옵트인/아웃합니다.
활성화됨
arrow_drop_down
스트리밍 모드
Accept
스트림 모드는 대상 페이지가 클 때 유용하며, 페이지가 완전히 렌더링될 때까지 더 오래 기다립니다. 표준 모드에서 콘텐츠가 불완전하다면 스트림 모드 사용을 고려해 보세요.open_in_new자세히 알아보기
브라우저 로케일 사용자 지정
X-Locale
페이지 렌더링을 위한 브라우저 로캘 설정을 제어합니다. 많은 웹사이트는 로캘 설정에 따라 다양한 콘텐츠를 제공합니다.open_in_new자세히 알아보기
robots.txt 준수
X-Robots-Txt
콘텐츠를 가져오기 전에 robots.txt 규칙을 확인합니다. 확인에 사용할 봇 이름을 지정하세요.
iframe 콘텐츠 포함
X-With-Iframe
내장된 iframe에서 콘텐츠를 추출합니다. iframe 안에 콘텐츠가 로드되는 페이지에서 활성화하세요.
Shadow DOM 포함
X-With-Shadow-Dom
Shadow DOM 컴포넌트에서 콘텐츠를 추출합니다. 웹 컴포넌트를 사용하는 페이지에서 활성화하세요.
최종 URL을 기준으로 삼으세요.
X-Base
상대 URL을 해석할 때는 원래 URL이 아닌 리디렉션 후 최종 대상 URL을 사용하세요.
로컬 PDF/HTML 파일
POST
로컬 PDF 및 HTML 파일을 업로드하여 Reader로 읽을 수 있습니다. pdf와 html 파일만 지원됩니다. HTML의 경우 관련 CSS/JS 스크립트를 더 잘 파싱할 수 있도록 참조 URL도 함께 지정해 주세요.
upload
추출 전에 JavaScript를 실행하세요
POST
콘텐츠를 추출하기 전에 사용자 지정 JavaScript 코드를 실행하여 페이지를 수정하세요. 이 코드는 인라인 코드이거나 스크립트 파일을 가리키는 URL일 수 있습니다.open_in_new자세히 알아보기
제목 스타일
X-Md-Heading-Style
마크다운 제목 형식을 설정합니다(Turndown에 전달됨).
해시 스타일
arrow_drop_down
수평선 스타일
X-Md-Hr
마크다운 수평선 형식을 정의합니다(Turndown에 전달됨).
글머리 기호 스타일
X-Md-Bullet-List-Marker
글머리 기호 목록 표시 문자를 설정합니다(Turndown에 전달됨).
*
arrow_drop_down
강조 스타일
X-Md-Em-Delimiter
마크다운 강조 구분 기호를 정의합니다(Turndown에 전달됨).
_
arrow_drop_down
강한 강조 스타일
X-Md-Strong-Delimiter
마크다운 강한 강조 구분 기호를 설정합니다(Turndown에 전달됨).
**
arrow_drop_down
링크 스타일
X-Md-Link-Style
마크다운 링크 형식을 결정합니다(Turndown에 전달됨).
인라인
arrow_drop_down
EU 데이터 소재지
실험적
활성화하면 이 요청의 인프라와 데이터 처리가 EU 내에 위치합니다.
curl "https://r.jina.ai/https://www.example.com"key
API 키
visibility_off
사용 가능한 토큰
0
code
Jina의 모든 API에서 동일한 API 키를 사용할 수 있나요?
keyboard_arrow_down
code
API 키의 토큰 사용량을 볼 수 있나요?
keyboard_arrow_down
code
API 키를 잊어버린 경우 어떻게 해야 합니까?
keyboard_arrow_down
code
API 키가 만료되나요?
keyboard_arrow_down
code
API 키 간에 토큰 잔액을 전송할 수 있나요?
keyboard_arrow_down
code
내 API 키를 파기할 수 있나요?
keyboard_arrow_down
code
일부 모델을 처음 요청할 때 속도가 느린 이유는 무엇입니까?
keyboard_arrow_down
code
제 API 데이터가 모델 학습에 사용되나요?
keyboard_arrow_down
code
Jina API의 사용량 제한은 얼마인가요?
keyboard_arrow_down
code
API에 배치 크기 제한이 있나요?
keyboard_arrow_down
code
Jina API는 Elasticsearch의 Jina 모델과 동일한가요?
keyboard_arrow_down
속도 제한
속도 제한은 두 가지 방식으로 추적됩니다. RPM(분당 요청 수)과 TPM(분당 토큰 수)입니다. 제한은 IP/API 키별로 적용되며 RPM 또는 TPM 임계값 중 먼저 도달하는 쪽에서 트리거됩니다. 요청 헤더에 API 키를 제공하면 IP 주소 대신 키별로 속도 제한을 추적합니다.
열
arrow_drop_down
| 제품 | API 엔드포인트 | 설명arrow_upward | API 키 없음key_off | 무료 API 키 사용 시key | 유료 API 키 사용 시key | 프리미엄 API 키 사용 시key | 평균 지연 | 토큰 사용량 계산 | 허용 요청 | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | URL을 LLM 친화적인 텍스트로 변환 | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 출력 응답의 토큰 수를 기준으로 합니다. | GET/POST | |
| Reader API | https://s.jina.ai | 웹 검색 후 결과를 LLM 친화적인 텍스트로 변환 | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 각 요청에는 10,000개의 토큰으로 시작하는 고정된 수의 토큰이 필요합니다. | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | 쿼리 기준으로 문서 순위 매기기 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 입력 크기에 따라 다름 help | 입력 요청의 토큰 수를 기준으로 합니다. | POST | |
| 벡터 모델 API | https://api.jina.ai/v1/embeddings | 텍스트/이미지를 고정 길이 벡터로 변환 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 입력 크기에 따라 다름 help | 입력 요청의 토큰 수를 기준으로 합니다. | POST |
청구 관련 자주 묻는 질문
attach_money
API 요금은 문장 수나 요청 수에 따라 청구되나요?
keyboard_arrow_down
attach_money
신규 사용자가 무료 평가판을 받을 수 있나요?
keyboard_arrow_down
attach_money
실패한 요청에 대해 토큰이 차감되나요?
keyboard_arrow_down
attach_money
어떤 결제 방법이 허용되나요?
keyboard_arrow_down
attach_money
토큰 구매 시 송장을 발행받을 수 있나요?
keyboard_arrow_down
attach_money
API 토큰 대신 상업용 라이선스를 구매하려면 어떻게 해야 하나요?
keyboard_arrow_down
attach_money
신용카드 대신 송장이나 구매 주문서로 결제할 수 있나요?
keyboard_arrow_down
attach_money
결제는 완료했는데 잔액이나 사용 한도가 변경되지 않았습니다. 무엇을 확인해야 할까요?
keyboard_arrow_down
attach_money
자동 충전을 취소하거나, 자동 충전 기능을 끄거나, 저장된 결제 수단을 삭제하려면 어떻게 해야 하나요?
keyboard_arrow_down