I/O 다이어그램

텍스트

jina-embeddings-v5-text-small

작업

벡터

파레토 프론트
30M100M300M1B3.0B10B204060all-MiniLM-L6-v2e5-base-v2e5-mistral-7b-instructEmbeddingGemma-300MEVA-CLIP ViT-B/16gtr-t5-largegtr-t5-xlgtr-t5-xxljina-clip-v1jina-clip-v2jina-embedding-b-en-v1jina-embedding-l-en-v1jina-embedding-s-en-v1jina-embeddings-v2-base…jina-embeddings-v2-smal…jina-embeddings-v3jina-embeddings-v4jina-embeddings-v5-text…KaLM-mini-v2.5LongCLIP ViT-B/16multilingual-e5-large-i…nllb-siglip-largeOpenAI CLIP ViT-B/16Qwen3-Embedding-0.6BQwen3-Embedding-4Bsentence-t5-basesentence-t5-largesentence-t5-xlsentence-t5-xxlsnowflake-arctic-embed-…jina-embeddings-v5-text…파라미터 수(로그)nDCG@10
이 모델
프론트에 있음
Jina AI
기타
MTEB English · retrieval
60.07
파라미터
596M
점수 순위
3 / 39
파레토 프론트
프론트 아래
값 분포
AUC 0.8269
코퍼스
번역 쌍
문서 검색
코드
이미지 / 배너
이미지 / 로고
작업
classification
clustering
retrieval.passage
retrieval.query
retrieval.query → retrieval.passage
text-matching
0.8080.400.500.600.700.800.90
관련10.9%
하드 네거티브2.1%
무관0.9%
권장 컷오프
FPR 0.1 · 0.717
FPR 0.01 · 0.808
FPR 0.001 · 0.860
FPR 0.0001 · 0.878
균형 · 0.697
AUC
0.8269
노이즈 상한
0.855
재현율 절벽
0.566
측정 쌍 수
119 / 11k
벡터 성분
-0.160.010.18
σ 0.0313 · 244k 개 값
임베딩 기하 구조
01024
차원별 평균, 마우스를 올리면 범위 표시
노이즈 하한
0.300
유효 차원
70 / 1024
차원 절단
32641282565121024
text-matching · 요청 차원 수에 따른 컷오프
언어 쌍
de-rude-zhen-deen-jaen-koen-ruen-zhja-ko
쌍 간 컷오프 편차: 0.024
비교할 모델을 선택하세요
논문 (1)

개요

jina-embeddings-v5-text-small은 Qwen3-0.6B-Base 백본 위에 구축된 677M 파라미터의 다국어 텍스트 임베딩 모델입니다. 32K 토큰 컨텍스트를 지원하고, Matryoshka 절단으로 32차원까지 줄일 수 있는 1024차원 임베딩을 생성하며, 1B 파라미터 미만 모든 모델 중 최고의 MTEB 평균을 달성합니다. Jina API의 기본 임베딩 모델이며, 프로덕션 RAG 파이프라인에서 가장 먼저 권장하는 모델입니다.

방법

모델은 119개 언어로 사전 학습된 다국어 언어 모델 Qwen3-0.6B-Base 위에 구축됩니다. Last-Token-Pooling을 사용해 임베딩을 생성합니다. 학습은 두 단계로 진행됩니다: (1) Qwen3-Embedding-4B(4B 파라미터 티처)에서 임베딩을 증류해 고품질 임베딩 표현을 677M 스튜던트로 전이합니다; (2) 태스크별 대비 손실로 검색, 텍스트 매칭, 클러스터링, 분류 태스크에서 모델을 미세 조정합니다. Geometric Orthogonal Regularization(GOR)은 2진 양자화에서도 성능 손실을 최소화하며 임베딩의 견고함을 유지합니다. Matryoshka Representation Learning은 256차원 이상에서 강한 검색 품질을 유지하면서 차원을 1024에서 32까지 줄일 수 있습니다. 32K 컨텍스트 윈도우는 기본 주파수를 튜닝한 회전 위치 임베딩으로 구현되며, 모델은 견고한 장문서 검색을 위해 긴 컨텍스트 데이터로 추가 학습되었습니다.

성능

MMTEB(다국어)에서, 모델은 태스크 레벨 평균 67.0, 타입 레벨 평균 58.9를 달성하여 1B 파라미터 미만 모든 모델 중 최고입니다. 태스크 레벨 점수: 분류 71.3, 클러스터링 53.4, 페어 분류 82.9, 리랭킹 65.7, 검색 64.9, STS 78.9. 영어 MTEB에서는 평균 71.7을 달성하여, 명령어 포함 Qwen3-0.6B(70.5)와 jina-embeddings-v3(65.7)를 능가합니다. 검색 특화: MTEB-M 64.88, RTEB 66.84, BEIR 56.67, LongEmbed 66.39. 주목할 점은, 이 모델이 페어 분류에서 4B 티처 Qwen3-Embedding-4B(MMTEB 42.0 대 26.8)를 6배 작은 크기로 능가한다는 것입니다 — 증류와 태스크별 대비 훈련을 결합하면 특정 태스크에서 티처 성능을 초과할 수 있음을 보여줍니다.

모범 사례

적절한 LoRA 어댑터를 선택하세요: 비대칭 쿼리-문서 검색에는 ‘retrieval’(쿼리 앞에 ‘Query:’, 패시지 앞에 ‘Document:’를 붙입니다), 대칭 유사도에는 ‘text-matching’(양쪽 입력에 ‘Document:’ 접두사 사용), 관련 문서 그룹화에는 ‘clustering’, 범주화와 감정 분석에는 ‘classification’. Matryoshka 절단으로 256–512차원까지 줄이면 스토리지가 제한된 인덱싱에 적합하며, 리랭킹에는 전체 1024차원을 사용하세요. 2진 양자화는 성능 손실을 최소화하며 지원됩니다. 32K 컨텍스트 윈도우는 청킹 없이 장문서를 네이티브로 처리합니다. 임베딩 비교에는 코사인 유사도를 사용하세요. Jina AI API, Hugging Face(Sentence Transformers, vLLM), llama.cpp용 양자화 변형으로 사용할 수 있습니다. 멀티모달 워크로드에는 대신 jina-embeddings-v5-omni-small을 사용하세요.

이 모델을 언급하는 블로그