jina-embeddings-v5-text-small

jina-embeddings-v5-text-small는 Qwen3-0.6B-Base 백본 위에 구축된 677M 파라미터의 다국어 텍스트 임베딩 모델입니다. 32K 토큰 컨텍스트를 지원하고, Matryoshka 절단을 32차원까지 수행할 수 있는 1024차원 임베딩을 생성하며, 1B 파라미터 미만 모든 모델 중 최고의 MTEB 평균을 달성합니다. Jina API의 기본 임베딩 모델이며, 프로덕션 RAG 파이프라인의 첫 번째 추천입니다.

모델은 119개 언어로 사전 학습된 다국어 언어 모델 Qwen3-0.6B-Base 위에 구축됩니다. Last-Token-Pooling을 사용해 임베딩을 생성합니다. 훈련은 두 단계 체제를 따릅니다: (1) Qwen3-Embedding-4B(4B 파라미터 티처)에서 임베딩 증류로, 고 품질 임베딩 표현이 677M 학생 모델로 전이됩니다; (2) 태스크별 대비 손실로 모델이 검색, 텍스트 매칭, 클러스터링, 분류 태스크에서 파인튜닝됩니다. Geometric Orthogonal Regularization(GOR)은 2진 양자화 하에서도 성능 손실을 최소화하며 임베딩이 견고함을 유지하게 보장합니다. Matryoshka Representation Learning은 256차원 이상에서 강력한 검색 품질을 유지하면서 차원을 1024에서 32까지 절단합니다. 32K 컨텍스트 윈도우는 튜닝된 기본 주파수의 회전 위치 임베딩으로 구현되며, 모델은 또한 견고한 장문서 검색을 위해 장문맥 데이터로 추가 학습되었습니다.

MMTEB(다국어)에서, 모델은 태스크 레벨 평균 67.0, 타입 레벨 평균 58.9를 달성하여 1B 파라미터 미만 모든 모델 중 최고입니다. 태스크 레벨 점수: 분류 71.3, 클러스터링 53.4, 페어 분류 82.9, 리랭킹 65.7, 검색 64.9, STS 78.9. 영어 MTEB에서는 평균 71.7을 달성하여, 명령어 포함 Qwen3-0.6B(70.5)와 jina-embeddings-v3(65.7)를 능가합니다. 검색 특화: MTEB-M 64.88, RTEB 66.84, BEIR 56.67, LongEmbed 66.39. 주목할 점은, 이 모델이 페어 분류에서 4B 티처 Qwen3-Embedding-4B(MMTEB 42.0 대 26.8)를 6배 작은 크기로 능가한다는 것입니다 — 증류와 태스크별 대비 훈련을 결합하면 특정 태스크에서 티처 성능을 초과할 수 있음을 보여줍니다.

적절한 LoRA 어댑터를 선택하세요: 비대칭 쿼리-문서 검색에는 'retrieval'(쿼리에 'Query:', 단락에 'Document:'를 붙여넣기), 대칭 유사도에는 'text-matching'(양쪽 입력에 'Document:' 접두사 사용), 관련 문서 그룹화에는 'clustering', 범주화 및 감정 분석에는 'classification'. Matryoshka 절단을 256–512차원으로 하면 스토리지 제약 인덱싱에 적합하며, 리랭킹에는 전체 1024차원을 사용하세요. 2진 양자화는 최소 성능 손실로 지원됩니다. 32K 컨텍스트 윈도우는 청킹 없이 네이티브로 장문서를 처리합니다. 임베딩 비교에는 코사인 유사도를 사용하세요. Jina AI API, Hugging Face(Sentence Transformers, vLLM), llama.cpp용 양자화 변형으로 사용할 수 있습니다. 멀티모달 워크로드에는 대신 jina-embeddings-v5-omni-small을 사용하세요.