jina-embeddings-v5-text-small

jina-embeddings-v5-text-small은 Qwen3-0.6B-Base 백본을 기반으로 구축된 0.6B 파라미터의 다국어 텍스트 임베딩 모델입니다. last-token 풀링을 통해 1024차원 임베딩을 생성하며, 기본 주파수를 조정한 회전 위치 임베딩(RoPE)을 통해 최대 32K 토큰의 컨텍스트 길이를 지원합니다. 검색, 의미 유사도, 클러스터링, 분류를 위한 네 가지 작업별 LoRA 어댑터를 포함하며, 각 어댑터는 고정된 백본 가중치 위에서 독립적으로 학습됩니다. Matryoshka 표현 학습을 통해 임베딩을 최소 32차원까지 잘라낼 수 있습니다. 이 모델은 2단계 과정으로 학습됩니다. 먼저 Qwen3-Embedding-4B로부터 임베딩 증류를 수행하여 더 큰 교사 모델의 지식을 전이하고, 이어서 각 작업 범주에 특화된 손실 함수를 사용해 작업별 어댑터를 학습합니다. 'Query:'와 'Document:' 접두사를 사용한 비대칭 검색을 지원합니다.

학습은 두 단계로 진행됩니다. 첫 번째 단계에서는 투영된 학생 임베딩과 교사 임베딩 간의 코사인 거리 손실을 사용하여 Qwen3-Embedding-4B(4B 파라미터 교사 모델)에서 Qwen3-0.6B-Base 학생 모델로 지식을 전이하는 임베딩 증류를 수행합니다. 선형 투영 레이어가 학생의 1024차원 공간을 교사의 고차원 공간으로 매핑합니다. 범용 증류는 30개 이상의 언어로 된 300개 이상의 데이터셋을 사용하여 50,000 스텝 동안 수행되며, 이어서 RoPE 파라미터를 조정한 상태에서 합성 및 실제 장문 문서(1,000~4,096 토큰)에 대한 롱 컨텍스트 학습이 이루어집니다. 두 번째 단계에서는 고정된 백본 가중치 위에서 네 개의 LoRA 어댑터를 학습합니다. 검색 어댑터는 하드 네거티브를 사용하는 InfoNCE 대조 손실, 지속 증류 손실, 그리고 양자화 견고성을 위한 전역 직교 정규화기(GOR)를 결합합니다. 텍스트 매칭 어댑터는 등급화된 유사도를 위해 CoSENT 랭킹 손실을 사용하고 점수가 없는 쌍에 대해서는 증류를 적용합니다. 클러스터링 어댑터는 클러스터링 전용 교사 지시문을 사용한 재증류를 적용합니다. 분류 어댑터는 관계형 지식 증류 정규화와 함께 양방향 InfoNCE 손실을 사용합니다. 최종 검색 어댑터 가중치는 여러 체크포인트에 걸쳐 평균화됩니다.

MMTEB(다국어)에서 jina-embeddings-v5-text-small은 작업 수준 평균 67.0, 유형 수준 평균 58.9를 달성하여 1B 미만 매개변수 모델 중 가장 높은 점수를 기록했습니다. 분류 71.3, 클러스터링 53.4, 쌍 분류 82.9, 재순위화 65.7, 검색 64.9, STS 78.9를 기록했습니다. 영어 MTEB에서는 평균 71.7을 달성하여 지시문을 사용한 Qwen3-0.6B(70.5)와 jina-embeddings-v3(65.7)를 능가했습니다. 검색 특화 벤치마크에서는 MTEB-M 검색 64.88, RTEB 66.84, BEIR 56.67, LongEmbed 66.39를 기록했습니다. 이 모델은 크기가 6배 작음에도 불구하고 쌍 분류에서 교사 모델인 Qwen3-4B를 능가했으며(MMTEB에서 42.0 대 26.8), 다른 모든 범주에서도 경쟁력 있는 점수를 유지했습니다.

작업에 따라 적절한 LoRA 어댑터를 선택하십시오. 비대칭 쿼리-문서 검색에는 'retrieval' 어댑터를 사용하고(쿼리 앞에 'Query:', 단락 앞에 'Document:' 추가), 중복 탐지 및 패러프레이즈 인식과 같은 대칭 유사성 작업에는 'text-matching' 어댑터를 사용합니다(두 입력 모두 'Document:' 접두사 추가). 관련 문서를 그룹화하는 데는 'clustering' 어댑터를, 분류 및 감정 분석에는 'classification' 어댑터를 사용합니다. 검색 작업의 경우, 모델이 비대칭 인코딩을 사용하여 학습되었으므로 올바른 접두사를 사용해야 합니다. 마트료시카 절단(Matryoshka truncation)을 통해 임베딩 차원을 1024에서 32까지 줄일 수 있습니다. 256차원 이상에서는 성능이 양호하게 유지되지만, 이 임계값 이하에서는 Johnson-Lindenstrauss 한계와 일치하게 성능이 눈에 띄게 저하됩니다. GOR 정규화 덕분에 이진 양자화도 성능 손실을 최소화하면서 지원됩니다. 32K 컨텍스트 윈도우는 긴 문서를 기본적으로 처리하지만, 모델은 긴 문서 검색의 안정성을 높이기 위해 긴 컨텍스트 데이터로 추가 학습되었습니다. 임베딩 비교에는 코사인 유사도를 사용하십시오. 이 모델은 Jina AI API, Hugging Face(Sentence Transformers 및 vLLM 통합), 그리고 llama.cpp용 양자화 버전을 통해 이용할 수 있습니다.