jina-embeddings-v5-text-nano

jina-embeddings-v5-text-nano는 EuroBERT-210M 백본을 기반으로 구축된 2억 3,900만 파라미터의 다국어 텍스트 임베딩 모델입니다. EuroBERT-210M은 15개의 주요 유럽 및 세계 언어로 사전 학습된 양방향 인코더입니다. 이 모델은 last-token 풀링을 통해 768차원 임베딩을 생성하며 최대 32K 토큰의 컨텍스트 길이를 지원합니다. 또한 검색, 의미 유사도, 클러스터링, 분류를 위한 네 가지 작업별 LoRA 어댑터(각각 670만 파라미터)를 포함합니다. Matryoshka 표현 학습을 통해 임베딩을 최소 32차원까지 잘라낼 수 있습니다. Qwen3-Embedding-4B로부터의 임베딩 증류 후 작업별 어댑터 학습을 거쳐 훈련된 이 모델은 크기가 두 배 이상인 모델과 견줄 만한 성능을 달성하므로, 지연 시간에 민감한 환경과 엣지 배포에 적합합니다.

학습은 jina-embeddings-v5-text-small과 동일한 2단계 과정을 따르되 EuroBERT-210M 백본에 적용됩니다. 1단계 임베딩 증류는 학생의 768차원 임베딩을 교사의 공간으로 매핑하는 선형 투영 레이어와 코사인 거리 손실을 사용하여 Qwen3-Embedding-4B로부터 지식을 전이합니다. 학습에는 300개 이상의 데이터셋에서 가져온 다양한 다국어 텍스트 쌍을 사용합니다. 2단계에서는 고정된 백본 가중치 위에서 네 가지 작업별 LoRA 어댑터(각각 670만 파라미터)를 학습합니다. 검색(InfoNCE + 증류 + GOR), 텍스트 매칭(CoSENT + 증류), 클러스터링(작업별 교사 지시문을 사용한 재증류), 분류(양방향 InfoNCE + 관계형 지식 증류)입니다. EuroBERT 백본은 영어, 프랑스어, 독일어, 스페인어, 중국어, 일본어, 아랍어, 힌디어를 포함한 15개 주요 유럽 및 세계 언어에 대한 강력한 다국어 커버리지를 제공합니다.

MMTEB(다국어)에서 jina-embeddings-v5-text-nano는 단 2억 3,900만 매개변수로 작업 수준 평균 65.5, 유형 수준 평균 57.7을 달성하여 KaLM-mini-v2.5(60.1, 4억 9,400만 매개변수), voyage-4-nano(58.9, 4억 8,000만 매개변수), Gemma-300M(61.1, 3억 800만 매개변수)을 포함한 5억 미만 매개변수의 모든 모델을 능가했습니다. 분류 69.2, 클러스터링 52.7, 쌍 분류 81.9, 재순위화 64.6, 검색 63.3, STS 78.2를 기록했습니다. 영어 MTEB에서는 평균 71.0을 달성하여 훨씬 큰 jina-embeddings-v5-text-small(71.7)에 거의 근접했습니다. 검색 벤치마크에서는 MTEB-M 63.26, RTEB 64.08, BEIR 56.06, LongEmbed 63.65를 기록했습니다. 임베딩은 이진 양자화에서도 견고함을 유지하며, GOR 정규화가 MTEB 검색의 성능 저하를 2점 미만으로 제한합니다.

작업에 따라 적절한 LoRA 어댑터를 선택하십시오. 비대칭 쿼리-문서 검색에는 'retrieval' 어댑터(쿼리 앞에 'Query:', 단락 앞에 'Document:' 추가), 대칭 유사도 작업에는 'text-matching' 어댑터(두 입력 모두에 'Document:' 접두사 추가), 관련 문서 그룹화에는 'clustering' 어댑터, 분류 작업에는 'classification' 어댑터를 사용하십시오. 이 나노모델은 지연 시간에 민감하고 리소스가 제한된 환경에 최적화되어 있으며, 크기가 두 배 이상인 모델과 유사한 정확도를 유지합니다. 마트료시카 절단법을 통해 임베딩 차원을 768에서 32까지 줄일 수 있지만, 최상의 결과를 얻으려면 차원을 256 이상으로 유지하십시오. 이진 양자화가 지원됩니다. EuroBERT 백본은 영어, 프랑스어, 독일어, 스페인어, 중국어, 일본어, 아랍어, 힌디어 등 15개 주요 언어에 대한 강력한 지원을 제공합니다. 임베딩 비교는 코사인 유사도를 사용하여 수행됩니다. 이는 Jina AI API, Hugging Face(Sentence Transformers 및 vLLM), 그리고 llama.cpp의 양자화 변형을 통해 얻을 수 있습니다.