jina-embeddings-v2-base-en

jina-embeddings-v2-base-en는 137M 파라미터 영어 텍스트 임베딩 모델로, 8,192토큰 컨텍스트 윈도우를 갖추었습니다 — 당시 표준 512토큰 한도의 16배입니다. 대칭 양방향 ALiBi(Attention with Linear Biases)를 갖춘 BERT-small 백본 위에 구축되어, 절단이나 청킹 없이 긴 문서를 네이티브로 처리한 최초의 오픈소스 Jina 임베딩입니다. 768차원 벡터를 생성하며, v3/v5의 다국어 또는 긴 컨텍스트 기능이 필요 없는 영어 전용 검색에서 여전히 탄탄한 선택지입니다.

아키텍처는 BERT-small 트랜스퍼머(12층, 12개 어텐션 헤드, 768차원 숨김)와 대칭 양방향 ALiBi 위치 인코딩을 조합합니다. ALiBi는 학습된 위치 임베딩을 선형적으로 감소하는 어텐션 편향으로 대체해, 모델이 512토큰 훈련 길이를 크게 벗어나 8,192토큰까지 성능 저하 없이 외삽할 수 있게 합니다. 학습은 2단계 파이프라인을 따랐습니다: C4에서의 사전학습, 이후 어려운 음의(negative) 마이닝을 포함한 Jina가 큐레이션한 40개 이상의 전문 문장 쌍 데이터셋에서 정밀조정. 대칭 양방향 어텐션은 각 토큰이 이전과 이후 컨텍스트 모두에 주목해 문장의 전체 의미를 포착하는 표현을 생성하도록 보장합니다. 모든 토큰 표현에 대한 평균 풀링이 최종 768차원 임베딩을 생성합니다.

출시 시, 모델은 OpenAI의 text-embedding-ada-002를 여러 MTEB 영어 서브태스크에서 능가했습니다: 분류(73.45% vs 70.93%), 리랭킹(85.38% vs 84.89%), 검색(56.98% vs 56.32%), 요약(31.6% vs 30.8%). 8,192토큰 컨텍스트는 512–2,048토큰에 제한된 경쟁 모델에 대한 상당한 우위가 되어, 청킹 없이 문서 수준의 검색을 가능하게 했습니다. 컴팩트한 307MB 풋프린트는 컨슈머 등급 GPU에서도 배포 가능하게 했습니다. 2026년에 jina-embeddings-v5-text-small(677M 파라미터, 32K 컨텍스트, 작업별 LoRA 어댑터)은 대부분의 프로덕션 워크로드에서 이를 능가하지만, 경량 영어 전용 파이프라인에서는 여전히 관련성이 있습니다.

8K 컨텍스트 윈도우가 충분하고 다국어 또는 작업별 어댑터가 필요 없는 영어 전용 검색에 이 모델을 사용하세요. 8,192토큰을 초과하는 문서에는 임베딩 전에 시맨틱 청킹을 적용하세요. 모델은 주요 벡터 데이터베이스(Qdrant, Weaviate, MongoDB Atlas, Milvus) 및 RAG 프레임워크(LangChain, LlamaIndex, Haystack)와 통합됩니다. 다국어 지원, 32K 컨텍스트 또는 작업별 최적화가 필요한 새 프로젝트에는 jina-embeddings-v5-text-small을 권장합니다. 프로덕션 처리량을 위해 CUDA 지원 GPU를 권장합니다. CPU 추론도 가능하지만 현저히 느립니다.