Florian Hönicke
우리는 v5-text 벡터 모델을 이미지, 오디오, 비디오로 확장한 jina-embeddings-v5-omni를 출시합니다. 두 모델 모두 v5-text와 동일한 고정 텍스트 백본을 공유하므로, 텍스트 벡터는 동일하게 유지되며 인덱스를 다시 빌드할 필요가 없습니다. jina-embeddings-v5-omni-small은 네 가지 모달리티 전반에서 평균 54.04점을 기록하여 5.7배 적은 매개변수로 LCO-7B(54.43점)와 0.39점 이내의 성능 차이를 보이며, jina-embeddings-v5-omni-nano는 0.95B 매개변수만으로도 경쟁력 있는 문서 검색 성능을 제공합니다.
tag아키텍처
v5-omni는 v5-text 백본을 완전히 고정한 상태로 유지하며, 사전 학습된 비전 및 오디오 인코더를 작은 학습 가능 프로젝터를 통해 연결합니다.
- 비전: 2x2 공간 병합(4x 词元 축소)을 적용한 Qwen3.5 비전 인코더(SigLIP2 기반). 최종 프로젝션 레이어(
fc_vision_2)를 제외한 모든 것을 고정하며, 이를 텍스트 백본의 은닉 차원으로 매핑하는 무작위 초기화 레이어로 대체합니다. - 오디오: Qwen2.5-Omni 인코더(Whisper-large-v3 기반). 단일 무작위 초기화
fc_audio레이어가 1280차원 출력을 텍스트 백본으로 투영합니다. - 비디오: 시각적 프레임의 시퀀스로 처리하며, 필요에 따라 추출된 오디오 세그먼트가 선행될 수 있습니다.
이 모델은 v5-text의 4가지 작업별 LoRA 어댑터(검색, 텍스트 매칭, 분류, 클러스터링)를 상속받으며 각 작업 변형에 대해 별도의 프로젝터 가중치를 학습합니다. 아키텍처는 완전히 모듈화되어 있습니다. 텍스트 전용 배포 시에는 비전이나 오디오 가중치를 로드하지 않으며(v5-text와 동일한 리소스 사용), 이미지 전용일 때는 오디오를 건너뛰고, 전체 옴니 모드에서는 모든 것을 로드합니다.
| 기능 | jina-embeddings-v5-omni-small | jina-embeddings-v5-omni-nano |
|---|---|---|
| 기본 텍스트 모델 | jina-embeddings-v5-text-small (Qwen3-0.6B) | jina-embeddings-v5-text-nano (EuroBERT-210m) |
| 총 매개변수 | ~1.56B | ~1.04B |
| 모달리티 | 텍스트, 이미지, 오디오, 비디오, PDF | 텍스트, 이미지, 오디오, 비디오, PDF |
| 벡터 차원 | 1024 | 768 |
| Matryoshka 차원 | 32, 64, 128, 256, 512, 768, 1024 | 32, 64, 128, 256, 512, 768 |
| 최대 시퀀스 길이 | 32768 词元 | 8192 词元 |
| 비전 인코더 | Qwen3.5-2B ViT (SigLIP2) | SigLIP2 Base |
| 오디오 인코더 | Whisper-large-v3 | Whisper-large-v3 |
| 작업 | 검색, 텍스트 매칭, 분류, 클러스터링 | 검색, 텍스트 매칭, 분류, 클러스터링 |
| 텍스트 호환성 | jina-embeddings-v5-text-small과 동일 | jina-embeddings-v5-text-nano와 동일 |
| 학습 가능 매개변수 | ~18M 프로젝터 (0.35%) | ~7M 프로젝터 (0.35%) |
| 풀링 | 마지막 词元 (Last-token) | 마지막 词元 (Last-token) |
| 라이선스 | CC BY-NC 4.0 | CC BY-NC 4.0 |
tag시작하기
tagElasticsearch (Elastic Inference Service)
이미 Elasticsearch에서 jina-embeddings-v5-text를 사용 중이라면, 기존 텍스트 인덱스를 v5-omni와 즉시 사용할 수 있습니다. 옴니 모델은 텍스트 입력에 대해 v5-text와 동일한 벡터를 생성하며, 입력이 같으면 바이트 단위로 동일한 벡터가 생성됩니다. 텍스트 인덱스를 다시 임베딩하거나 재구축할 필요가 없습니다. 기존 텍스트 데이터와 함께 이미지, 오디오, 비디오를 검색하려면 v5-omni로 새 인덱스를 생성하고 멀티모달 콘텐츠를 해당 인덱스에 입력하기만 하면 됩니다.
v5-omni를 추론 엔드포인트로 사용하는 semantic_text 인덱스를 생성하세요. EIS는 인덱싱 및 검색을 위해 자동으로 올바른 LoRA 어댑터를 선택합니다:
PUT multimodal-semantic-index
{
"mappings": {
"properties": {
"content": {
"type": "semantic_text",
"inference_id": ".jina-embeddings-v5-omni-small"
}
}
}
}텍스트, 이미지(base64 데이터 URI), 오디오 및 비디오를 동일한 필드와 동일한 인덱스로 수집합니다:
// 텍스트 수집
POST multimodal-semantic-index/_doc
{
"content": "'Kraft Dinner' is what Canadians call macaroni and cheese when prepared from a kit."
}
// 이미지 수집 (base64)
POST multimodal-semantic-index/_doc
{
"content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}단일 텍스트 쿼리로 모든 모달리티에 걸쳐 검색합니다:
GET multimodal-semantic-index/_search
{
"query": {
"semantic": {
"field": "content",
"query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
}
}
}tagJina Embedding API
curl https://api.jina.ai/v1/embeddings \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{
"model": "jina-embeddings-v5-omni-small",
"task": "retrieval.query",
"dimensions": 1024,
"input": ["What does this image show?"],
"images": ["data:image/png;base64,..."]
}'tagHugging Face
from sentence_transformers import SentenceTransformer
import torch
model = SentenceTransformer(
"jinaai/jina-embeddings-v5-omni-small-retrieval",
model_kwargs={"dtype": torch.bfloat16},
)
# 텍스트 임베딩 (v5-text와 동일)
text_emb = model.encode("What is knowledge distillation?", prompt_name="query")
# 이미지 임베딩
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)
# 교차 모달 유사도
similarity = model.similarity(text_emb, img_emb)tag학습
핵심 아이디어는 고정된 인코더 모델 구성(frozen-encoder model composition)입니다. 강력한 텍스트 向量模型(벡터 모델)을 가져와 사전 학습된 비전 및 오디오 인코더를 추가하고, 이를 작은 학습 가능 프로젝터로 연결한 뒤 프로젝터를 제외한 모든 것을 고정하는 방식입니다. 전체 가중치의 0.35%만 학습하며, 이를 통해 세 가지 속성을 얻습니다: (1) 텍스트 정체성 보존 - 백본은 수정되지 않으므로 동일한 입력이 동일한 출력을 생성합니다; (2) 학습 효율성 - 프로젝터 전용 학습은 1.8~3.9배 더 빠르고 GPU 메모리는 31~69% 덜 사용합니다; (3) 모듈화 - 타워를 독립적으로 로드할 수 있습니다.
v5-omni는 v5-text의 Matryoshka 차원 지원을 계승합니다. 이미지 및 오디오 向量模型(벡터 모델)은 차원 축소 시 대부분의 품질을 보존하지만, 비디오는 작은 차원에서 품질이 더 저하됩니다.
tag결론
기존의 통념은 멀티모달 向量模型(벡터 모델)을 위해 전체 모델을 종단 간(end-to-end)으로 학습해야 한다고 말합니다. 우리는 이에 동의하지 않습니다. v5-omni는 텍스트 백본을 고정하고 전체 가중치의 0.35%만 학습하여 5~7배 더 큰 모델들과 대등한 성능을 냅니다. 교훈은 다음과 같습니다: 재학습보다 구성이 낫습니다. 강력한 텍스트 인코더를 만드는 것이 가장 어렵지만, 일단 그것을 갖추면 경량 프로젝터를 통해 비전과 오디오를 연결하는 것은 거의 비용이 들지 않습니다.
이는 운영 환경에서 중요합니다. 귀하의 기존 v5-text 인덱스는 그대로 유지됩니다. 동일한 쿼리, 동일한 벡터, 바이트 단위로 동일합니다. 문서를 다시 임베딩할 필요 없이 이미지, 오디오, 비디오 검색 기능을 추가했습니다. 이것이 바로 마이그레이션 프로젝트가 아닌 드롭인 업그레이드로서의 멀티모달 검색이 가지는 진정한 가치입니다.
jina-embeddings-v5-omni-small은 20억 개 파라미터 이하에서 가장 뛰어난 성능을 보이는 오픈 웨이트 옴니 向量模型(벡터 모델)입니다. jina-embeddings-v5-omni-nano는 9억 개 파라미터로 이를 수행합니다. 두 모델 모두 현재 Hugging Face, Jina Search Foundation API에서 이용할 수 있으며, Elasticsearch의 기본 추론 엔드포인트로도 사용 가능합니다.
