jina-embeddings-v5-omni-small

jina-embeddings-v5-omni-small는 약 1.74B 파라미터의 멀티모달 임베딩 모델로, 텍스트, 이미지, 영상, 오디오, PDF를 받아들여 공유 1024차원 벡터 공간에서 임베딩을 생성합니다. Jina API의 기본 임베딩 모델이며, Jina의 멀티모달 임베딩 모델 중 최고의 정확도-효율 트레이드오프를 제공합니다. 텍스트 전용 출력은 jina-embeddings-v5-text-small과 비트 동일하여, 재인덱싱 없이 텍스트 전용에서 멀티모달로의 매끄러운 이관을 가능하게 합니다.

모델은 jina-embeddings-v5-text-small을 확장하는 세 번째 단계에서 학습됩니다. 멀티모달 학습 중 Qwen3-0.6B-Base 텍스트 백본과 네 개의 태스크별 LoRA 어댑터 모두 동결되며, 새롭게 학습되는 것은 크로스모달 프로젝터만입니다. SigLIP2 Large 비전 인코더가 이미지와 영상을 처리하고(영상당 32프레임 균일 샘플링), Whisper-large-v3 오디오 인코더가 오디오 입력을 처리합니다. PDF 페이지는 이미지로 렌더링되어 시각 경로를 통해 처리됩니다. 학습은 크로스모달 하드 네거티브를 사용한 대비 손실을 사용해, 시각·오디오 표현을 기존 텍스트 임베딩 공간으로 정렬합니다. 1024차원 출력은 32차원까지 Matryoshka 절단을 지원합니다. 32K 토큰 컨텍스트 윈도우가 텍스트 입력을 커버합니다. 모델은 Apple Silicon을 위한 양자화 및 MLX 추론을 지원합니다.

텍스트 전용 성능은 jina-embeddings-v5-text-small(MMTEB 태스크 레벨 평균 67.0, 영어 MTEB 71.7)과 비트 동일합니다 — 멀티모달 학습 중 텍스트 백본과 LoRA 어댑터에는 손을 대지 않습니다. 크로스모달 검색에서, 모델은 텍스트-이미지, 텍스트-오디오, 텍스트-영상 태스크 전반에 강한 정렬을 보여줍니다. PDF 페이지 검색은 시각 경로를 통해 처리됩니다. omni-small 모델은 서버 배포를 위해 Jina 멀티모달 임베딩 모델 중 최고의 정확도-효율 트레이드오프를 제공하며, 1024차원 임베딩은 768차원 omni-nano 변형보다 높은 판별력을 제공합니다.

적절한 LoRA 어댑터를 선택하세요: retrieval, text-matching, clustering 또는 classification. API를 통한 멀티모달 입력의 경우, 이미지 URL, 오디오 파일 URL, 영상 파일 URL, 또는 PDF URL을 직접 전달하세요 — 모델은 각 모달리티를 적절한 인코더로 라우팅합니다. 지원되는 오디오 형식에는 WAV, MP3, FLAC, OGG, M4A, Opus가 포함됩니다. 영상 입력은 32프레임 균일 샘플링으로 처리됩니다. 단일 배치 내에서 모달리티를 자유롭게 혼합할 수 있습니다: 임베딩 공간은 모든 모달리티 간에 공유됩니다. 비교에는 코사인 유사도를 사용하세요. 1024에서 32차원으로의 Matryoshka 절단은 지원됩니다. 텍스트 전용 임베딩은 jina-embeddings-v5-text-small과 드롭인 호환됩니다 — 업그레이드 시 재인덱싱이 필요 없습니다. GPU가 없는 엣지 배포에는 대신 jina-embeddings-v5-omni-nano를 사용하세요.