Florian Hönicke
我们发布了 jina-embeddings-v5-omni，将我们的 v5-text 向量模型扩展到了图像、音频和视频领域。这两个模型与 v5-text 共享相同的冻结文本骨干，这意味着文本向量是完全相同的——无需重建索引。jina-embeddings-v5-omni-small 在四个模态上的平均得分为 54.04，在参数量减少 5.7 倍的情况下，与 LCO-7B（54.43）的差距仅为 0.39 分；而 jina-embeddings-v5-omni-nano 在仅有 0.95B 参数的情况下也能提供极具竞争力的文档检索能力。
tag架构
v5-omni 保持 v5-text 骨干完全冻结，并添加了通过小型可训练投影器（projectors）连接的预训练视觉和音频编码器：
- 视觉：Qwen3.5 视觉编码器（改编自 SigLIP2），具有 2x2 空间合并（4x 词元减少）。我们冻结了除最终投影层（
fc_vision_2）之外的所有内容，该层被替换为一个随机初始化的层，映射到文本骨干的隐藏维度。 - 音频：Qwen2.5-Omni 编码器（改编自 Whisper-large-v3）。单个随机初始化的
fc_audio层将 1280 维的输出投影到文本骨干中。 - 视频：作为视觉帧序列处理，前面可以选择性地加上提取的音频片段。
该模型继承了 v5-text 的四个特定任务 LoRA 适配器（检索、文本匹配、分类、聚类），并为每个任务变体训练单独的投影器权重。架构完全模块化：仅文本部署不加载任何视觉或音频权重（与 v5-text 足迹相同），仅图像部署跳过音频，完整全能部署则全部加载。
| 特性 | jina-embeddings-v5-omni-small | jina-embeddings-v5-omni-nano |
|---|---|---|
| 基础文本模型 | jina-embeddings-v5-text-small (Qwen3-0.6B) | jina-embeddings-v5-text-nano (EuroBERT-210m) |
| 总参数量 | ~1.56B | ~1.04B |
| 模态 | 文本、图像、音频、视频、PDF | 文本、图像、音频、视频、PDF |
| 向量维度 | 1024 | 768 |
| Matryoshka 维度 | 32, 64, 128, 256, 512, 768, 1024 | 32, 64, 128, 256, 512, 768 |
| 最大序列长度 | 32768 词元 | 8192 词元 |
| 视觉编码器 | Qwen3.5-2B ViT (SigLIP2) | SigLIP2 Base |
| 音频编码器 | Whisper-large-v3 | Whisper-large-v3 |
| 任务 | 检索、文本匹配、分类、聚类 | 检索、文本匹配、分类、聚类 |
| 文本兼容性 | 与 jina-embeddings-v5-text-small 完全一致 | 与 jina-embeddings-v5-text-nano 完全一致 |
| 可训练参数 | ~18M 投影器 (0.35%) | ~7M 投影器 (0.35%) |
| 池化 | 末尾词元池化 | 末尾词元池化 |
| 许可 | CC BY-NC 4.0 | CC BY-NC 4.0 |
tag入门指南
tagElasticsearch (Elastic Inference Service)
如果您已经在 Elasticsearch 中使用 jina-embeddings-v5-text，您现有的文本索引可以直接与 v5-omni 一起使用。Omni 模型产生的文本输入向量完全相同，与 v5-text 表现一致——输入相同，向量即相同，字节级完全一致。您无需重新对文本进行向量化或重建任何文本索引。要开始在现有的文本数据旁边搜索图像、音频和视频，只需使用 v5-omni 创建一个新索引，并将您的多模态内容导入其中即可。
使用 v5-omni 作为推理端点创建 semantic_text 索引。EIS 会自动选择正确的 LoRA 适配器进行索引和检索：
PUT multimodal-semantic-index
{
"mappings": {
"properties": {
"content": {
"type": "semantic_text",
"inference_id": ".jina-embeddings-v5-omni-small"
}
}
}
}将文本、图像（作为 base64 数据 URI）、音频和视频注入到同一个字段、同一个索引中：
// 注入文本
POST multimodal-semantic-index/_doc
{
"content": "'Kraft Dinner' is what Canadians call macaroni and cheese when prepared from a kit."
}
// 注入图像 (base64)
POST multimodal-semantic-index/_doc
{
"content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}通过单个文本查询在所有模态中进行搜索：
GET multimodal-semantic-index/_search
{
"query": {
"semantic": {
"field": "content",
"query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
}
}
}tagJina 向量模型 API
curl https://api.jina.ai/v1/embeddings \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{
"model": "jina-embeddings-v5-omni-small",
"task": "retrieval.query",
"dimensions": 1024,
"input": ["What does this image show?"],
"images": ["data:image/png;base64,..."]
}'tagHugging Face
from sentence_transformers import SentenceTransformer
import torch
model = SentenceTransformer(
"jinaai/jina-embeddings-v5-omni-small-retrieval",
model_kwargs={"dtype": torch.bfloat16},
)
# 文本向量化 (与 v5-text 完全一致)
text_emb = model.encode("What is knowledge distillation?", prompt_name="query")
# 图像向量化
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)
# 跨模态相似度
similarity = model.similarity(text_emb, img_emb)tag训练
核心思想是冻结编码器模型组合（frozen-encoder model composition）：采用一个强大的文本向量模型，添加预训练的视觉和音频编码器，通过小型可训练的投影层（projectors）连接它们，并冻结除这些投影层之外的所有部分。仅训练了总权重的 0.35%，这赋予了我们三个特性：(1) 文本一致性保持 —— 骨干网络未被修改，相同的输入产生相同的输出；(2) 训练效率 —— 仅训练投影层的速度提升了 1.8-3.9 倍，GPU 内存占用降低了 31-69%；(3) 模块化 —— 各个塔（towers）可以独立加载。
v5-omni 继承了 v5-text 的 Matryoshka 维度支持。图像和音频向量在截断后仍能保持大部分质量，而视频在较小维度下衰减较多。
tag结论
传统观点认为，多模态向量模型需要端到端训练整个模型。我们不认同这一点。v5-omni 冻结了文本骨干网络，仅训练 0.35% 的权重，却能匹敌比其大 5-7 倍的模型。经验表明：组合胜过重训。强大的文本编码器是最难获取的部分 —— 一旦拥有它，通过轻量级投影层添加视觉和音频功能几乎是不费吹灰之力的。
这对生产环境至关重要。您现有的 v5-text 索引不受影响。相同的查询，相同的向量，完全一致。您无需重新对任何文档进行向量化，即可获得图像、音频和视频搜索功能。这才是多模态检索作为插件式升级而非迁移项目的真正解锁方式。
jina-embeddings-v5-omni-small 是 2B 参数以下性能最强的开源权重多模态向量模型。jina-embeddings-v5-omni-nano 则以 0.9B 参数实现同样的功能。两者现已在 Hugging Face、Jina Search Foundation API 上可用，并作为 Elasticsearch 中的原生推理端点提供。
