jina-embeddings-v5-omni-small

jina-embeddings-v5-omni-small（约 17.4 亿参数）是一款多模态向量模型，可接收文本、图像、视频和音频，并在与 jina-embeddings-v5-text-small 对齐的共享向量空间中输出向量。您可以用文本建索引、用任意模态查询，反之亦然，无需重建索引。多模态训练期间，文本主干网络和四个面向特定任务的 LoRA 适配器（检索、文本匹配、聚类、分类）全部冻结，因此纯文本输出与 jina-embeddings-v5-text-small 逐位一致。模型输出 1024 维向量，可通过 Matryoshka 截断至最低 32 维，支持 32K 词元的上下文长度。

在 jina-embeddings-v5-text-small 之上增加第三阶段训练。文本主干网络和四个面向特定任务的 LoRA 适配器全部冻结，只训练新增的跨模态投影器。图像和视频（均匀采样 32 帧）由 SigLIP2 So400m 视觉编码器处理，音频输入由 Whisper-large-v3 音频编码器处理，PDF 页面则渲染成图像后走视觉通路。训练采用带跨模态难负样本的对比损失，把视觉和音频表示对齐到已有的文本向量空间。

纯文本性能与 jina-embeddings-v5-text-small 逐位一致，多模态训练期间文本主干网络和 LoRA 适配器均未改动。跨模态检索方面，模型在文本-图像、文本-音频和文本-视频任务上都展现出良好的对齐效果，PDF 页面检索则走视觉通路完成。在 Jina 的多模态向量模型中，omni-small 在服务器部署场景下的精度与效率平衡最佳。

适配器与 v5-text-small 相同，仍是检索、文本匹配、聚类、分类四个。通过 API 传入多模态输入时，直接传图像 URL、音频文件 URL、视频文件 URL 或 PDF URL 即可，模型会把各模态分派给对应的编码器。支持的音频格式包括 WAV、MP3、FLAC、OGG、M4A 和 Opus。视频输入按均匀采样的 32 帧处理。同一批次内可自由混合不同模态，因为所有模态共享同一向量空间。比对请使用余弦相似度。支持从 1024 维到 32 维的 Matryoshka 截断。纯文本向量与 jina-embeddings-v5-text-small 完全兼容，升级时无需重建索引。