jina-embeddings-v4

Jina Embeddings V4 是一款 38 亿参数的多模态向量模型，可统一表示文本与图像。它基于 Qwen2.5-VL-3B-Instruct 主干网络构建，架构上同时支持单向量和迟交互式的多向量输出，突破了传统 CLIP 式双编码器模型的局限。模型集成了三个面向特定任务的 LoRA 适配器（各 6000 万参数），无需改动冻结的主干网络权重，即可针对非对称查询-文档检索、语义文本相似度和代码搜索等不同场景优化效果。凭借统一的处理路径，它在表格、图表、示意图、屏幕截图及图文混排等视觉信息丰富的内容上表现出色，显著缩小了传统架构中的模态鸿沟。该模型支持多语言，输入文本最长 32,768 词元，图像可缩放至 2000 万像素，适用于跨语言、跨领域的各类文档检索与跨模态搜索场景。

Jina Embeddings V4 采用统一的多模态语言模型架构，与 CLIP 式双编码器方案截然不同。输入走同一条通路：图像先经视觉编码器转成词元序列，随后文本与图像两种模态一起送入带上下文注意力层的语言模型解码器处理。该架构提供两种输出模式以适配不同场景：单向量模式通过均值池化生成 2048 维向量，可借助 Matryoshka 表示学习截断至 128 维，适合高效的相似度检索；多向量模式则通过投影层为每个词元输出 128 维向量，用于迟交互式检索。模型包含三个面向特定任务的 LoRA 适配器，分别做针对性优化：检索适配器采用基于前缀的非对称编码，并用难负样本训练，服务于查询-文档场景；文本匹配适配器采用 CoSENT 损失处理语义相似度任务；代码适配器则专攻自然语言到代码的检索。训练分两个阶段：先用来自 300 多个来源的文本-文本、文本-图像样本对，以 InfoNCE 对比损失做配对训练；再用三元组方法和为各领域定制的损失函数，对三个 LoRA 适配器做任务专项微调。

Jina Embeddings V4 在多类基准测试中都交出了极具竞争力的成绩。视觉文档检索方面，JinaVDR 平均分 72.19，ColPali-v1.2 为 64.50；ViDoRe 平均分 84.11，ColPali 为 83.90，多向量模式在 ViDoRe 上更是达到 90.17。跨模态检索方面，CLIP Benchmark 得分 84.11，jina-clip-v2 为 81.12，nllb-clip-large-siglip 为 83.19。文本检索方面，MTEB-en 得 55.97，MMTEB 得 66.49；长文档处理表现突出，LongEmbed 达 67.11，上一代仅 55.66。语义文本相似度表现扎实，英文 STS 任务得 85.89，多语言 STS 得 72.70。代码检索在 CoIR 上达 71.59，不过 voyage-code-3（77.33）等专用模型在该领域得分更高。跨模态对齐度提升明显，得分 0.71，而 OpenAI CLIP 仅为 0.15，有效缓解了多模态模型的模态鸿沟问题。在视觉信息丰富的任务上，多向量模式始终优于单向量模式；常规检索场景下，单向量模式则更为高效。

要用好 Jina Embeddings V4，请根据实际需求选择合适的 LoRA 适配器。查询与文档结构不同的非对称检索场景请用「retrieval」适配器，并记得加上正确前缀以区分查询和段落内容。「text-matching」适配器适合语义相似度任务和对称检索，也就是找相似内容而非回答问题的场景，如文档聚类、查重和内容推荐。编程相关场景请用「code」适配器，它针对自然语言到代码的检索、代码到代码的相似检索以及技术问答做了优化。输出模式请按性能和效率需求来选：单向量适合高效相似度检索和存储受限的环境，维度可从 2048 截断到 128 至 512，质量损失在可接受范围内；多向量则为复杂检索任务提供更高精度，尤其在处理视觉信息丰富的文档时，迟交互打分能捕捉更细致的关联。统一架构让它能直接处理图文混合输入，视觉文档无需另配编码器或做 OCR 预处理。跨模态对齐能力和多语言支持，也让它很适合国际化应用。生产部署规划内存时，请把每个 LoRA 适配器 6000 万参数的开销计算在内；三个适配器同时常驻仅增加不到 2% 的内存占用，推理时可灵活切换任务。