jina-embeddings-v5-text-nano

jina-embeddings-v5-text-nano 是一个 2.39 亿参数的多语言文本向量模型，基于 EuroBERT-210M 主干网络构建——这是一个在 15 种主要欧洲及全球语言上预训练的双向编码器。该模型通过末词元池化生成 768 维向量，支持最长 32K 词元的上下文。模型包含四个面向特定任务的 LoRA 适配器（各 670 万参数），分别用于检索、语义相似度、聚类和分类。借助 Matryoshka 表示学习，向量最低可截断至 32 维。该模型以 Qwen3-Embedding-4B 为教师做向量蒸馏，并配合任务适配器训练，性能足以媲美规模超过自身两倍的模型，非常适合延迟敏感场景与边缘部署。

训练流程与 jina-embeddings-v5-text-small 相同，同样分两个阶段，只是应用在 EuroBERT-210M 主干网络上。第一阶段做向量蒸馏，用余弦距离损失把 Qwen3-Embedding-4B 的知识迁移过来，其间由一个线性投影层把学生的 768 维向量映射到教师空间。训练数据来自 300 多个数据集的多语言文本对。第二阶段在冻结的主干网络权重之上训练四个面向特定任务的 LoRA 适配器（各 670 万参数）：检索（InfoNCE + 蒸馏 + GOR）、文本匹配（CoSENT + 蒸馏）、聚类（配任务专用教师指令的再蒸馏）以及分类（双向 InfoNCE + 关系型知识蒸馏）。EuroBERT 主干网络提供了扎实的多语言覆盖，涵盖英语、法语、德语、西班牙语、中文、日语、阿拉伯语和印地语等 15 种主要的欧洲及全球语言。

在多语言基准 MMTEB 上，jina-embeddings-v5-text-nano 仅用 2.39 亿参数就取得任务级平均分 65.5、类型级平均分 57.7，优于所有 5 亿参数以下的模型，包括 KaLM-mini-v2.5（60.1，4.94 亿参数）、voyage-4-nano（58.9，4.8 亿参数）和 Gemma-300M（61.1，3.08 亿参数）。各项得分为：分类 69.2，聚类 52.7，配对分类 81.9，重排 64.6，检索 63.3，STS 78.2。英文 MTEB 平均分 71.0，几乎追平体量大得多的 jina-embeddings-v5-text-small（71.7）。检索类基准上，MTEB-M 得 63.26，RTEB 得 64.08，BEIR 得 56.06，LongEmbed 得 63.65。向量在二值量化下依然稳健，借助 GOR 正则化，MTEB 检索的性能下降控制在 2 分以内。

请根据任务选择合适的 LoRA 适配器：「retrieval」用于非对称的查询-文档检索（查询前加「Query:」，段落前加「Document:」）；「text-matching」用于对称相似度任务（两侧输入都用「Document:」前缀）；「clustering」用于把相关文档归类；「classification」用于分类。nano 版专为延迟敏感和资源受限的部署优化，准确率却足以媲美两倍于自身规模的模型。借助 Matryoshka 截断，向量可从 768 维降到最低 32 维；为获得最佳效果，建议保持在 256 维以上。模型支持二值量化。EuroBERT 主干网络对 15 种主要语言覆盖扎实，包括英语、法语、德语、西班牙语、中文、日语、阿拉伯语和印地语。向量比对请使用余弦相似度。可通过 Jina AI API、Hugging Face（Sentence Transformers 和 vLLM）获取，也提供适用于 llama.cpp 的量化版本。