jina-embeddings-v5-text-nano

jina-embeddings-v5-text-nano 是一個 2.39 億參數的多語言文本向量模型，基於 EuroBERT-210M 主幹網路構建——這是一個在 15 種主要歐洲及全球語言上預訓練的雙向編碼器。該模型通過末詞元池化生成 768 維向量，支援最長 32K 詞元的上下文。模型包含四個面向特定任務的 LoRA 適配器（各 670 萬參數），分別用於檢索、語義相似度、聚類和分類。藉助 Matryoshka 表示學習，向量最低可截斷至 32 維。該模型以 Qwen3-Embedding-4B 為教師做向量蒸餾，並配合任務適配器訓練，效能足以媲美規模超過自身兩倍的模型，非常適合延遲敏感場景與邊緣部署。

訓練流程與 jina-embeddings-v5-text-small 相同，同樣分兩個階段，只是應用在 EuroBERT-210M 主幹網路上。第一階段做向量蒸餾，用餘弦距離損失把 Qwen3-Embedding-4B 的知識遷移過來，其間由一個線性投影層把學生的 768 維向量映射到教師空間。訓練資料來自 300 多個資料集的多語言文本對。第二階段在凍結的主幹網路權重之上訓練四個面向特定任務的 LoRA 適配器（各 670 萬參數）：檢索（InfoNCE + 蒸餾 + GOR）、文本匹配（CoSENT + 蒸餾）、聚類（配任務專用教師指令的再蒸餾）以及分類（雙向 InfoNCE + 關係型知識蒸餾）。EuroBERT 主幹網路提供了紮實的多語言覆蓋，涵蓋英語、法語、德語、西班牙語、中文、日語、阿拉伯語和印地語等 15 種主要的歐洲及全球語言。

在多語言基準 MMTEB 上，jina-embeddings-v5-text-nano 僅用 2.39 億參數就取得任務級平均分 65.5、類型級平均分 57.7，優於所有 5 億參數以下的模型，包括 KaLM-mini-v2.5（60.1，4.94 億參數）、voyage-4-nano（58.9，4.8 億參數）和 Gemma-300M（61.1，3.08 億參數）。各項得分為：分類 69.2，聚類 52.7，配對分類 81.9，重排 64.6，檢索 63.3，STS 78.2。英文 MTEB 平均分 71.0，幾乎追平體量大得多的 jina-embeddings-v5-text-small（71.7）。檢索類基準上，MTEB-M 得 63.26，RTEB 得 64.08，BEIR 得 56.06，LongEmbed 得 63.65。向量在二值量化下依然穩健，藉助 GOR 正則化，MTEB 檢索的效能下降控制在 2 分以內。

請根據任務選擇合適的 LoRA 介面卡：「retrieval」用於非對稱的查詢-文件檢索（查詢前加「Query:」，段落前加「Document:」）；「text-matching」用於對稱相似度任務（兩側輸入都用「Document:」字首）；「clustering」用於把相關文件歸類；「classification」用於分類。nano 版專為延遲敏感和資源受限的部署最佳化，準確率卻足以媲美兩倍於自身規模的模型。藉助 Matryoshka 截斷，向量可從 768 維降到最低 32 維；為獲得最佳效果，建議保持在 256 維以上。模型支援二值量化。EuroBERT 主幹網路對 15 種主要語言覆蓋紮實，包括英語、法語、德語、西班牙語、中文、日語、阿拉伯語和印地語。向量比對請使用餘弦相似度。可透過 Jina AI API、Hugging Face（Sentence Transformers 和 vLLM）獲取，也提供適用於 llama.cpp 的量化版本。