I/O 圖

文字

jina-embeddings-v5-text-small

任務

向量

帕雷托前緣
30M100M300M1B3.0B10B204060all-MiniLM-L6-v2e5-base-v2e5-mistral-7b-instructEmbeddingGemma-300MEVA-CLIP ViT-B/16gtr-t5-largegtr-t5-xlgtr-t5-xxljina-clip-v1jina-clip-v2jina-embedding-b-en-v1jina-embedding-l-en-v1jina-embedding-s-en-v1jina-embeddings-v2-base…jina-embeddings-v2-smal…jina-embeddings-v3jina-embeddings-v4jina-embeddings-v5-text…KaLM-mini-v2.5LongCLIP ViT-B/16multilingual-e5-large-i…nllb-siglip-largeOpenAI CLIP ViT-B/16Qwen3-Embedding-0.6BQwen3-Embedding-4Bsentence-t5-basesentence-t5-largesentence-t5-xlsentence-t5-xxlsnowflake-arctic-embed-…jina-embeddings-v5-text…參數量(對數)nDCG@10
本模型
在前緣上
Jina AI
其他
MTEB English · retrieval
60.07
參數量
596M
按分數的排名
3 / 39
帕雷托前緣
在前緣之後
取值分佈
AUC 0.8269
語料
翻譯對
文件檢索
程式碼
圖片 / 橫幅
圖片 / 標誌
任務
classification
clustering
retrieval.passage
retrieval.query
retrieval.query → retrieval.passage
text-matching
0.8080.400.500.600.700.800.90
相關10.9%
困難負例2.1%
無關0.9%
推薦閾值
FPR 0.1 · 0.717
FPR 0.01 · 0.808
FPR 0.001 · 0.860
FPR 0.0001 · 0.878
均衡 · 0.697
AUC
0.8269
雜訊上限
0.855
召回斷崖
0.566
測量樣本對
119 / 11k
向量分量
-0.160.010.18
σ 0.0313 · 244k 個數值
向量幾何
01024
各維度平均值,游標移入檢視區間
雜訊下限
0.300
有效維度
70 / 1024
維度截斷
32641282565121024
text-matching · 閾值隨所請求維度的變化
語言對
de-rude-zhen-deen-jaen-koen-ruen-zhja-ko
各語言對之間的閾值跨度:0.024
選擇要比較的模型
論文 (1)

概述

jina-embeddings-v5-text-small 是建構在 Qwen3-0.6B-Base 骨幹上的 677M 參數多語言文字向量模型。它支援 32K 詞元上下文,產生 1024 維向量並可經 Matryoshka 截斷至 32 維,在 1B 參數以下的所有模型中取得最高 MTEB 平均。它是 Jina API 的預設向量模型,也是生產級 RAG 管線的首選。

方法

該模型建構在 Qwen3-0.6B-Base 上,這是以 119 種語言預訓練的多語言模型。它採用 Last-Token-Pooling 產生向量。訓練分兩階段:(1)從 Qwen3-Embedding-4B(4B 參數的教師模型)進行向量蒸餾,把高品質的向量表示移轉給 677M 的學生模型;(2)以任務特定的對比損失,在檢索、文字匹配、分群與分類任務上微調。Geometric Orthogonal Regularization(GOR)確保向量在二進位量化下依然穩健,效能損失極小。Matryoshka Representation Learning 讓維度可從 1024 截斷到 32,同時在 256 維以上維持強勁的檢索品質。32K 上下文視窗靠調整基底頻率的旋轉位置編碼達成,模型另外在長上下文資料上訓練,以獲得穩健的長文件檢索能力。

效能

在 MMTEB(多語言)上,該模型取得任務級平均 67.0、類型級平均 58.9,是 1B 參數以下所有模型中最高的。任務級分數:分類 71.3、分群 53.4、成對分類 82.9、重排序 65.7、檢索 64.9、STS 78.9。在英文 MTEB 上,它平均 71.7,勝過帶指令的 Qwen3-0.6B(70.5)與 jina-embeddings-v3(65.7)。檢索專項:MTEB-M 64.88、RTEB 66.84、BEIR 56.67、LongEmbed 66.39。值得注意的是,該模型在成對分類上勝過其 4B 教師 Qwen3-Embedding-4B(MMTEB 42.0 對 26.8),體積卻小 6 倍,說明蒸餾加上任務特定對比訓練,能在特定任務上超越教師的表現。

最佳實務

選擇對應的 LoRA 適配器:非對稱查詢對文件檢索用 'retrieval'(查詢前加 'Query:',段落前加 'Document:'),對稱相似度用 'text-matching'(兩個輸入都用 'Document:' 前綴),把相關文件分群用 'clustering',分類與情感分析用 'classification'。Matryoshka 截斷到 256–512 維適合儲存受限的索引;重排序請用完整的 1024 維。支援二進位量化,效能損失極小。32K 上下文視窗可原生處理長文件,不必分塊。比較向量請用餘弦相似度。可透過 Jina AI API、Hugging Face(Sentence Transformers、vLLM)取得,也有供 llama.cpp 使用的量化版本。多模態工作負載請改用 jina-embeddings-v5-omni-small。

提及此模型的部落格