I/O 圖 1

文字

jina-clip-v1

向量

I/O 圖 2

圖片

jina-clip-v1

向量

帕雷托前緣
300M1B3.0B10B20406080100bge-visualized-m3BiModernVBERTDSE-Phi3dse-qwen2-2b-mrl-v1e5-vjina-clip-v2jina-embeddings-v3jina-embeddings-v4jina-embeddings-v4 (lat…llama-nemoretriever-col…MoCa-3Bnemotron-colembed-vl-8b…nllb-siglip-largeONE-PEACESauerkrautLM-ColLFM2-45…SauerkrautLM-ColMinistr…siglip-so400m-patch14-3…SigLIP2-L-512/16VLM2VecVultronRetrieverCore-Qw…VultronRetrieverFlash-Q…jina-clip-v1參數量(對數)nDCG@5
本模型
在前緣上
Jina AI
其他
ViDoRe v1
17.72
參數量
223M
按分數的排名
32 / 33
帕雷托前緣
在前緣上
取值分佈
AUC 0.8440
語料
翻譯對
文件檢索
圖片 / 橫幅
0.6750.000.200.400.600.80
相關20.2%
困難負例3.2%
無關1.2%
推薦閾值
FPR 0.1 · 0.478
FPR 0.01 · 0.675
FPR 0.001 · 0.785
FPR 0.0001 · 0.823
均衡 · 0.376
AUC
0.8440
雜訊上限
0.779
召回斷崖
0.123
測量樣本對
119 / 11k
向量分量
-0.18-0.010.15
σ 0.0361 · 183k 個數值
向量幾何
0768
各維度平均值,游標移入檢視區間
雜訊下限
0.283
有效維度
55 / 768
選擇要比較的模型
論文 (1)

概述

jina-clip-v1 是一個 223M 參數的多模態向量模型,在文字對文字與文字對圖片檢索任務上都達到最先進水準,是 CLIP 家族模型中的首例。標準 CLIP 模型為了跨模態對齊而犧牲純文字檢索,jina-clip-v1 則以多任務對比訓練在所有檢索組合上維持強勁表現。它支援 12,288 詞元的文字上下文,約為原始 CLIP 77 詞元上限的 160 倍。

方法

該架構把改造過的 Jina BERT v2 文字編碼器(透過 ALiBi 支援 12,288 詞元)與北京智源人工智慧研究院(Beijing Academy for AI)的 EVA-02 圖片編碼器結合。關鍵創新是多任務對比訓練法:模型同時在三類資料上訓練——(1)圖片與說明文字配對,做跨模態對齊;(2)文字與文字配對,保住純文字檢索品質;(3)AI 生成的圖片長文字描述,提升對不同文字長度的穩健性。最後一個階段再用困難負樣本文字三元組,強化語意區辨。這種多任務做法避免了標準 CLIP 訓練常見的純文字檢索災難性遺忘。圖片編碼器以 224×224 像素塊處理,每個像素塊佔用 1,000 詞元的處理容量。

效能

在純文字檢索中,該模型比 OpenAI CLIP 提升 165%(MTEB 上 0.429 對 0.162)。圖片任務方面:文字對圖片檢索好 2%(0.899)、圖片對文字檢索好 6%(0.803)、圖片對圖片檢索好 12%(0.916)。在零樣本視覺分類(CIFAR-100)上,它勝過標準 CLIP。在 Flickr8k/30k 與 MSCOCO Captions 上的跨模態表現,與專門的單模態模型相當。12,288 詞元的文字上下文,對同時檢索長篇文字文件與圖片是一大優勢。2026 年,jina-clip-v2 以 89 種語言支援與 512×512 圖片處理取代該模型。

最佳實務

該模型以 224×224 像素塊處理圖片;每個像素塊消耗 1,000 詞元。一張 750×500 像素的圖片需要 12 個像素塊(12,000 詞元)。文字約每個詞 1.1 詞元。混合模態查詢請據此規劃詞元預算。該模型目前僅支援英語——多語言應用請用 jina-clip-v2。可透過 Jina Embeddings API 使用,也有 Hugging Face 上 Apache 2.0 授權的開源版本。生產環境可選 AWS Marketplace 與 Azure 的部署方案,取得最佳化的基礎設施。跨模態比較請用餘弦相似度。新的多模態專案建議優先選 jina-clip-v2(89 種語言、512×512 圖片、支援 MRL)或 jina-embeddings-v4(32K 上下文、多向量模式、支援程式碼)。

提及此模型的部落格