概述
jina-clip-v1 是一個 223M 參數的多模態向量模型,在文字對文字與文字對圖片檢索任務上都達到最先進水準,是 CLIP 家族模型中的首例。標準 CLIP 模型為了跨模態對齊而犧牲純文字檢索,jina-clip-v1 則以多任務對比訓練在所有檢索組合上維持強勁表現。它支援 12,288 詞元的文字上下文,約為原始 CLIP 77 詞元上限的 160 倍。
方法
該架構把改造過的 Jina BERT v2 文字編碼器(透過 ALiBi 支援 12,288 詞元)與北京智源人工智慧研究院(Beijing Academy for AI)的 EVA-02 圖片編碼器結合。關鍵創新是多任務對比訓練法:模型同時在三類資料上訓練——(1)圖片與說明文字配對,做跨模態對齊;(2)文字與文字配對,保住純文字檢索品質;(3)AI 生成的圖片長文字描述,提升對不同文字長度的穩健性。最後一個階段再用困難負樣本文字三元組,強化語意區辨。這種多任務做法避免了標準 CLIP 訓練常見的純文字檢索災難性遺忘。圖片編碼器以 224×224 像素塊處理,每個像素塊佔用 1,000 詞元的處理容量。
效能
在純文字檢索中,該模型比 OpenAI CLIP 提升 165%(MTEB 上 0.429 對 0.162)。圖片任務方面:文字對圖片檢索好 2%(0.899)、圖片對文字檢索好 6%(0.803)、圖片對圖片檢索好 12%(0.916)。在零樣本視覺分類(CIFAR-100)上,它勝過標準 CLIP。在 Flickr8k/30k 與 MSCOCO Captions 上的跨模態表現,與專門的單模態模型相當。12,288 詞元的文字上下文,對同時檢索長篇文字文件與圖片是一大優勢。2026 年,jina-clip-v2 以 89 種語言支援與 512×512 圖片處理取代該模型。
最佳實務
該模型以 224×224 像素塊處理圖片;每個像素塊消耗 1,000 詞元。一張 750×500 像素的圖片需要 12 個像素塊(12,000 詞元)。文字約每個詞 1.1 詞元。混合模態查詢請據此規劃詞元預算。該模型目前僅支援英語——多語言應用請用 jina-clip-v2。可透過 Jina Embeddings API 使用,也有 Hugging Face 上 Apache 2.0 授權的開源版本。生產環境可選 AWS Marketplace 與 Azure 的部署方案,取得最佳化的基礎設施。跨模態比較請用餘弦相似度。新的多模態專案建議優先選 jina-clip-v2(89 種語言、512×512 圖片、支援 MRL)或 jina-embeddings-v4(32K 上下文、多向量模式、支援程式碼)。









