jina-colbert-v2

jina-colbert-v2 是一個 560M 參數的多語言延遲互動檢索模型，支援 89 種語言。它是首個能產生緊湊詞元級向量（每個詞元 64–128 維）的多語言 ColBERT 類模型，讓可擴展、具成本效益的多語言搜尋成真。Matryoshka 表示學習可將維度從 128 降至 64，效能僅下降 1.5%，儲存需求減半。

該模型以 ColBERT 延遲互動架構為基礎，採用改良的 XLM-RoBERTa 骨幹（560M 參數），加上旋轉位置編碼，並以 Flash Attention 最佳化。訓練分兩個關鍵階段：（1）用來自多種語言的多樣弱監督資料做初始預訓練；（2）用標註三元組資料微調，並向更大的教師模型做監督蒸餾。關鍵創新是把 Matryoshka 表示學習套用到多向量表示：模型在單次訓練中就能產生 128、96 或 64 維的詞元級向量，無需重新訓練即可動態調整儲存。8,192 詞元的文件上下文（可延伸至 12,288）與 32 詞元的查詢上限，都靠 ALiBi 位置編碼管理。

該模型在英語任務上比原始 ColBERT-v2 提升 6.5%，在 14 個 BEIR 基準上平均得分 0.521。在 MIRACL 基準的所有測試語言上，它都勝過傳統 BM25 檢索方法，跨語言情境中尤其突出。從 128 維降到 64 維只讓效能下降 1.5%，儲存需求卻減半——例如在 AWS 上用 64 維向量儲存 1 億份文件，每月花費 659.62 美元，128 維則要 1,319.24 美元。多語言覆蓋（89 種語言）加上緊湊的詞元向量，讓它特別適合全球搜尋應用。

該模型需要支援 CUDA 的硬體才能發揮最佳效能。它支援最長 8,192 詞元的文件（可延伸至 12,288），查詢則限制在 32 詞元。生產部署可透過 Jina 搜尋底座 API、AWS 市集與 Azure 取得，Hugging Face 上有非商業版本。實作時請指明要嵌入的是查詢還是文件——該模型採非對稱編碼。未建立合適索引時，它不適合即時處理超大量文件集合；請用 FAISS、Qdrant 或 Weaviate 做 ANN 搜尋。領域特定任務可考慮在自己的語料上微調。若需要更高維度輸出的單向量檢索，可考慮 jina-embeddings-v4（單向量模式）或 jina-embeddings-v5-text-small。