I/O 圖 1

多個

向量

查詢

jina-colbert-v1-en

I/O 圖 2

多個

向量

文件

jina-colbert-v1-en

帕雷托前緣
30M100M7075808590ColBERTv2gte-reranker-modernbert…jina-reranker-v1-base-enjina-reranker-v1-tiny-enjina-reranker-v1-turbo-…jina-colbert-v1-en參數量(對數)nDCG@10
本模型
在前緣上
Jina AI
其他
LoCo
83.70
參數量
137M
按分數的排名
3 / 6
帕雷托前緣
在前緣之後
取值分佈
AUC 0.5963
語料
翻譯對
15.7801020
相關17.0%
困難負例9.3%
無關1.0%
推薦閾值
FPR 0.1 · 9.27
FPR 0.01 · 15.78
FPR 0.001 · 21.53
FPR 0.0001 · 25.48
均衡 · 7.98
AUC
0.5963
雜訊上限
21.44
召回斷崖
-0.71
測量樣本對
100 / 9,200
各名次得分
12345678910
各名次位置上的平均得分
選擇要比較的模型

概述

jina-colbert-v1-en 是一個 137M 參數的英語延遲互動(late-interaction)檢索模型,產生詞元級向量(每個詞元 128 維),而非單一文件向量。這讓模型能以雙編碼器的效率達到交叉編碼器的品質:文件只需索引一次,相關性評分則在查詢時透過對詞元對做最大池化與求和完成。它支援 8,192 詞元的文件,是首個把 ColBERT 風格檢索帶進生產環境的 Jina 模型。

方法

該模型採用以改編 ColBERT 做法為基礎的延遲互動架構。它不會一次比較整份文件,而是分開處理查詢與文件,直到最後的匹配階段。文件編碼器處理最多 8,192 詞元的文字;查詢編碼器則產生精確的詞元級表示。查詢與文件中的每個詞元都有自己的 128 維向量,保留單向量模型會丟失的細粒度語意資訊。延遲互動機制對查詢詞元做最大池化、對文件詞元求和來計算相關性分數,既避開交叉編碼器昂貴的全對全注意力,又能捕捉詞元級的匹配訊號。該架構使用 137M 參數、以 BERT 為基礎的編碼器,以及針對 8,192 詞元上下文的 ALiBi 位置編碼。

效能

在 BEIR 資料集集合上,該模型表現優異:Arguana 49.4%(ColBERTv2 為 46.5%)、FEVER 79.5%(對比 78.8%)、TREC-COVID 75.0%(對比 72.6%)。最突出的是長上下文理解的 LoCo 基準:得分 83.7%,ColBERTv2 為 74.3%,9.4 個百分點的差距顯示詞元級表示對長文件的價值。該模型透過延遲互動做法維持運算效率,同時勝過傳統單向量模型。137M 的參數量也讓它適合生產部署。

最佳實務

當您需要交叉編碼器的檢索品質、又不想承擔其延遲時,就用這個模型。它需要支援 CUDA 的 GPU 才能發揮最佳效能;開發時可用 CPU 推理。8,192 詞元的文件上限約等於 6,000 個詞,適合學術論文、技術文件等大多數文件型態。該模型僅支援英語——多語言應用請用 jina-colbert-v2。生產部署請實作合適的文件分塊策略,並用向量相似度索引(FAISS、Qdrant、Weaviate)提升檢索效率。在採用 RAGatouille 這類簡化延遲互動實作的框架所搭建的 RAG 管線中,它格外有效。需要多語言或更高精確度時,可考慮 jina-colbert-v2 或 jina-embeddings-v4(多向量模式)。

提及此模型的部落格
八月 30, 2024 • 10 分鐘閱讀
Jina ColBERT v2:用於 Embedding 與重排序的多語言後期互動檢索器
Jina ColBERT v2 支援 89 種語言,具有卓越的檢索效能、使用者可控的輸出維度,以及 8192 的 token 長度。
六月 19, 2024 • 11 分鐘閱讀
AI 可解釋性變得簡單:Late Interaction 如何使 Jina-ColBERT 具備透明度
AI 的可解釋性和透明度是熱門議題。如果我們看不到 AI 是如何運作的,又怎麼能信任它呢?Jina-ColBERT 向您展示,只要有正確的模型架構,就能輕鬆讓 AI 透露其運作秘密。
五月 13, 2024 • 5 分鐘閱讀
Albus by Springworks:以企業搜尋賦能員工
了解一家領先的人資科技新創公司如何運用 Jina AI 的模型來處理結構化與非結構化資料。
四月 29, 2024 • 7 分鐘閱讀
Jina Embeddings 和 Reranker 在 Azure 上的應用:可擴展的企業級 AI 解決方案
Jina Embeddings 和 Rerankers 現已在 Azure Marketplace 上架。重視隱私和安全的企業現在可以輕鬆地將 Jina AI 的最先進模型整合到其現有的 Azure 生態系統中。
二月 20, 2024 • 16 分鐘閱讀
什麼是 ColBERT 和晚期交互?為什麼它們在搜尋中如此重要?
Jina AI 在 Hugging Face 上推出的 ColBERT 在 Twitter 上引起熱議,其 8192 token 的處理能力為搜尋領域帶來了新視角。本文將深入解析 ColBERT 和 ColBERTv2 的細節,展示其創新設計,以及為何其後期交互特性在搜尋領域中具有革命性的意義。