jina-reranker-v3

jina-reranker-v3 是一個參數量達 0.6B 的多語言文檔重排器，引入了一種新穎的“後發先至”的交互架構。與 ColBERT 採用多向量匹配的單獨編碼不同，該模型在同一上下文窗口內對查詢和文檔執行因果自注意力機制，從而在從每個文檔的最後一個標記提取上下文向量化之前實現豐富的跨文檔交互。該模型基於 Qwen3-0.6B 構建，擁有 28 個 Transformer 層和一個輕量級 MLP 投影器（1024→512→256），可在 131K 標記上下文中同時處理多達 64 個文檔。該模型實現了 61.94 nDCG-10 的行業領先性能，同時比生成式列表式重排器小 10 倍。

採用三階段漸進式訓練，多目標損失函數結合了 InfoNCE、分散損失（0.45）、雙重匹配損失（0.85）和相似性損失（0.85）。第一階段使用 LoRA 微調（r=16，α=32），在特定領域數據集（包括 BGE-M3、Cornstack）上進行訓練，每個查詢包含 16 個文檔。第二階段將上下文擴展至 8,192 個標記，並在檢索系統中挖掘硬負樣本，最多可包含 25 個負樣本，τ=0.05。第三階段合併權重為 0.25-0.65 的專用模型。特殊標記 doc_emb 和 query_emb 標記向量化提取位置。訓練使用具有系統/用户/助手角色的結構化提示，將查詢置於開頭和結尾以進行雙向注意。

在 BEIR 數據集上，nDCG-10 得分達到 61.94，在所有評估的重排器中最高，比 jina-reranker-v2 提升 4.88%。在多跳檢索方面表現出色，在 HotpotQA 數據集上達到 78.56，在 FEVER 數據集上達到 93.95。在 MIRACL 數據集上，18 種語言的多語言性能達到 66.50，其中阿拉伯語為 78.69，泰語為 81.06。在 CoIR 數據集上，代碼檢索達到 63.28。在參數減少 2.5 倍的情況下，性能優於 15 億 mxbai-rerank-large 數據集（61.44）。比同規模的 bge-reranker-v2-m3 提升 5.43%。在文檔排序方面相對穩定：隨機排序（62.54）、降序排序（61.94）、升序排序（61.52）。

使用包含系統/用户/助手角色的結構化提示模板和特殊標記進行向量化提取。對於超過 131K 上下文的集合，每次前向傳遞最多可處理 64 個文檔。文檔隨機排序或按相關性降序排列效果最佳。利用跨文檔交互功能進行比較排名任務。對於多語言應用，該模型可在 18 種語言之間提供強大的零樣本遷移。對大型文檔集進行批處理，並在各個批次之間保持一致的查詢向量化。考慮使用 256 維輸出向量化進行高效的相似度計算。非常適合同時要求排名質量和推理效率的應用，尤其是多跳推理和事實驗證任務。