jina-reranker-v3

jina-reranker-v3 是一款 6 億參數的多語言文件重排模型，首創「後置而不遲」（last but not late）交互架構。ColBERT 需要分別編碼再做多向量匹配，而該模型在同一上下文視窗內對查詢和文件做因果自注意力，先充分完成跨文件交互，再從每篇文件的最後一個詞元提取上下文向量。模型基於 Qwen3-0.6B 構建，含 28 層 Transformer 和一個輕量 MLP 投影器（1024→512→256），可在 131K 詞元的上下文中同時處理多達 64 篇文件。它在 BEIR 上取得 61.94 的 nDCG-10，達到業界領先水平，體量卻只有生成式列表重排模型的十分之一。

採用三階段漸進式訓練，多目標損失結合 InfoNCE、分散損失（0.45）、對偶匹配損失（0.85）和相似度損失（0.85）。第一階段用 LoRA 微調（r=16，α=32），在 BGE-M3、Cornstack 等領域資料集上訓練，每個查詢配 16 篇文件。第二階段將上下文擴展到 8,192 詞元，並跨多個檢索系統挖掘難負樣本，每個查詢最多 25 個負樣本，τ=0.05。第三階段以 0.25 至 0.65 的權重合併各專用模型。特殊詞元 doc_emb 和 query_emb 用於標記向量提取位置。訓練使用帶 system/user/assistant 角色的結構化提示，並把查詢同時放在開頭和結尾，以形成雙向注意力。

在 BEIR 上取得 61.94 的 nDCG-10，在所有參評重排模型中最高，比 jina-reranker-v2 提升 4.88%。多跳檢索表現出色，HotpotQA 達 78.56；事實核查方面，FEVER 達 93.95。多語言方面，覆蓋 18 種語言的 MIRACL 達 66.50，其中阿拉伯語 78.69、泰語 81.06。程式碼檢索在 CoIR 上達 63.28。參數量僅為 1.5B 的 mxbai-rerank-large（61.44）的五分之二，成績卻更勝一籌，並比同規模的 bge-reranker-v2-m3 高出 5.43%。面對不同的文件排列順序表現穩定：隨機 62.54，降序 61.94，升序 61.52。

請使用帶 system/user/assistant 角色和特殊詞元的結構化提示模板來提取向量。候選集超出 131K 上下文時，每次前向傳播最多處理 64 篇文件。文件隨機排序或按相關性降序排列時效果最佳。做對比排序任務時，可充分利用其跨文件互動能力。多語言場景下，模型在 18 種語言間具備出色的零樣本遷移能力。文件量大時請採用批處理，並在各批次間保持查詢向量一致。相似度計算可考慮直接使用 256 維輸出向量以提升效率。該模型非常適合既看重排序品質又要求推理效率的場景，尤其是多跳推理和事實核查任務。