概述
jina-reranker-v1-tiny-en 是一個 33M 參數的英語交叉編碼器重排模型,也是 Jina v1 系列中最小的一員。透過激進的知識蒸餾,它在文件處理速度快 5 倍、記憶體用量比 turbo 變體少 13% 的同時,仍保有基礎模型 92.5% 的準確率。它鎖定對延遲預算要求嚴格的邊緣運算、行動應用與高吞吐搜尋系統。
方法
該模型採用基於 JinaBERT 的精簡四層架構,搭配對稱雙向 ALiBi 位置編碼。其開發借用 137M 參數 jina-reranker-v1-base-en 的知識蒸餾,由後者擔任教師模型。學生模型不需大量真實訓練資料就能學到最佳排序行為,僅用 33M 參數即對齊教師的軟排序分佈。四層設計與縮減的隱藏維度,是它比基礎模型快 5 倍的原因。該模型支援 8,192 詞元上下文,較長文件會自動分塊。
效能
在 BEIR 上,該模型取得 NDCG{'@'}10 48.54,保留基礎模型效能(52.45)的 92.5%,體積卻只有四分之一。在 LlamaIndex RAG 基準上,它維持 83.16% 的命中率,處理文件明顯更快,表現幾乎與更大的模型相當。吞吐量比基礎模型快近 5 倍,記憶體用量比 turbo 變體少 13%。這些指標與 mxbai-rerank-base-v1(184M)、bge-reranker-base(278M)等大上許多的模型相比毫不遜色,甚至更好。效能與體積的取捨,讓它特別適合資源受限的部署。
最佳實務
優先用在處理速度與資源效率至關重要的場景:邊緣運算、行動應用,以及延遲預算嚴格的高吞吐搜尋系統。若應用要求絕對最高的排序精確度,基礎模型或 jina-reranker-v3.5 會更合適。該模型需要支援 CUDA 的 GPU 才能發揮最佳效能,但可在比大型同類模型規格更低的硬體上執行。它可與主流向量資料庫及 RAG 框架整合,並可透過 Jina Reranker API 與 AWS SageMaker 取得。該模型僅支援英語;多語言應用請用 jina-reranker-v2-base-multilingual 或 jina-reranker-v3.5。針對特定領域微調時,請仔細拿捏訓練資料品質與模型精簡架構之間的平衡,以維持原有的效能特性。





