jina-reranker-v1-tiny-en

jina-reranker-v1-tiny-en 是一个 33M 参数的英语 cross-encoder 重排序模型——Jina v1 家族中最小的一个。通过激进的知识蒸馏，它在将文档处理速度提升 5 倍、内存使用比 turbo 变体少 13% 的同时，保留了基线模型 92.5% 的准确率。它面向对延迟预算要求严格的边缘计算、移动应用和高吞吐搜索系统设计。

该模型采用基于 JinaBERT 的精简四层架构，使用对称双向 ALiBi 位置编码。其开发利用了来自 137M 参数 jina-reranker-v1-base-en 的知识蒸馏，该模型作为教师模型。学生模型无需大量真实训练数据即可学习最优排序行为，仅用 33M 参数即可匹配教师的软排序分布。四层设计和缩减的隐藏维度实现了对基线模型的 5 倍加速。该模型支持 1,024 token 的上下文，并对较长文档自动分块。

在 BEIR 上，该模型取得 NDCG{'@'}10 48.54，保留了基线模型性能（52.45）的 92.5%，而体积仅为后者的四分之一。在 LlamaIndex RAG 基准上，它在显著更快处理文档的同时保持 83.16% 的命中率，几乎与更大的模型相当。吞吐量比基线模型快近 5 倍，内存使用比 turbo 变体少 13%。这些指标可与或超过 mxbai-rerank-base-v1（184M）和 bge-reranker-base（278M）等更大的模型。性能-体积的权衡使其特别适合资源受限的部署。

优先选择处理速度和资源效率至关重要的场景：边缘计算、移动应用以及对延迟预算要求严格的高吞吐搜索系统。对于需要绝对最大排序精度的应用，基线模型或 jina-reranker-v3.5 更合适。该模型需要支持 CUDA 的 GPU 才能达到最佳性能，但可在比更大模型更低的硬件上运行。它与主要向量数据库和 RAG 框架集成，可通过 Jina Reranker API 和 AWS SageMaker 获取。该模型仅限英语；多语言应用请使用 jina-reranker-v2-base-multilingual 或 jina-reranker-v3.5。针对特定领域微调时，请仔细平衡训练数据质量与模型的精简架构，以保持性能特性。