jina-reranker-v3.5

jina-reranker-v3.5는 0.6B 파라미터의 다국어 리스트와이즈 문서 Reranker로, jina-reranker-v3를 그대로 대체할 수 있는 업그레이드 버전입니다. 단일 순전파로 하나의 쿼리에 대해 다수의 후보를 순위 매기는 동일한 last-but-not-late(LBNL) 리스트와이즈 인터페이스를 유지하면서 도메인 견고성, 구조화된 데이터 순위 지정, 다국어 검색 및 추론 효율성을 향상시켰습니다. Qwen3-0.6B를 기반으로 구축되었으며 28개 레이어에 하이브리드 3L2G 어텐션(윈도우 크기 1024의 슬라이딩 윈도우 레이어를 전역 어텐션 레이어와 교차 배치하고, LBNL에 필요한 최종 전역 레이어를 고정)과 경량 MLP 프로젝터(1024→512→512)를 사용하여 최대 131K 토큰의 컨텍스트를 지원하고, 인과적 셀프 어텐션과 코사인 스코어링을 통해 문서 순위를 공동으로 매깁니다. BEIR에서 63.20 nDCG-10을 달성했는데, 이는 약 7배 적은 파라미터로 4B Qwen3-Reranker를 능가하는 수치입니다. 또한 짧은 컨텍스트부터 긴 컨텍스트까지 v3보다 1.22배~1.56배 빠르게 실행됩니다.

jina-reranker-v3.5는 jina-reranker-v3의 last-but-not-late(LBNL) 리스트와이즈 설계를 유지합니다. 쿼리와 후보가 단일 컨텍스트 윈도우를 공유하고, 컨텍스트 임베딩은 각 문서의 마지막 토큰에서 읽어옵니다. 다만 균일한 전역 어텐션을 하이브리드 3L2G 방식으로 대체했습니다. 각 레이어 그룹 내에서 슬라이딩 윈도우 어텐션 레이어(윈도우 크기 1024)가 전역 어텐션 레이어와 교대로 배치되고, 최종 전역 레이어는 LBNL 요구 사항에 따라 고정됩니다. 이를 통해 긴 후보 목록에서의 어텐션 비용을 낮추면서도 문서 간 상호작용을 보존합니다. 이 모델은 도메인에 견고한 검색을 위해 자기 증류(self-distillation)로 학습되었으며, MLP 프로젝터 헤드는 512차원 임베딩(1024→512→512)을 출력합니다.

jina-embeddings-v5-text-small을 1단계로 사용하는 통합 top-100 프로토콜에서 jina-reranker-v3.5는 BEIR 63.20 nDCG-10, MIRACL 74.11, RTEB 70.95, Struct-IR 48.3을 기록하여 모든 축에서 jina-reranker-v3(62.10 / 72.20 / 68.01 / 38.7)보다 향상되었습니다. BEIR 점수는 매개변수가 약 7배 적음에도 4B Qwen3-Reranker(62.28)를 근소하게 앞섰으며, 평가된 모든 0.6B급 Reranker 중 선두를 차지했습니다. v3 대비 개선 폭은 BEIR +1.10, MIRACL +2.6%, RTEB +4.3%(법률 검색에서 큰 향상), 구조화된 데이터 순위 지정(Struct-IR) +24.8%입니다. 리스트와이즈 추론은 짧은 컨텍스트부터 긴 컨텍스트까지 v3보다 1.22배~1.56배 빠르게 실행됩니다(A100, FlashAttention-2).

jina-reranker-v3.5는 jina-reranker-v3를 직접 대체하는 모델입니다. 요청 스키마는 동일하며, 모델 문자열만 jina-reranker-v3에서 jina-reranker-v3.5로 바꾸면 됩니다. 이 모델은 단일 호출로 쿼리에 대해 전체 후보 목록의 순위를 매깁니다. 표준 rerank 엔드포인트로 문서를 전달하고 top_n을 사용하여 반환되는 결과를 제한하거나, return_embeddings를 설정하여 문서 임베딩도 함께 가져올 수 있습니다. 이 모델은 특히 구조화된 데이터 순위 지정, 법률 및 기타 도메인별 검색, 다국어 컬렉션에서 뛰어난 성능을 보이며, 하이브리드 어텐션 설계를 통해 긴 후보 목록에서도 지연 시간을 낮게 유지합니다. Hugging Face에서 CC-BY-NC-4.0 라이선스로 제공됩니다. 상업적 사용에 대해서는 당사에 문의하십시오.