jina-reranker-v3

jina-reranker-v3는 0.6B 파라미터의 다국어 문서 Reranker로, 새로운 "last but not late" 상호작용 아키텍처를 도입했습니다. ColBERT의 개별 인코딩 + 다중 벡터 매칭 방식과 달리, 이 모델은 동일한 컨텍스트 윈도우 내에서 쿼리와 문서 간에 인과적 셀프 어텐션을 수행하여, 각 문서의 마지막 토큰에서 컨텍스트 임베딩을 추출하기 전에 풍부한 문서 간 상호작용을 가능하게 합니다. Qwen3-0.6B를 기반으로 구축된 이 모델은 28개의 트랜스포머 레이어와 경량 MLP 프로젝터(1024→512→256)를 갖추고 있으며, 131K 토큰 컨텍스트 내에서 최대 64개의 문서를 동시에 처리할 수 있습니다. 이 모델은 61.94 nDCG-10이라는 최첨단 BEIR 성능을 달성하는 동시에 생성형 리스트와이즈 Reranker보다 10배 더 작습니다.

InfoNCE, 분산 손실(0.45), 이중 매칭 손실(0.85), 유사도 손실(0.85)을 결합한 다목적 손실 함수를 사용하는 3단계 점진적 학습을 적용합니다. 1단계에서는 BGE-M3, Cornstack 등 도메인별 데이터셋에 대해 쿼리당 16개 문서로 LoRA 미세 조정(r=16, α=32)을 수행합니다. 2단계에서는 컨텍스트를 8,192 토큰으로 확장하고 여러 검색 시스템에 걸쳐 τ=0.05로 최대 25개의 하드 네거티브를 채굴합니다. 3단계에서는 0.25~0.65의 가중치로 특화 모델들을 병합합니다. 특수 토큰 doc_emb와 query_emb는 임베딩 추출 위치를 표시합니다. 학습에는 system/user/assistant 역할을 갖는 구조화된 프롬프트를 사용하며, 양방향 어텐션을 위해 쿼리를 시작과 끝에 모두 배치합니다.

BEIR에서 61.94 nDCG-10을 달성하여 평가된 모든 Reranker 중 가장 높았으며, jina-reranker-v2보다 4.88% 향상되었습니다. 멀티홉 검색에서 HotpotQA 78.56, 사실 검증에서 FEVER 93.95로 탁월한 성능을 보였습니다. 다국어 성능은 18개 언어를 아우르는 MIRACL에서 66.50에 도달했으며, 아랍어는 78.69, 태국어는 81.06을 기록했습니다. 코드 검색은 CoIR에서 63.28을 달성했습니다. 매개변수가 2.5배 적음에도 1.5B 규모의 mxbai-rerank-large(61.44)를 능가했습니다. 동일 규모의 bge-reranker-v2-m3 대비 5.43% 향상되었습니다. 문서 정렬 순서에 대해 비교적 안정적입니다. 무작위(62.54), 내림차순(61.94), 오름차순(61.52).

임베딩 추출을 위해 시스템/사용자/어시스턴트 역할과 특수 토큰을 포함하는 구조화된 프롬프트 템플릿을 사용하십시오. 131K 컨텍스트를 초과하는 컬렉션의 경우 순방향 패스당 최대 64개의 문서를 처리하십시오. 문서를 무작위로 정렬하거나 관련성 내림차순으로 정렬하면 최적의 결과를 얻을 수 있습니다. 비교 순위 지정 작업에는 문서 간 상호 작용 기능을 활용하십시오. 다국어 애플리케이션의 경우, 이 모델은 18개 언어에 걸쳐 강력한 제로샷 전이를 제공합니다. 대규모 문서 세트에는 배치 처리를 구현하고 배치 전반에서 쿼리 임베딩을 일관되게 유지하십시오. 효율적인 유사도 계산을 위해 256차원 출력 임베딩을 고려하십시오. 순위 품질과 추론 효율성이 모두 요구되는 애플리케이션, 특히 다중 홉 추론 및 사실 확인 작업에 이상적입니다.