jina-reranker-m0: 다국어 멀티모달 문서 재정렬기

jinaai/jina-reranker-m0 · Hugging Face

우리는 오픈소스와 오픈 사이언스를 통해 인공지능을 발전시키고 대중화하는 여정을 걷고 있습니다.

오늘 우리는 jina-reranker-m0를 공개합니다. 이는 여러 언어에 걸친 시각적 문서 랭킹을 위한 새로운 다국어 멀티모달 리랭커 모델입니다. 이 모델은 쿼리와 함께 텍스트, 그림, 표, 인포그래픽 및 다양한 레이아웃을 포함하는 시각적으로 풍부한 문서 이미지 컬렉션을 29개 이상의 언어로 처리할 수 있습니다. 입력 쿼리에 대한 관련성에 따라 문서의 순위가 매겨진 목록을 출력합니다. jina-reranker-v2-base-multilingual와 비교하여, jina-reranker-m0는 다국어 콘텐츠, 긴 문서, 코드 검색 작업에 대한 텍스트 리랭킹도 개선했습니다.

tag새로운 아키텍처

jina-reranker-v2-base-multilingual와 달리, jina-reranker-m0는 기존의 크로스 인코더 아키텍처에서 디코더 전용 비전 언어 모델로 전환했습니다. Qwen2-VL의 사전 학습된 비전 인코더와 프로젝터를 활용하고, LoRA로 LLM을 미세 조정했으며, 쿼리-문서 관련성을 측정하는 랭킹 로짓을 생성하기 위해 MLP를 후속 학습했습니다. 이는 랭킹 작업에 최적화된 판별 모델을 제공합니다.

이 새로운 아키텍처를 통해 jina-reranker-m0는 최대 32K 토큰을 처리할 수 있으며, 시각적 및 텍스트 입력을 원활하게 결합할 수 있습니다. 이 모델은 최소 56×56 픽셀에서 4K 해상도까지의 이미지를 지원합니다. 이미지를 처리할 때, ViT와 프로젝터는 인접한 2×2 토큰을 LLM 입력을 위한 단일 시각적 토큰으로 압축합니다. <|vision_start|>와 <|vision_end|>와 같은 특수 토큰은 시각적 토큰 경계를 명확히 표시하여, 언어 모델이 시각적 정보를 적절히 처리하고 시각적 및 텍스트 요소를 통합하는 정교한 멀티모달 추론을 수행할 수 있게 합니다.

이 아키텍처는 또한 jina-clip-v1과 jina-clip-v2와 같은 이전 모델들을 괴롭혔던 모달리티 갭 문제를 효과적으로 해결합니다. 이전에는 이미지는 다른 이미지 근처에 클러스터링되고 텍스트는 다른 텍스트 근처에 클러스터링되어 표현 공간에서 단절이 발생했습니다. 이는 후보 문서에 이미지와 텍스트가 모두 포함되어 있을 때 텍스트 쿼리를 사용하여 이미지를 검색하는 것이 문제가 된다는 것을 의미했습니다. jina-reranker-m0를 사용하면 이제 이 갭에 대해 걱정할 필요 없이 이미지와 문서의 순위를 함께 매길 수 있어 진정으로 통합된 멀티모달 검색 경험을 만들 수 있습니다.

우리의 학습은 최대 10K 입력 토큰으로 제한되었으며, 이미지당 최대 768 토큰(<|vision_start|>와 <|vision_end|> 마커 사이)을 사용했다는 점을 주목할 만합니다. 또한 우리는 image-to-image, image-to-multimodal, 또는 text-to-multimodal 리랭킹 작업을 위한 특별한 학습을 하지 않았습니다. 여기서 "멀티모달"은 입력에서 이미지와 텍스트 토큰을 모두 포함하는 단일 문서를 의미합니다. 쿼리와 문서에서 가능한 모든 이미지 및 텍스트 토큰의 조합을 살펴보면, jina-reranker-m0가 지원하는 전체 작업 범위를 아래 표에 요약할 수 있습니다.

테스트에서 모델이 이러한 학습되지 않은 순위 지정 작업으로 확장될 수 있다는 몇 가지 증거를 발견했지만, 이러한 영역에서의 효과는 모델의 제로샷 전이성이나 의도하지 않은 학습 부작용의 결과로 보아야 합니다. 우리는 이러한 작업에 대한 모델의 성능을 심각하게 평가하지 않았으며, 향후 연구에서 이러한 기능을 더 철저히 탐구할 계획입니다.

tag시작하기

tagAPI를 통해

아래 코드는 쿼리 "small language model data extraction"와 이미지 및 텍스트 문서 컬렉션 간의 관련성 점수를 계산하는 방법을 보여줍니다. 텍스트 문자열, base64로 인코딩된 이미지 또는 이미지 URL을 전달할 수 있습니다. 신규 사용자는 100만 개의 무료 토큰이 포함된 Jina API 키를 받을 수 있습니다. API는 이미지를 쿼리로 사용하는 것을 지원하지 않지만, Hugging Face Transformers 라이브러리를 통해 모델에 접근할 때는 이미지를 쿼리로 사용할 수 있습니다.

curl -X POST \
  https://api.jina.ai/v1/rerank \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer JINA_API_KEY" \
  -d '{
  "model": "jina-reranker-m0",
  "query": "small language model data extraction",
  "documents": [
    {
      "image": "https://raw.githubusercontent.com/jina-ai/multimodal-reranker-test/main/handelsblatt-preview.png"
    },
    {
      "image": "https://raw.githubusercontent.com/jina-ai/multimodal-reranker-test/main/paper-11.png"
    },
    {
      "image": "https://raw.githubusercontent.com/jina-ai/multimodal-reranker-test/main/wired-preview.png"
    },
    {
      "text": "We present ReaderLM-v2, a compact 1.5 billion parameter language model designed for efficient web content extraction. Our model processes documents up to 512K tokens, transforming messy HTML into clean Markdown or JSON formats with high accuracy -- making it an ideal tool for grounding large language models. The models effectiveness results from two key innovations: (1) a three-stage data synthesis pipeline that generates high quality, diverse training data by iteratively drafting, refining, and critiquing web content extraction; and (2) a unified training framework combining continuous pre-training with multi-objective optimization. Intensive evaluation demonstrates that ReaderLM-v2 outperforms GPT-4o-2024-08-06 and other larger models by 15-20% on carefully curated benchmarks, particularly excelling at documents exceeding 100K tokens, while maintaining significantly lower computational requirements."
    },
    {
      "image": "https://jina.ai/blog-banner/using-deepseek-r1-reasoning-model-in-deepsearch.webp"
    },
    {
      "text": "数据提取么？为什么不用正则啊，你用正则不就全解决了么？"
    },
    {
      "text": "During the California Gold Rush, some merchants made more money selling supplies to miners than the miners made finding gold."
    },
    {
      "text": "Die wichtigsten Beiträge unserer Arbeit sind zweifach: Erstens führen wir eine neuartige dreistufige Datensynthese-Pipeline namens Draft-Refine-Critique ein, die durch iterative Verfeinerung hochwertige Trainingsdaten generiert; und zweitens schlagen wir eine umfassende Trainingsstrategie vor, die kontinuierliches Vortraining zur Längenerweiterung, überwachtes Feintuning mit spezialisierten Kontrollpunkten, direkte Präferenzoptimierung (DPO) und iteratives Self-Play-Tuning kombiniert. Um die weitere Forschung und Anwendung der strukturierten Inhaltsextraktion zu erleichtern, ist das Modell auf Hugging Face öffentlich verfügbar."
    }
  ],
  "return_documents": false
}'
Copy

아래는 응답 결과입니다. 첫 번째 결과 index=1는 ReaderLM-v2 논문 스크린샷에 해당합니다.

{"model":"jina-reranker-m0","usage":{"total_tokens":2829},"results":[{"index":1,"relevance_score":0.9587112551898949},{"index":3,"relevance_score":0.9337408271911014},{"index":7,"relevance_score":0.8922925217195924},{"index":2,"relevance_score":0.8891905997562045},{"index":0,"relevance_score":0.8827516945848907},{"index":4,"relevance_score":0.8701035914834407},{"index":6,"relevance_score":0.8676828987527296},{"index":5,"relevance_score":0.8455347349164652}]}
Copy

tagCSP 마켓플레이스를 통해

jina-reranker-m0는 곧 AWS, Azure 및 GCP에서 해당 플랫폼에 명시된 가격으로 직접 이용할 수 있습니다.

tagHuggingFace를 통해

Hugging Face 페이지에서 로컬로 모델을 사용할 수도 있습니다. 작동 방식을 보여주는 Google Colab 노트북을 준비했습니다. 웹 API와 비교하여 로컬에서 모델을 사용하면 이미지를 쿼리로 사용하고 멀티모달 문서로 작업하는 등 더 큰 유연성을 제공합니다.

Google Colab

tag평가

[public]-jina-reranker-m0-evaluation-results

Google Docs

tagBEIR (텍스트-텍스트, 영어만)

BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models

Existing neural information retrieval (IR) models have often been studied in homogeneous and narrow settings, which has considerably limited insights into their out-of-distribution (OOD) generalization capabilities. To address this, and to facilitate researchers to broadly evaluate the effectiveness of their models, we introduce Benchmarking-IR (BEIR), a robust and heterogeneous evaluation benchmark for information retrieval. We leverage a careful selection of 18 publicly available datasets from diverse text retrieval tasks and domains and evaluate 10 state-of-the-art retrieval systems including lexical, sparse, dense, late-interaction and re-ranking architectures on the BEIR benchmark. Our results show BM25 is a robust baseline and re-ranking and late-interaction-based models on average achieve the best zero-shot performances, however, at high computational costs. In contrast, dense and sparse-retrieval models are computationally more efficient but often underperform other approaches, highlighting the considerable room for improvement in their generalization capabilities. We hope this framework allows us to better evaluate and understand existing retrieval systems, and contributes to accelerating progress towards better robust and generalizable systems in the future. BEIR is publicly available at https://github.com/UKPLab/beir.

arXiv.orgNandan Thakur

BEIR는 IR 모델의 다양성과 견고성을 평가하기 위해 설계된 이질적인 정보 검색 벤치마크입니다. 다양한 도메인의 데이터셋을 포함하고 있으며 제로샷 평가에 중점을 둡니다. NDCG, Recall@K, MRR과 같은 표준화된 평가 지표가 사용됩니다.

tagMIRACL (Text2Text, 다국어, 18개 언어)

Making a MIRACL: 연속적인 언어들에 걸친 다국어 정보 검색

MIRACL (Multilingual Information Retrieval Across a Continuum of Languages)은 전 세계적으로 30억 이상의 원어민을 포괄하는 18개의 서로 다른 언어에 걸친 애드혹 검색에 초점을 맞춘 WSDM 2023 Cup 챌린지를 위해 구축한 다국어 데이터셋입니다. 이 언어들은 다양한 유형학을 가지고 있고, 많은 다른 언어군에서 유래했으며, 연구자들이 일반적으로 고자원 및 저자원 언어로 특징짓는 다양한 수준의 가용 자원과 관련이 있습니다. 우리의 데이터셋은 쿼리와 코퍼스가 동일한 언어인 단일어 검색을 위한 모델의 생성과 평가를 지원하도록 설계되었습니다. 총 18개 언어의 위키피디아에서 약 77,000개의 쿼리에 대해 700,000개 이상의 고품질 관련성 판단을 수집했으며, 모든 평가는 우리 팀이 고용한 원어민들에 의해 수행되었습니다. 우리의 목표는 연속적인 언어들에 걸쳐 검색을 개선하는 연구를 촉진하여, 특히 전통적으로 소외되었던 사람들을 포함한 전 세계의 다양한 인구를 위한 정보 접근성을 향상시키는 것입니다. 이 개요 논문은 우리가 커뮤니티와 공유하는 데이터셋과 기준선에 대해 설명합니다. MIRACL 웹사이트는 http://miracl.ai/에서 이용할 수 있습니다.

arXiv.orgXinyu Zhang

MIRACL은 18개 언어에 걸친 대규모 다국어 애드혹 정보 검색 데이터셋입니다. 30억 명 이상의 원어민 화자를 포함하며 철저한 인간 주석이 특징입니다. 단일어 검색 작업에 중점을 두고 있습니다.

tagMLDR (Text2Text, 다국어 긴 문서, 13개 언어)

BGE M3-Embedding: 자가 지식 증류를 통한 다국어, 다기능, 다중 입도 텍스트 임베딩

본 논문에서는 다국어성, 다기능성, 다중 입도를 특징으로 하는 M3-Embedding이라는 새로운 임베딩 모델을 소개합니다. 100개 이상의 작업 언어를 지원하여 다국어 및 교차 언어 검색 작업에서 새로운 최첨단 성능을 이끌어냅니다. 실제 IR 응용 프로그램을 위한 통합 모델 기반을 제공하는 밀집 검색, 다중 벡터 검색, 희소 검색이라는 세 가지 일반적인 검색 기능을 동시에 수행할 수 있습니다. 짧은 문장부터 최대 8192 토큰의 긴 문서까지 다양한 입도의 입력을 처리할 수 있습니다. M3-Embedding의 효과적인 훈련에는 다음과 같은 기술적 기여가 포함됩니다. 서로 다른 검색 기능의 관련성 점수를 교사 신호로 통합하여 훈련 품질을 향상시킬 수 있는 새로운 자가 지식 증류 접근 방식을 제안합니다. 또한 배치 전략을 최적화하여 대규모 배치 크기와 높은 훈련 처리량을 가능하게 함으로써 임베딩의 식별력을 보장합니다. 우리가 아는 한, M3-Embedding은 이러한 강력한 다양성을 실현한 최초의 임베딩 모델입니다. 모델과 코드는 https://github.com/FlagOpen/FlagEmbedding에서 공개될 예정입니다.

arXiv.orgJianlv Chen

MLDR은 장문 문서 검색을 위해 특별히 설계된 다국어 데이터셋으로, 13개 언어를 지원합니다. GPT-3.5를 사용하여 문서에 대한 질문을 생성합니다. 이 데이터셋은 Wikipedia, Wudao 및 mC4를 기반으로 구축되었습니다.

tagMKQA (Text2Text, 다국어 질의응답, 24개 언어, 중국어 3가지 변형)

MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering

교차 언어 모델링의 발전은 도전적이고 현실적이며 다양한 평가 세트에 달려있습니다. 우리는 26개의 유형학적으로 다양한 언어에 걸쳐 정렬된 10k개의 질문-답변 쌍(총 260k 질문-답변 쌍)으로 구성된 개방형 도메인 질의응답 평가 세트인 Multilingual Knowledge Questions and Answers (MKQA)를 소개합니다. 답변은 철저하게 검토된 언어 독립적 데이터 표현을 기반으로 하여, 언어 간 결과를 비교할 수 있고 언어별 구절에 독립적입니다. 26개 언어로 구성된 이 데이터셋은 질의응답 평가를 위한 가장 광범위한 언어를 제공합니다. 우리는 Natural Questions에서 학습된 다양한 최신 방법과 생성적 및 추출적 질의응답을 위한 기준선을 제로샷 및 번역 설정에서 벤치마크했습니다. 결과는 이 데이터셋이 영어에서도 어렵지만, 특히 저자원 언어에서 더욱 어렵다는 것을 보여줍니다.

arXiv.orgShayne Longpre

MKQA는 Google Natural Questions에서 추출한 10k개의 질문-답변 쌍을 26개의 유형학적으로 다양한 언어로 정렬한 오픈 도메인 질문 답변 평가 세트입니다.

tagCoIR (Text2Text, 코드 정보 검색)

CoIR: 코드 정보 검색 모델을 위한 종합적인 벤치마크

정보 검색(IR)이 다양한 NLP 작업에서 상당한 성공을 거두었음에도 불구하고, 대부분의 IR 시스템은 주로 자연어로 된 쿼리와 코퍼스를 처리하며 코드 검색 영역을 간과하고 있습니다. 코드 검색은 매우 중요하지만 아직 충분히 연구되지 않았으며, 기존의 방법과 벤치마크는 다양한 도메인과 작업에서의 코드 다양성을 적절히 반영하지 못하고 있습니다. 이러한 간극을 해소하기 위해, 우리는 코드 검색 능력을 평가하기 위해 특별히 설계된 강력하고 포괄적인 벤치마크인 COIR (코드 정보 검색 벤치마크)를 제시합니다. COIR는 7개의 다양한 도메인에 걸쳐 8개의 특징적인 검색 작업을 포함하는 10개의 세심하게 선별된 코드 데이터셋으로 구성되어 있습니다. 우리는 먼저 COIR의 구축과 다양한 데이터셋 구성에 대해 논의합니다. 또한, COIR를 사용하여 9개의 널리 사용되는 검색 모델을 평가하여 최첨단 시스템에서도 코드 검색 작업 수행에 상당한 어려움이 있음을 밝혀냈습니다. 기존 연구 워크플로우에 쉽게 적용하고 통합할 수 있도록 COIR는 pip를 통해 쉽게 설치할 수 있는 사용자 친화적인 Python 프레임워크로 개발되었습니다. MTEB와 BEIR와 같은 다른 인기 있는 벤치마크와 동일한 데이터 스키마를 공유하여 원활한 벤치마크 간 평가를 가능하게 합니다. COIR를 통해 우리는 코드 검색 도메인의 연구를 활성화하고, 코드 검색 시스템의 추가 개발과 탐구를 장려하는 다목적 벤치마킹 도구를 제공하고자 합니다 https://github.com/CoIR-team/coir.

arXiv.orgXiangyang Li

CoIR은 코드 검색에서 모델의 성능을 평가하기 위해 설계된 종합적인 벤치마크입니다. 7개의 다양한 도메인에 걸쳐 8개의 검색 작업을 포함하는 10개의 큐레이트된 코드 데이터셋을 포함합니다. 이 벤치마크를 위한 Python 프레임워크가 제공됩니다.

tagViDoRe (텍스트-이미지 변환, 시각적 문서 검색 벤치마크)

ColPali: Vision Language Models를 활용한 효율적인 문서 검색

문서는 텍스트뿐만 아니라 그림, 페이지 레이아웃, 표, 심지어 폰트를 통해 정보를 전달하는 시각적으로 풍부한 구조입니다. 현대의 검색 시스템은 주로 문서 페이지에서 추출한 텍스트 정보에 의존하여 문서를 색인화하기 때문에 (종종 길고 불안정한 프로세스를 통해), 핵심 시각적 단서를 효율적으로 활용하는 데 어려움을 겪습니다. 이는 검색 증강 생성(RAG)과 같은 많은 실용적인 문서 검색 애플리케이션에서 그들의 능력을 제한합니다. 시각적으로 풍부한 문서 검색에서 현재 시스템의 성능을 벤치마크하기 위해, 우리는 다양한 도메인, 언어 및 실용적 설정을 포괄하는 여러 페이지 수준의 검색 작업으로 구성된 Visual Document Retrieval Benchmark ViDoRe를 소개합니다. 현대 시스템의 내재적 복잡성과 성능 부족은 새로운 개념을 동기화합니다. 문서 페이지의 이미지를 직접 임베딩하여 문서 검색을 수행하는 것입니다. 우리는 문서 페이지의 이미지에서 고품질 다중 벡터 임베딩을 생성하도록 훈련된 Vision Language Model인 ColPali를 공개합니다. 후기 상호작용 매칭 메커니즘과 결합된 ColPali는 현대의 문서 검색 파이프라인보다 훨씬 단순하고 빠르며 종단간 훈련이 가능하면서도 크게 성능을 향상시킵니다. 우리는 모델, 데이터, 코드 및 벤치마크를 https://hf.co/vidore에서 오픈 라이선스로 공개합니다.

arXiv.orgManuel Faysse

ViDoRe는 시각적 특징을 사용하여 쿼리를 관련 문서에 매칭하는 검색 시스템의 능력을 평가하기 위해 설계된 벤치마크입니다. 여러 도메인과 언어에 걸쳐 다양한 페이지 수준의 검색 작업을 다룹니다. 이 벤치마크는 문서의 시각적 요소에 중점을 둡니다.

tagM-BEIR (Text2Image，Image2Text，멀티모달 지시 검색을 위한 벤치마크)

UniIR: Training and Benchmarking Universal Multimodal Information Retrievers

기존의 정보 검색(IR) 모델들은 동일한 형식을 가정하는 경우가 많아서，텍스트 설명으로 이미지를 검색하거나，헤드라인 이미지로 뉴스 기사를 검색하거나，쿼리 이미지로 유사한 사진을 찾는 등 다양한 사용자 요구를 충족시키는 데 제한이 있습니다. 이러한 다양한 정보 검색 요구를 해결하기 위해，우리는 8가지 서로 다른 모달리티 간 검색 작업을 처리할 수 있는 통합된 지시 기반 멀티모달 검색기인 UniIR을 소개합니다. 10개의 다양한 멀티모달 IR 데이터셋에서 공동 훈련된 단일 검색 시스템인 UniIR은 사용자 지시를 해석하여 다양한 검색 작업을 수행하며，기존 데이터셋에서 강력한 성능을 보이고 새로운 작업에 대한 제로샷 일반화를 보여줍니다. 우리의 실험은 멀티태스크 훈련과 지시 튜닝이 UniIR의 일반화 능력의 핵심임을 보여줍니다. 또한，우리는 종합적인 결과를 포함하는 멀티모달 검색 벤치마크인 M-BEIR을 구축하여 범용 멀티모달 정보 검색의 평가를 표준화했습니다.

arXiv.orgCong Wei

M-BEIR은 멀티모달 검색 모델을 훈련하고 평가하기 위해 설계된 포괄적인 대규모 검색 벤치마크입니다. 다양한 도메인과 소스에서 가져온 8가지 멀티모달 검색 작업과 10개의 데이터셋으로 구성되어 있습니다. 이 벤치마크는 지시사항을 따르는 검색에 중점을 둡니다.

tagWinoground (Text2Text，Text2Image)

Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality

우리는 비전 및 언어 모델의 시각-언어적 구성 추론 능력을 평가하기 위한 새로운 작업과 데이터셋인 Winoground를 제시합니다. 두 개의 이미지와 두 개의 캡션이 주어졌을 때，이들을 올바르게 매칭하는 것이 목표인데 - 중요한 점은 두 캡션이 완전히 동일한 단어 집합을 포함하되 순서만 다르다는 것입니다. 이 데이터셋은 전문 주석자들이 신중하게 수작업으로 큐레이션했으며，모델 성능 분석을 돕기 위해 상세한 태그 세트로 레이블링되어 있습니다. 우리는 다양한 최신 비전 및 언어 모델을 테스트했고，놀랍게도 어떤 모델도 우연의 수준보다 크게 나은 성능을 보이지 못했습니다. 명백히 이러한 모델들은 우리가 기대했던 만큼 시각-언어적 구성 추론에 능숙하지 않습니다. 우리는 향후 연구가 이러한 모델들의 단점을 어떻게 개선할 수 있을지에 대한 통찰을 얻기 위해 광범위한 분석을 수행했습니다. Winoground가 최신 기술을 발전시키고 이 분야의 추가 발전을 이끄는 유용한 평가 세트로 기능하기를 기대합니다. 데이터셋은 https://huggingface.co/datasets/facebook/winoground에서 이용할 수 있습니다.

arXiv.orgTristan Thrush

Winoground는 시각 및 언어 모델의 시각-언어적 조합 추론 능력을 평가하기 위한 새로운 과제와 데이터셋입니다. 동일한 단어 내용을 가진 쌍둥이 캡션을 사용하고 대조적인 이미지-캡션 쌍을 활용합니다. 조합적 추론에 초점을 맞추고 있습니다.

Winoground는 세 가지 주요 지표를 사용하여 시각-언어 모델을 평가합니다: Text Score, Image Score, Group Score입니다. Text Score는 모델이 캡션을 이미지와 올바르게 매칭하는지 측정하고, Image Score는 캡션에 대해 올바른 이미지를 선택하는지 평가합니다. 가장 엄격한 지표인 Group Score는 모든 캡션-이미지 관계가 올바르게 식별되어야 합니다. 점수는 정확도를 나타내는 백분율로, 높은 값일수록 더 나은 추론 능력을 나타냅니다.

tag결론

jina-reranker-m0는 텍스트와 시각적 모달리티를 단일 디코더 전용 모델로 통합하려는 우리의 첫 시도입니다. 이 새로운 아키텍처는 jina-clip-v2, jina-embeddings-v3, jina-reranker-v2-base-multilingual 및 jina-embeddings-v2-base-code를 포함한 이전의 인코더 전용 검색 모델에서 얻은 교훈을 반영합니다.

새로운 모델은 텍스트-이미지 재순위화 및 시각적 문서 재순위화와 같은 멀티모달 검색 작업에 대한 기능을 제공할 뿐만 아니라, 텍스트-텍스트 및 텍스트-코드 재순위화 작업에서 jina-reranker-v2-base-multilingual보다 향상된 성능을 보여줍니다. 우리는 이 새로운 모델 시리즈를 멀티모달 특성을 강조하기 위해 "m-시리즈"로 지정합니다.

jina-reranker-m0를 jina-reranker-v2-base-multilingual와 비교할 때, m-시리즈의 목표는 텍스트 전용 작업에서 전문화된 텍스트 전용 모델과 비슷한 수준의 성능을 개선하면서 멀티모달리티를 달성하는 것입니다. 텍스트 전용 작업에서의 성능 향상이 미미해 보이는데 8배 더 큰 모델을 사용하는 것이 의미가 있는지 의문을 제기할 수 있습니다. 현재로서는 텍스트 전용 애플리케이션에서 m0가 v2보다 실질적인 부가가치를 제공하지 않을 수 있지만, 디코더 전용 아키텍처는 인코더 전용 아키텍처로는 달성할 수 없었던 많은 새로운 가능성을 제공합니다. 여기에는 다음이 포함됩니다:

• 진정한 혼합 모달리티 재순위화
• 리스트 방식 재순위화 및 문서 중복 제거
• 어텐션 메커니즘을 통한 순위 점수 설명 가능성

우리의 향후 작업은 텍스트 전용 재순위화 기능을 더욱 개선하고 이 멀티모달 아키텍처가 제공하는 새로운 기능을 충분히 활용하여 더 나은 그리고 더 폭넓은 검색을 달성하는 데 초점을 맞출 것입니다.