jina-reranker-m0: Многоязычный мультимодальный ранжировщик документов

jinaai/jina-reranker-m0 · Hugging Face

Мы находимся на пути к развитию и демократизации искусственного интеллекта через открытый исходный код и открытую науку.

Сегодня мы выпускаем jina-reranker-m0, нашу новую мультиязычную мультимодальную модель переранжирования для ранжирования визуальных документов на разных языках: она принимает запрос вместе с коллекцией документов, богатых визуальным контентом, включая страницы с текстом, рисунками, таблицами, инфографикой и различными макетами в разных областях на более чем 29 языках. Она выдает ранжированный список документов, упорядоченных по их релевантности входному запросу. По сравнению с jina-reranker-v2-base-multilingual, jina-reranker-m0 также улучшает переранжирование текста для многоязычного контента, длинных документов и задач поиска кода.

tagНовая архитектура

В отличие от jina-reranker-v2-base-multilingual, jina-reranker-m0 переходит от классической архитектуры кросс-энкодера к декодер-only модели для работы с языком и зрением. Она использует предобученный энкодер и проектор изображений Qwen2-VL, дообучает его LLM с помощью LoRA и пост-тренирует MLP для генерации логитов ранжирования, измеряющих релевантность запроса документу. Это дает дискриминативную модель, оптимизированную для задач ранжирования.

Эта новая архитектура позволяет jina-reranker-m0 обрабатывать до 32K токенов, плавно объединяя как визуальные, так и текстовые входные данные. Модель поддерживает изображения от минимального размера 56×56 пикселей до разрешения 4K. При обработке изображений ViT и проектор сжимают соседние токены 2×2 в единые визуальные токены для входа LLM. Специальные токены, такие как <|vision_start|> и <|vision_end|>, четко обозначают границы визуальных токенов, позволяя языковой модели правильно обрабатывать визуальную информацию и выполнять сложные мультимодальные рассуждения, интегрирующие как визуальные, так и текстовые элементы.

Эта архитектура также эффективно решает проблему разрыва модальностей, которая преследовала более ранние модели, такие как jina-clip-v1 и jina-clip-v2. Ранее изображения группировались рядом с другими изображениями, а текст — рядом с другим текстом в пространстве представлений, создавая разрыв. Это означало, что когда ваши документы-кандидаты содержали и изображения, и текст, поиск изображений с помощью текстовых запросов был проблематичным. С jina-reranker-m0 теперь можно ранжировать изображения и документы вместе, не беспокоясь об этом разрыве, создавая по-настоящему унифицированный мультимодальный поисковый опыт.

Стоит отметить, что наше обучение было ограничено максимум 10K входными токенами, с максимум 768 токенами на изображение (между маркерами <|vision_start|> и <|vision_end|>). Кроме того, мы специально не обучали модель для задач переранжирования image-to-image, image-to-multimodal или text-to-multimodal. В этом контексте "мультимодальный" относится к единому документу, содержащему и изображения, и текстовые токены во входных данных. Рассматривая все возможные комбинации токенов изображений и текста как в запросах, так и в документах, мы можем обобщить полный спектр задач, поддерживаемых jina-reranker-m0, в таблице ниже.

В ходе тестирования мы обнаружили некоторые свидетельства того, что модель может экстраполировать на эти необученные задачи ранжирования, но любую эффективность в этих областях следует рассматривать как результат zero-shot переносимости модели или непреднамеренных побочных эффектов обучения. Мы не проводили серьезных оценок производительности модели на этих задачах и планируем более тщательно изучить эти возможности в будущих исследованиях.

tagНачало работы

tagЧерез API

Код ниже показывает, как вычислить оценки релевантности между запросом "small language model data extraction" и коллекцией изображений и текстовых документов. Вы можете передать текстовую строку, изображение в формате base64 или URL изображения. Новые пользователи могут получить API-ключ Jina с 1 миллионом бесплатных токенов. Хотя наш API не поддерживает использование изображений в качестве запросов, вы можете использовать изображения в качестве запросов при доступе к модели через библиотеку Hugging Face Transformers.

curl -X POST \
  https://api.jina.ai/v1/rerank \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer JINA_API_KEY" \
  -d '{
  "model": "jina-reranker-m0",
  "query": "small language model data extraction",
  "documents": [
    {
      "image": "https://raw.githubusercontent.com/jina-ai/multimodal-reranker-test/main/handelsblatt-preview.png"
    },
    {
      "image": "https://raw.githubusercontent.com/jina-ai/multimodal-reranker-test/main/paper-11.png"
    },
    {
      "image": "https://raw.githubusercontent.com/jina-ai/multimodal-reranker-test/main/wired-preview.png"
    },
    {
      "text": "We present ReaderLM-v2, a compact 1.5 billion parameter language model designed for efficient web content extraction. Our model processes documents up to 512K tokens, transforming messy HTML into clean Markdown or JSON formats with high accuracy -- making it an ideal tool for grounding large language models. The models effectiveness results from two key innovations: (1) a three-stage data synthesis pipeline that generates high quality, diverse training data by iteratively drafting, refining, and critiquing web content extraction; and (2) a unified training framework combining continuous pre-training with multi-objective optimization. Intensive evaluation demonstrates that ReaderLM-v2 outperforms GPT-4o-2024-08-06 and other larger models by 15-20% on carefully curated benchmarks, particularly excelling at documents exceeding 100K tokens, while maintaining significantly lower computational requirements."
    },
    {
      "image": "https://jina.ai/blog-banner/using-deepseek-r1-reasoning-model-in-deepsearch.webp"
    },
    {
      "text": "数据提取么？为什么不用正则啊，你用正则不就全解决了么？"
    },
    {
      "text": "During the California Gold Rush, some merchants made more money selling supplies to miners than the miners made finding gold."
    },
    {
      "text": "Die wichtigsten Beiträge unserer Arbeit sind zweifach: Erstens führen wir eine neuartige dreistufige Datensynthese-Pipeline namens Draft-Refine-Critique ein, die durch iterative Verfeinerung hochwertige Trainingsdaten generiert; und zweitens schlagen wir eine umfassende Trainingsstrategie vor, die kontinuierliches Vortraining zur Längenerweiterung, überwachtes Feintuning mit spezialisierten Kontrollpunkten, direkte Präferenzoptimierung (DPO) und iteratives Self-Play-Tuning kombiniert. Um die weitere Forschung und Anwendung der strukturierten Inhaltsextraktion zu erleichtern, ist das Modell auf Hugging Face öffentlich verfügbar."
    }
  ],
  "return_documents": false
}'
Копировать

Ответ показан ниже, где первый результат index=1 соответствует скриншоту нашей статьи о ReaderLM-v2 paper screenshot.

{"model":"jina-reranker-m0","usage":{"total_tokens":2829},"results":[{"index":1,"relevance_score":0.9587112551898949},{"index":3,"relevance_score":0.9337408271911014},{"index":7,"relevance_score":0.8922925217195924},{"index":2,"relevance_score":0.8891905997562045},{"index":0,"relevance_score":0.8827516945848907},{"index":4,"relevance_score":0.8701035914834407},{"index":6,"relevance_score":0.8676828987527296},{"index":5,"relevance_score":0.8455347349164652}]}
Копировать

tagЧерез CSP Marketplaces

jina-reranker-m0 скоро будет доступен напрямую на AWS, Azure и GCP по указанным там ценам.

tagЧерез HuggingFace

Вы также можете использовать модель локально с нашей страницы на Hugging Face. Мы подготовили блокнот Google Colab, который демонстрирует, как это работает. По сравнению с нашим веб-API, использование модели локально предоставляет большую гибкость, например, возможность использовать изображения в качестве запросов и работать с мультимодальными документами.

Google Colab

tagОценка

[public]-jina-reranker-m0-evaluation-results

Google Docs

tagBEIR (Text2Text, только английский)

BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models

Existing neural information retrieval (IR) models have often been studied in homogeneous and narrow settings, which has considerably limited insights into their out-of-distribution (OOD) generalization capabilities. To address this, and to facilitate researchers to broadly evaluate the effectiveness of their models, we introduce Benchmarking-IR (BEIR), a robust and heterogeneous evaluation benchmark for information retrieval. We leverage a careful selection of 18 publicly available datasets from diverse text retrieval tasks and domains and evaluate 10 state-of-the-art retrieval systems including lexical, sparse, dense, late-interaction and re-ranking architectures on the BEIR benchmark. Our results show BM25 is a robust baseline and re-ranking and late-interaction-based models on average achieve the best zero-shot performances, however, at high computational costs. In contrast, dense and sparse-retrieval models are computationally more efficient but often underperform other approaches, highlighting the considerable room for improvement in their generalization capabilities. We hope this framework allows us to better evaluate and understand existing retrieval systems, and contributes to accelerating progress towards better robust and generalizable systems in the future. BEIR is publicly available at https://github.com/UKPLab/beir.

arXiv.orgNandan Thakur

BEIR — это разнородный эталонный тест для информационного поиска, разработанный для оценки универсальности и надежности IR-моделей. Он содержит разнообразный набор датасетов из различных предметных областей и фокусируется на zero-shot оценке. Используются стандартизированные метрики оценки, такие как NDCG, Recall@K и MRR.

tagMIRACL (Text2Text, многоязычный, 18 языков)

Making a MIRACL: Multilingual Information Retrieval Across a Continuum of Languages

MIRACL (Multilingual Information Retrieval Across a Continuum of Languages) — это многоязычный датасет, который мы создали для соревнования WSDM 2023 Cup, фокусирующийся на специальном поиске на 18 различных языках, которые в совокупности охватывают более трех миллиардов носителей языка по всему миру. Эти языки имеют разную типологию, происходят из многих языковых семей и связаны с различным количеством доступных ресурсов — включая то, что исследователи обычно характеризуют как высокоресурсные и низкоресурсные языки. Наш датасет предназначен для создания и оценки моделей монолингвального поиска, где запросы и корпуса находятся на одном языке. В общей сложности мы собрали более 700 тысяч высококачественных оценок релевантности для около 77 тысяч запросов по Wikipedia на этих 18 языках, где все оценки были выполнены носителями языка, нанятыми нашей командой. Наша цель — стимулировать исследования, которые улучшат поиск на континууме языков, тем самым расширяя возможности доступа к информации для различных групп населения по всему миру, особенно тех, которые традиционно были недостаточно обслужены. Эта обзорная статья описывает датасет и базовые модели, которыми мы делимся с сообществом. Сайт MIRACL доступен по адресу http://miracl.ai/.

arXiv.orgXinyu Zhang

MIRACL - это крупномасштабный многоязычный набор данных для специального поиска информации на 18 языках. Он охватывает более трех миллиардов носителей языка и содержит тщательные аннотации от людей. Основное внимание уделяется задачам одноязычного поиска.

tagMLDR (Text2Text, многоязычные длинные документы, 13 языков)

BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation

В этой статье мы представляем новую модель эмбеддингов под названием M3-Embedding, которая отличается своей универсальностью в многоязычности, многофункциональности и многогранулярности. Она поддерживает более 100 рабочих языков, что приводит к новым передовым результатам в многоязычных и кросс-языковых задачах поиска. Она может одновременно выполнять три общие функции поиска модели эмбеддингов: плотный поиск, многовекторный поиск и разреженный поиск, что обеспечивает единую модельную основу для практических приложений информационного поиска. Она способна обрабатывать входные данные различной гранулярности, от коротких предложений до длинных документов объемом до 8192 токенов. Эффективное обучение M3-Embedding включает следующие технические достижения. Мы предлагаем новый подход к самодистилляции знаний, где оценки релевантности от различных функций поиска могут быть интегрированы в качестве учительского сигнала для повышения качества обучения. Мы также оптимизировали стратегию пакетной обработки, обеспечивая большой размер пакета и высокую пропускную способность обучения для обеспечения различимости эмбеддингов. Насколько нам известно, M3-Embedding является первой моделью эмбеддингов, которая реализует такую сильную универсальность. Модель и код будут общедоступны на https://github.com/FlagOpen/FlagEmbedding.

arXiv.orgJianlv Chen

MLDR — это многоязычный набор данных, специально разработанный для поиска в длинных документах, охватывающий 13 языков. Он использует GPT-3.5 для генерации вопросов к документам. Набор данных создан на основе Wikipedia, Wudao и mC4.

tagMKQA (Text2Text, многоязычная система вопросов и ответов, 24 языка, 3 варианта для китайского языка)

MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering

Прогресс в кросс-языковом моделировании зависит от сложных, реалистичных и разнообразных наборов для оценки. Мы представляем Multilingual Knowledge Questions and Answers (MKQA), набор данных для оценки ответов на вопросы в открытом домене, включающий 10 тыс. пар вопрос-ответ, согласованных между 26 типологически разнообразными языками (всего 260 тыс. пар вопрос-ответ). Ответы основаны на тщательно подготовленном, языконезависимом представлении данных, что делает результаты сопоставимыми между языками и независимыми от языково-специфичных текстов. С 26 языками этот набор данных предоставляет самый широкий на сегодняшний день диапазон языков для оценки систем вопросов и ответов. Мы проводим бенчмаркинг различных современных методов и базовых линий для генеративных и экстрактивных систем вопросов и ответов, обученных на Natural Questions, в условиях zero shot и перевода. Результаты показывают, что этот набор данных сложен даже для английского языка, но особенно для низкоресурсных языков

arXiv.orgShayne Longpre

MKQA — это набор данных для оценки систем ответов на вопросы в открытом домене, состоящий из 10 тысяч пар вопросов-ответов, выровненных по 26 типологически различным языкам. Пары вопросов-ответов взяты из Google Natural Questions.

tagCoIR (Text2Text, Code Information Retrieval)

CoIR: Комплексный бенчмарк для моделей информационного поиска кода

Несмотря на значительный успех Information Retrieval (IR) в различных задачах NLP, большинство IR-систем преимущественно работают с запросами и корпусами на естественном языке, игнорируя область поиска кода. Поиск кода критически важен, но остается малоизученным, а существующие методы и бенчмарки недостаточно представляют разнообразие кода в различных доменах и задачах. Решая этот пробел, мы представляем COIR (Code Information Retrieval Benchmark) — надежный и всесторонний бенчмарк, специально разработанный для оценки возможностей поиска кода. COIR включает десять тщательно отобранных наборов данных кода, охватывающих восемь различных задач поиска в семи разных доменах. Сначала мы обсуждаем построение COIR и состав его разнообразных наборов данных. Далее мы оцениваем девять широко используемых моделей поиска с помощью COIR, обнаруживая значительные трудности в выполнении задач поиска кода даже у современных систем. Для облегчения адаптации и интеграции в существующие исследовательские процессы COIR разработан как удобный Python-фреймворк, легко устанавливаемый через pip. Он использует ту же схему данных, что и другие популярные бенчмарки, такие как MTEB и BEIR, обеспечивая беспрепятственное проведение кросс-бенчмарковых оценок. С помощью COIR мы стремимся активизировать исследования в области поиска кода, предоставляя универсальный инструмент для тестирования, который способствует дальнейшей разработке и исследованию систем поиска кода https://github.com/CoIR-team/coir.

arXiv.orgXiangyang Li

CoIR - это комплексный бенчмарк, разработанный для оценки способностей моделей в поиске кода. Он включает 10 тщательно отобранных наборов данных кода, охватывающих 8 задач поиска в 7 различных доменах. Для этого бенчмарка предоставляется Python-фреймворк.

tagViDoRe (Бенчмарк поиска визуальных документов Text2Image)

ColPali: Эффективный поиск документов с помощью визуально-языковых моделей

Документы представляют собой визуально насыщенные структуры, которые передают информацию не только через текст, но и через рисунки, макеты страниц, таблицы и даже шрифты. Поскольку современные системы поиска в основном полагаются на текстовую информацию, извлекаемую из страниц документов для их индексации — часто через длительные и хрупкие процессы — им сложно эффективно использовать ключевые визуальные подсказки. Это ограничивает их возможности во многих практических приложениях поиска документов, таких как Retrieval Augmented Generation (RAG). Чтобы оценить текущие системы по поиску визуально насыщенных документов, мы представляем бенчмарк Visual Document Retrieval (ViDoRe), состоящий из различных задач поиска на уровне страниц, охватывающих множество доменов, языков и практических настроек. Неотъемлемая сложность и недостатки производительности современных систем мотивируют новую концепцию: выполнение поиска документов путем прямого встраивания изображений страниц документов. Мы выпускаем ColPali, визуально-языковую модель, обученную создавать качественные мультивекторные вложения из изображений страниц документов. В сочетании с механизмом позднего взаимодействия, ColPali значительно превосходит современные конвейеры поиска документов, будучи при этом радикально проще, быстрее и обучаемой от начала до конца. Мы выпускаем модели, данные, код и бенчмарки под открытыми лицензиями на https://hf.co/vidore.

arXiv.orgManuel Faysse

ViDoRe - это тестовая выборка, предназначенная для оценки систем поиска и их способности сопоставлять запросы с релевантными документами, используя визуальные характеристики. Она охватывает различные задачи поиска на уровне страниц в нескольких доменах и языках. Тестовая выборка фокусируется на визуальных элементах документов.

tagM-BEIR (Мультимодальный тестовый набор для инструктированного поиска Text2Image, Image2Text)

UniIR: Training and Benchmarking Universal Multimodal Information Retrievers

Существующие модели информационного поиска (IR) часто предполагают однородный формат, ограничивая их применимость к различным потребностям пользователей, таким как поиск изображений по текстовым описаниям, поиск новостной статьи по заголовку изображения или поиск похожей фотографии по изображению-запросу. Для решения таких различных информационно-поисковых задач мы представляем UniIR, унифицированную мультимодальную систему поиска на основе инструкций, способную обрабатывать восемь различных задач поиска по модальностям. UniIR, единая поисковая система, совместно обученная на десяти различных мультимодальных IR-наборах данных, интерпретирует пользовательские инструкции для выполнения различных поисковых задач, демонстрируя надежную производительность на существующих наборах данных и обобщение с нулевым выстрелом на новые задачи. Наши эксперименты показывают, что многозадачное обучение и настройка инструкций являются ключевыми для способности UniIR к обобщению. Кроме того, мы создали M-BEIR, мультимодальный тестовый набор с исчерпывающими результатами, для стандартизации оценки универсального мультимодального информационного поиска.

arXiv.orgCong Wei

M-BEIR - это комплексный крупномасштабный тестовый набор, предназначенный для обучения и оценки мультимодальных поисковых моделей. Он включает восемь мультимодальных поисковых задач и десять наборов данных из различных доменов и источников. Тестовый набор фокусируется на поиске с учетом инструкций.

tagWinoground (Text2Text, Text2Image)

Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality

Мы представляем новую задачу и набор данных для оценки способности моделей зрения и языка проводить визуально-лингвистические композиционные рассуждения, которые мы называем Winoground. Учитывая два изображения и два подписи, цель состоит в том, чтобы правильно сопоставить их - но что важно, обе подписи содержат абсолютно идентичный набор слов, только в другом порядке. Набор данных был тщательно отобран вручную экспертами и помечен богатым набором детальных тегов для помощи в анализе производительности модели. Мы тестируем разнообразные современные модели зрения и языка и обнаруживаем, что, удивительно, ни одна из них не работает намного лучше случайного выбора. Очевидно, что эти модели не так искусны в визуально-лингвистических композиционных рассуждениях, как мы могли бы надеяться. Мы проводим обширный анализ, чтобы получить представление о том, как будущие работы могли бы попытаться устранить недостатки этих моделей. Мы стремимся к тому, чтобы Winoground служил полезным набором для оценки продвижения современного уровня техники и дальнейшего прогресса в этой области. Набор данных доступен по адресу https://huggingface.co/datasets/facebook/winoground.

arXiv.orgTristan Thrush

Winoground - это новая задача и набор данных для оценки способности моделей компьютерного зрения и обработки языка выполнять визуально-лингвистические композиционные рассуждения. Он использует парные подписи с идентичным словесным содержанием и применяет контрастные пары изображение-подпись. Основное внимание уделяется композиционным рассуждениям.

Winoground оценивает модели визуально-языкового восприятия по трем ключевым метрикам: Text Score, Image Score и Group Score. Text Score измеряет, правильно ли модель сопоставляет подписи с изображениями, в то время как Image Score оценивает, выбирает ли она правильное изображение для подписи. Group Score, самая строгая метрика, требует правильного определения всех отношений подпись-изображение. Оценки представляют собой проценты, отражающие точность, где более высокие значения указывают на лучшие способности к рассуждению.

tagЗаключение

jina-reranker-m0 - это наша первая попытка объединить текстовые и визуальные модальности в единой модели только с декодером. Эта новая архитектура включает уроки, извлеченные из наших предыдущих моделей поиска только с кодировщиком, включая jina-clip-v2, jina-embeddings-v3, jina-reranker-v2-base-multilingual и jina-embeddings-v2-base-code.

Новая модель не только открывает возможности для мультимодальных задач поиска, таких как переранжирование текста в изображение и переранжирование визуальных документов, но также демонстрирует улучшенную производительность по сравнению с jina-reranker-v2-base-multilingual в задачах переранжирования текст-текст и текст-код. Мы обозначаем эту новую серию моделей как "m-series" для подчеркивания её мультимодальной природы.

При сравнении jina-reranker-m0 с jina-reranker-v2-base-multilingual, наша цель для m-series - достичь мультимодальности при одновременном улучшении производительности на текстовых задачах на уровне, сопоставимом со специализированными текстовыми моделями. Некоторые могут усомниться в ценности использования в 8 раз большей модели, если улучшение производительности на текстовых задачах кажется незначительным. Хотя на данный момент это правда, что m0 может не предоставлять существенной добавленной ценности по сравнению с v2 для текстовых приложений, архитектура только с декодером открывает множество новых возможностей, которые были недостижимы с архитектурами только с кодировщиком, включая:

• Истинное смешанно-модальное переранжирование
• Списочное переранжирование и дедупликация документов
• Объяснимость оценки ранжирования через механизм внимания

Наша будущая работа будет сосредоточена на дальнейшем улучшении текстового ранжировщика и полном использовании новых функций, обеспеченных этой мультимодальной архитектурой, для достижения лучшего и более широкого поиска.