Jina-VLM: Modello di linguaggio visivo multilingue di piccole dimensioni

Jina-VLM: Small Multilingual Vision Language Model

We present Jina-VLM, a 2.4B parameter vision-language model that achieves state-of-the-art multilingual visual question answering among open 2B-scale VLMs. The model couples a SigLIP2 vision encoder with a Qwen3 language backbone through an attention-pooling connector that enables token-efficient processing of arbitrary-resolution images. Across standard VQA benchmarks and multilingual evaluations, Jina-VLM outperforms comparable models while preserving competitive text-only performance.

arXiv.orgAndreas Koukounas

jinaai/jina-vlm · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Stiamo rilasciando jina-vlm, un modello di linguaggio visivo con 2,4 miliardi di parametri che raggiunge prestazioni all'avanguardia nel question answering visivo multilingue tra i VLM open source da 2 miliardi di parametri. Combinando un encoder visivo SigLIP2 con un backbone linguistico Qwen3 attraverso un connettore di attention-pooling, jina-vlm offre prestazioni elevate in 29 lingue pur rimanendo sufficientemente efficiente da essere eseguito su hardware consumer.

tagArchitettura

Due sfide hanno limitato l'implementazione pratica dei VLM: le capacità multilingue spesso si degradano durante l'adattamento alla visione e i VLM di alta qualità rimangono costosi dal punto di vista computazionale. jina-vlm affronta entrambi i problemi attraverso scelte architetturali oculate (il nostro connettore di attention-pooling riduce i token visivi di 4× con un impatto minimo sulle prestazioni) e una ricetta di addestramento che preserva esplicitamente le capacità multilingue.

L'innovazione architetturale chiave è il nostro connettore visione-linguaggio. Invece di passare tutti i 729 token visivi per riquadro al modello linguistico, applichiamo un attention pooling 2×2 che lo riduce a 182 token: una riduzione di 4× con una perdita di informazioni minima. Il connettore funziona come segue:

1. Fusione di caratteristiche multistrato: concatena le caratteristiche dai livelli ViT 18 e 24 (terzultimo e nono dall'ultimo), catturando sia i dettagli spaziali a grana fine sia la semantica di alto livello.
2. Attention pooling: per ogni quartiere di patch 2×2, calcola una query come la media delle caratteristiche del quartiere, quindi applica l'attenzione incrociata per produrre una singola rappresentazione in pool.
3. Proiezione SwiGLU: le caratteristiche in pool vengono proiettate sulla dimensione del modello linguistico tramite un'unità lineare gated.

Questo guadagno di efficienza è descritto di seguito:

Poiché il ViT elabora ogni riquadro in modo identico indipendentemente dal pooling, questi risparmi si applicano esclusivamente al modello linguistico, che è il costo dominante durante l'inferenza.

tagProcedura di addestramento

Una modalità di errore comune nell'addestramento VLM è la dimenticanza catastrofica: il modello linguistico perde le sue capacità di solo testo man mano che si adatta agli input visivi. Ciò è particolarmente acuto per i modelli multilingue, in cui l'adattamento alla visione può degradare le prestazioni nelle lingue non inglesi.

Affrontiamo questo problema attraverso una pipeline di addestramento in due fasi con dati multilingue espliciti e conservazione del solo testo.

Fase 1: addestramento all'allineamento

La prima fase si concentra sul grounding semantico cross-linguistico utilizzando set di dati di didascalie che coprono diversi domini visivi: scene naturali, documenti, infografiche e diagrammi. Fondamentalmente, includiamo il 15% di dati di solo testo per mantenere la comprensione del linguaggio del backbone. Il connettore utilizza un tasso di apprendimento più elevato (2e-4) e un warmup più breve rispetto all'encoder e al decoder, consentendogli di adattarsi rapidamente mentre i componenti pre-addestrati cambiano gradualmente.

Fase 2: fine-tuning delle istruzioni

La seconda fase addestra il modello a seguire le istruzioni per attività di VQA e di ragionamento. Combiniamo dataset pubblici che coprono VQA accademico, comprensione di documenti, OCR, matematica e ragionamento, con dati di istruzioni solo testuali per mantenere le capacità linguistiche.

I dati combinati comprendono circa 5 milioni di campioni multimodali e 12 miliardi di token di testo in 29 lingue, con circa la metà in inglese e il resto in cinese, arabo, tedesco, spagnolo, francese, italiano, giapponese, coreano, portoghese, russo, turco, vietnamita, tailandese, indonesiano, hindi, bengali e altre.

tagCome iniziare

tagTramite Jina API

Forniamo un'API compatibile con OpenAI all'indirizzo https://api-beta-vlm.jina.ai.

tagImmagine da URL

curl https://api-beta-vlm.jina.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $JINA_API_KEY" \
  -d '{
    "model": "jina-vlm",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "Describe this image"},
        {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
      ]
    }]
  }'
Copy

Immagine locale (base64)

curl https://api-beta-vlm.jina.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $JINA_API_KEY" \
  -d '{
    "model": "jina-vlm",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "What is in this image?"},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,'$(base64 -i image.jpg)'"}}
      ]
    }]
  }'
Copy

Query di solo testo

curl https://api-beta-vlm.jina.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $JINA_API_KEY" \
  -d '{
    "model": "jina-vlm",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'
Copy

Risposta in streaming

Aggiungi "stream": true per ricevere i token man mano che vengono generati:

curl https://api-beta-vlm.jina.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $JINA_API_KEY" \
  -d '{
    "model": "jina-vlm",
    "stream": true,
    "messages": [{"role": "user", "content": "Write a haiku about coding"}]
  }'
Copy

Quando il servizio è in fase di avvio a freddo, riceverai:

{
  "error": {
    "message": "Model is loading, please retry in 30-60 seconds. Cold start takes ~30s after the service scales up.",
    "code": 503
  }
}
Copy

È sufficiente riprovare la richiesta dopo aver atteso.

tagTramite CLI

Il repository di HuggingFace include uno script infer.py per esperimenti rapidi:

# Single image
python infer.py -i image.jpg -p "What's in this image?"

# Streaming output
python infer.py -i image.jpg -p "Describe this image" --stream

# Multiple images
python infer.py -i img1.jpg -i img2.jpg -p "Compare these images"

# Text-only
python infer.py -p "What is the capital of France?"
Copy

tagTramite Transformers

from transformers import AutoModelForCausalLM, AutoProcessor
import torch
from PIL import Image

# Load model and processor
model = AutoModelForCausalLM.from_pretrained(
    "jinaai/jina-vlm",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
processor = AutoProcessor.from_pretrained(
    "jinaai/jina-vlm",
    trust_remote_code=True
)

# Load an image
image = Image.open("document.png")

# Create the conversation
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": image},
            {"type": "text", "text": "What is the main topic of this document?"}
        ]
    }
]

# Process and generate
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256, do_sample=False)
response = processor.decode(outputs[0], skip_special_tokens=True)
print(response)
Copy

tagConclusione

jina-vlm dimostra che i VLM piccoli possono ottenere una forte comprensione visiva multilingue attraverso scelte architetturali e di addestramento attente. Il connettore di attention-pooling fornisce una riduzione dei token di 4× con un impatto minimo sulle prestazioni e l'incorporazione di dati di solo testo durante l'addestramento multimodale preserva le capacità linguistiche che altrimenti si degraderebbero.

Notiamo diverse limitazioni dell'approccio attuale:

• Overhead di tiling: l'elaborazione scala linearmente con il numero di tile. Per immagini a risoluzione molto alta, questo può diventare significativo. Inoltre, il tiling può compromettere le attività che richiedono una comprensione olistica della scena, come il conteggio degli oggetti o il ragionamento spaziale attraverso i confini delle tile. La miniatura globale mitiga parzialmente questo problema, ma gli approcci a risoluzione nativa potrebbero essere più adatti per tali attività.
• Ragionamento multi-immagine: le prestazioni sui benchmark multi-immagine sono più deboli a causa dei dati di addestramento limitati in questo regime. L'ottimizzazione per risposte visive concise sembra essere in conflitto con il ragionamento multi-step esteso, come evidenziato dal degrado di MMLU-Pro.

Il lavoro futuro potrebbe esplorare una gestione della risoluzione più efficiente, miglioramenti mirati per il conteggio e le attività spaziali e indagare se la nostra ricetta di addestramento multilingue si trasferisce a scale di modelli più grandi.