Jina-VLM: Kleines, mehrsprachiges Vision Language Model

Jina-VLM: Small Multilingual Vision Language Model

We present Jina-VLM, a 2.4B parameter vision-language model that achieves state-of-the-art multilingual visual question answering among open 2B-scale VLMs. The model couples a SigLIP2 vision encoder with a Qwen3 language backbone through an attention-pooling connector that enables token-efficient processing of arbitrary-resolution images. Across standard VQA benchmarks and multilingual evaluations, Jina-VLM outperforms comparable models while preserving competitive text-only performance.

arXiv.orgAndreas Koukounas

jinaai/jina-vlm · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Wir veröffentlichen jina-vlm, ein Vision-Language-Modell mit 2,4 Milliarden Parametern, das im Bereich des multilingualen visuellen Frage-Antwortens unter den offenen VLMs im 2B-Bereich den neuesten Stand der Technik erreicht. Durch die Kombination eines SigLIP2-Vision-Encoders mit einem Qwen3-Language-Backbone über einen Attention-Pooling-Konnektor bietet jina-vlm eine starke Leistung in 29 Sprachen und ist gleichzeitig effizient genug, um auf Consumer-Hardware zu laufen.

tagArchitektur

Zwei Herausforderungen haben den praktischen VLM-Einsatz eingeschränkt: Multilinguale Fähigkeiten verschlechtern sich oft während der Visionsanpassung, und hochwertige VLMs bleiben rechenintensiv. jina-vlm begegnet beiden Herausforderungen durch sorgfältige architektonische Entscheidungen – unser Attention-Pooling-Konnektor reduziert visuelle Tokens um das 4-fache bei minimaler Leistungseinbuße – und ein Trainingsrezept, das explizit die multilingualen Fähigkeiten bewahrt.

Die wichtigste architektonische Innovation ist unser Vision-Language-Konnektor. Anstatt alle 729 visuellen Tokens pro Kachel an das Sprachmodell weiterzugeben, wenden wir 2×2-Attention-Pooling an, das dies auf 182 Tokens reduziert – eine 4×-Reduktion mit minimalem Informationsverlust. Der Konnektor funktioniert wie folgt:

1. Multi-Layer-Feature-Fusion: Wir verketten Features aus den ViT-Layern 18 und 24 (drittletzter und neuntletzter), um sowohl feinkörnige räumliche Details als auch High-Level-Semantik zu erfassen.
2. Attention-Pooling: Für jede 2×2-Patch-Nachbarschaft berechnen wir eine Abfrage als Mittelwert der Nachbarschafts-Features und wenden dann Cross-Attention an, um eine einzelne gepoolte Darstellung zu erzeugen.
3. SwiGLU-Projektion: Die gepoolten Features werden über eine Gated Linear Unit auf die Sprachmodell-Dimension projiziert.

Dieser Effizienzgewinn wird unten beschrieben:

Da das ViT jede Kachel unabhängig vom Pooling identisch verarbeitet, gelten diese Einsparungen ausschließlich für das Sprachmodell, das die dominierenden Kosten während der Inferenz verursacht.

tagTrainingsverfahren

Ein häufiges Fehlermuster beim VLM-Training ist das katastrophale Vergessen: Das Sprachmodell verliert seine reinen Textfähigkeiten, während es sich an visuelle Eingaben anpasst. Dies ist besonders ausgeprägt bei multilingualen Modellen, bei denen die Visionsanpassung die Leistung in nicht-englischen Sprachen beeinträchtigen kann.

Wir begegnen dem mit einer zweistufigen Trainingspipeline mit expliziten multilingualen Daten und reiner Textkonservierung.

Stufe 1: Alignment-Training

Die erste Stufe konzentriert sich auf die sprachübergreifende semantische Verankerung mithilfe von Caption-Datensätzen, die verschiedene visuelle Bereiche abdecken: natürliche Szenen, Dokumente, Infografiken und Diagramme. Entscheidend ist, dass wir 15 % reine Textdaten einbeziehen, um das Sprachverständnis des Backbones aufrechtzuerhalten. Der Konnektor verwendet eine höhere Lernrate (2e-4) und ein kürzeres Warmup als Encoder und Decoder, sodass er sich schnell anpassen kann, während sich die vortrainierten Komponenten allmählich ändern.

Stufe 2: Instruction Fine-tuning

Die zweite Phase trainiert das Befolgen von Anweisungen für VQA- und Schlussfolgerungsaufgaben. Wir kombinieren öffentliche Datensätze, die akademische VQA, Dokumentenverständnis, OCR, Mathematik und Schlussfolgerungen abdecken, mit reinen Text-Anweisungsdaten, um die Sprachfähigkeiten zu erhalten.

Die kombinierten Daten umfassen ungefähr 5 Millionen multimodale Beispiele und 12 Milliarden Text-Tokens in 29 Sprachen, wobei etwa die Hälfte auf Englisch und der Rest auf Chinesisch, Arabisch, Deutsch, Spanisch, Französisch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Russisch, Türkisch, Vietnamesisch, Thailändisch, Indonesisch, Hindi, Bengalisch und anderen Sprachen vorliegt.

tagErste Schritte

tagÜber die Jina API

Wir stellen eine OpenAI-kompatible API unter https://api-beta-vlm.jina.ai bereit.

tagBild von URL

curl https://api-beta-vlm.jina.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $JINA_API_KEY" \
  -d '{
    "model": "jina-vlm",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "Describe this image"},
        {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
      ]
    }]
  }'
Kopieren

Lokales Bild (Base64)

curl https://api-beta-vlm.jina.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $JINA_API_KEY" \
  -d '{
    "model": "jina-vlm",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "What is in this image?"},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,'$(base64 -i image.jpg)'"}}
      ]
    }]
  }'
Kopieren

Reine Textabfrage

curl https://api-beta-vlm.jina.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $JINA_API_KEY" \
  -d '{
    "model": "jina-vlm",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'
Kopieren

Streaming-Antwort

Fügen Sie "stream": true hinzu, um Tokens zu empfangen, während sie generiert werden:

curl https://api-beta-vlm.jina.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $JINA_API_KEY" \
  -d '{
    "model": "jina-vlm",
    "stream": true,
    "messages": [{"role": "user", "content": "Write a haiku about coding"}]
  }'
Kopieren

Wenn der Dienst kalt startet, erhalten Sie:

{
  "error": {
    "message": "Model is loading, please retry in 30-60 seconds. Cold start takes ~30s after the service scales up.",
    "code": 503
  }
}
Kopieren

Wiederholen Sie einfach Ihre Anfrage, nachdem Sie gewartet haben.

tagÜber die CLI

Das HuggingFace-Repository enthält ein infer.py-Skript für schnelle Experimente:

# Single image
python infer.py -i image.jpg -p "What's in this image?"

# Streaming output
python infer.py -i image.jpg -p "Describe this image" --stream

# Multiple images
python infer.py -i img1.jpg -i img2.jpg -p "Compare these images"

# Text-only
python infer.py -p "What is the capital of France?"
Kopieren

tagÜber Transformers

from transformers import AutoModelForCausalLM, AutoProcessor
import torch
from PIL import Image

# Load model and processor
model = AutoModelForCausalLM.from_pretrained(
    "jinaai/jina-vlm",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
processor = AutoProcessor.from_pretrained(
    "jinaai/jina-vlm",
    trust_remote_code=True
)

# Load an image
image = Image.open("document.png")

# Create the conversation
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": image},
            {"type": "text", "text": "What is the main topic of this document?"}
        ]
    }
]

# Process and generate
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256, do_sample=False)
response = processor.decode(outputs[0], skip_special_tokens=True)
print(response)
Kopieren

tagFazit

jina-vlm zeigt, dass kleine VLMs durch sorgfältige Architektur- und Trainingsentscheidungen ein starkes, sprachübergreifendes visuelles Verständnis erreichen können. Der Attention-Pooling-Connector bietet eine 4-fache Token-Reduktion mit minimalen Auswirkungen auf die Leistung, und die Einbeziehung von reinen Textdaten während des multimodalen Trainings erhält die Sprachfähigkeiten, die sich sonst verschlechtern würden.

Wir weisen auf einige Einschränkungen des aktuellen Ansatzes hin:

• Tiling-Overhead: Die Verarbeitung skaliert linear mit der Anzahl der Kacheln. Bei sehr hochauflösenden Bildern kann dies erheblich werden. Darüber hinaus kann das Tiling Aufgaben beeinträchtigen, die ein ganzheitliches Szenenverständnis erfordern, wie z. B. das Zählen von Objekten oder räumliches Denken über Kachelgrenzen hinweg. Das globale Miniaturbild mildert dies teilweise, aber Ansätze mit nativer Auflösung sind möglicherweise besser für solche Aufgaben geeignet.
• Multi-Image-Reasoning: Die Leistung bei Multi-Image-Benchmarks ist aufgrund begrenzter Trainingsdaten in diesem Bereich schwächer. Die Optimierung für prägnante visuelle Antworten scheint mit erweitertem, mehrstufigem Reasoning zu konfligieren, wie die MMLU-Pro-Verschlechterung zeigt.

Zukünftige Arbeiten könnten eine effizientere Auflösungshandhabung, gezielte Verbesserungen für Zähl- und Raumaufgaben sowie die Untersuchung untersuchen, ob unser mehrsprachiges Trainingsrezept auf größere Modellskalen übertragbar ist.