E/A-Diagramm 1

Bild

jina-vlm

Text

Text

E/A-Diagramm 2

Text

jina-vlm

Text

Pareto-Front
300M1B3.0B10B30B100B5060708090Aquila-VL-2BCambrian-1-34BCambrian-1-8BDeepSeek-VL2DeepSeek-VL2-Tinygemma-3-12b-itgemma-3-27b-itgemma-3-4b-itIdefics2-8BInternLM-XComposer2-4KH…InternVL2.5-8BInternVL3-2BInternVL3-8BInternVL3.5-2BKimi-VL-A3B-InstructLLaVA-1.5-13BLLaVA-1.5-7BLLaVA-OneVision-0.5BLLaVA-OneVision-72BLLaVA-OneVision-7BMiniCPM-V-2Molmo-72BMolmoE-1Bmoondream2Ovis2-2BOvis2-8BPaliGemma-3B-mix-448Phi-3-visionPixtral-12BQwen-VL-ChatQwen2-VL-2BQwen2.5-VL-72BQwen2.5-VL-7BSmolVLM-256MSmolVLM-500MSmolVLM-InstructSmolVLM2-2.2Bjina-vlmParameter (log)accuracy
Dieses Modell
Auf der Front
Jina AI
Andere
AI2D
82.00
Parameter
2.5B
Rang nach Score
13 / 47
Pareto-Front
Dahinter
Wählen Sie Modelle zum Vergleichen aus
Publikationen (2)

Überblick

jina-vlm ist ein mehrsprachiges Vision-Language-Modell mit 2,4B Parametern, das unter offenen VLMs der 2B-Klasse State-of-the-Art-Werte bei VQA erzielt. Es koppelt einen SigLIP2-Vision-Encoder an einen Qwen3-Sprachdekoder über einen Attention-Pooling-Connector, der eine token-effiziente Verarbeitung von Bildern beliebiger Auflösung ermöglicht. Das Modell unterstützt 29 Sprachen und einen 32K-Token-Kontext, was es für Dokumentenverständnis, Diagrammanalyse, OCR und mehrsprachige visuelle Fragenbeantwortung geeignet macht.

Methoden

Die Architektur kombiniert einen SigLIP2-Vision-Encoder mit einem Qwen3-Sprachdekoder, verbunden durch einen Attention-Pooling-Mechanismus, der eine token-effiziente Verarbeitung von Bildern beliebiger Auflösung ermöglicht. Die Schlüsselinnovation ist der Attention-Pooling-Connector, der 2×2-Pooling anwendet, um 729 visuelle Tokens pro Kachel auf 182 zu reduzieren (eine 4×-Token-Reduktion), was eine 3,9×-Reduktion der LLM-Prefill-FLOPs und eine 4×-Reduktion des KV-Cache-Speichers bei minimalem Einfluss auf Benchmark-Scores ergibt. Bilder werden per Tiling verarbeitet: Bilder beliebiger Auflösung werden in bis zu 12 Kacheln plus ein Thumbnail unterteilt, jede unabhängig verarbeitet und dann kombiniert. Das Modell wurde auf einem vielfältigen mehrsprachigen VQA-Datensatz trainiert, der 29 Sprachen abdeckt (Arabisch, Chinesisch, Englisch, Portugiesisch, Russisch, Türkisch und andere). Eine Leave-One-Out-Ablation der Datenmischung zeigte, welche Datenkategorien (Aufgabe, Domäne, Modalität, Sprache) notwendig und welche redundant sind, und leitete daraus eine effiziente Datenallokation ab.

Leistung

Das Modell erzielt den höchsten Durchschnittswert (72,3) über acht VQA-Benchmarks unter VLMs in 2B-Skala: MathVista (59,4), AI2D (80,8), ChartQA (79,5), DocVQA (90,6), InfoVQA (65,9), RealWorldQA (64,9), OCRBench (778/1000) und MME (1582). Es führt beim mehrsprachigen multimodalen Verständnis an: MMMB (78,8) und Multilingual MMBench (74,3), mit Abdeckung von Arabisch, Chinesisch, Englisch, Portugiesisch, Russisch und Türkisch. Die OCR-Performance ist mit 778 auf OCRBench (Skala 0–1000) stark. Die reine Textleistung ist wettbewerbsfähig: MMLU (54,7), HellaSwag (75,6), bei MMLU-Pro jedoch wegen der Vision-Language-Integration schwächer (30,3 gegenüber 46,4 beim Basis-Modell). Die 4×-Token-Reduktion durch Attention-Pooling ergibt eine 3,9×-Reduktion der LLM-Prefill-FLOPs und eine 4×-Reduktion des KV-Cache-Speichers bei minimalem Benchmark-Einfluss.

Empfehlungen

Das Modell ist auf Hugging Face unter CC-BY-NC-4.0 mit Gewichten und Inferenz-Code verfügbar. Es unterstützt Bilder beliebiger Auflösung durch automatisches Tiling (bis zu 12 Kacheln plus Thumbnail). Aktivieren Sie den Thinking-Modus durch do_sample=True und temperature > 0 für komplexe Reasoning-Aufgaben. Das Modell verarbeitet eine Kontextlänge von 32K für erweiterte Konversationen. Für mehrsprachiges VQA unterstützt es 29 Sprachen, darunter Englisch, Chinesisch, Arabisch, Deutsch, Spanisch, Französisch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Russisch, Türkisch, Vietnamesisch, Thailändisch, Indonesisch, Hindi und Bengalisch. Am besten geeignet für Dokumentenverständnis, Chart-/Diagramm-Analyse, OCR-Aufgaben und mehrsprachige visuelle Fragenbeantwortung. Einschränkungen: Zählaufgaben und feinkörniges räumliches Schlussfolgern können durch den Tiling-Ansatz beeinflusst sein. Für optimale Inferenz nutzen Sie bfloat16-Präzision auf CUDA-fähigen GPUs. MLX-Inferenz wird für Apple Silicon unterstützt. Für embedding-basiertes Retrieval visueller Dokumente paaren Sie es mit jina-embeddings-v4 oder jina-reranker-m0.

Blogs, die dieses Modell erwähnen