jina-vlm

jina-vlm ist ein Bild-Sprach-Modell mit 2,4 Milliarden Parametern, das im Vergleich zu anderen offenen VLMs mit 2 Milliarden Parametern modernste mehrsprachige visuelle Fragebeantwortung ermöglicht. Das Modell kombiniert einen SigLIP2-So400M-Bildcodierer (449 Millionen Parameter) mit einem Qwen3-Sprach-Backbone (1,7 Milliarden Parameter) über einen Attention-Pooling-Connector. Dieser reduziert die Anzahl der visuellen Token um den Faktor 4, wobei die räumliche Information erhalten bleibt. Mithilfe von überlappenden Bildkacheln mit 12 Kacheln plus einem globalen Thumbnail verarbeitet es Bilder beliebiger Auflösung bis zu 4K. Die Trainingsdaten umfassen ca. 5 Millionen multimodale Beispiele und 12 Milliarden Text-Token in 29 Sprachen, wobei etwa die Hälfte in Englisch und die übrigen in Sprachen mit hohem und mittlerem Ressourcenaufkommen wie Chinesisch, Arabisch, Deutsch, Spanisch, Französisch, Italienisch, Japanisch, Koreanisch und weiteren Sprachen vorliegen.

Das Training erfolgt in zwei Phasen, wobei alle Modellkomponenten (Encoder, Konnektor, Decoder) ohne Einfrieren aktualisiert werden. Phase 1 (Alignment-Training) konzentriert sich auf die sprachübergreifende semantische Verankerung mithilfe von Bildunterschriften-Datensätzen (PixmoCap, PangeaIns), die natürliche Szenen, Dokumente, Infografiken und Diagramme umfassen. 15 % der Daten bestehen ausschließlich aus Text, um Leistungseinbußen bei rein textbasierten Aufgaben zu minimieren. Der Konnektor verwendet eine höhere Lernrate und eine kürzere Aufwärmphase als Encoder und Decoder. Phase 2 (Instruktionsoptimierung) passt das Modell mithilfe mehrsprachiger Instruktions-Antwort-Datensätze (Aya, ShareGPT4V, LLaVA) an die dialogbasierte VQA an. Der Attention-Pooling-Konnektor verwendet 2×2-Pooling, um die Anzahl der visuellen Token pro Kachel von 729 auf 182 zu reduzieren. Dies entspricht einer Token-Reduzierung um den Faktor 4 bei minimalem Leistungsverlust. Durch überlappende Kacheln mit einer Überlappung von ca. 30 % (112 Pixel, Schrittweite 266) und 378×378 Kacheln bleiben Kanteninformationen erhalten.

Erzielt den höchsten Durchschnittswert (72,3) in acht VQA-Benchmarks unter den VLMs der 2-Milliarden-Skala, darunter MathVista (59,4), AI2D (80,8), ChartQA (79,5), DocVQA (90,6), InfoVQA (65,9), RealWorldQA (64,9), OCRBench (778) und MME (1582). Führend im mehrsprachigen multimodalen Verständnis mit MMMB (78,8) und Multilingual MMBench (74,3), die Arabisch, Chinesisch, Englisch, Portugiesisch, Russisch und Türkisch abdecken. Starke OCR-Leistung mit 778 Punkten bei OCRBench (Skala 0–1000). Wettbewerbsfähige Textverarbeitungsleistung bei MMLU (54,7) und HellaSwag (75,6), zeigt jedoch erwartungsgemäß einen Leistungsabfall bei MMLU-Pro (30,3 gegenüber 46,4 Basiswert) aufgrund der Integration von Bildverarbeitung und Sprache. Die 4-fache Token-Reduzierung durch Attention Pooling führt zu einer 3,9-fachen Reduzierung der LLM-Prefill-FLOPS und einer 4-fachen Reduzierung des KV-Cache-Speichers bei minimalen Auswirkungen auf die Benchmark-Ergebnisse.

Das Modell ist auf Hugging Face unter der CC-BY-NC-4.0-Lizenz mit Gewichtungen und Inferenzcode verfügbar. Es unterstützt Bilder beliebiger Auflösung durch automatisches Tiling (bis zu 12 Kacheln plus Miniaturansicht). Aktivieren Sie den Denkmodus, indem Sie `do_sample=True` und `temperature > 0` für komplexe Schlussfolgerungsaufgaben festlegen. Das Modell verarbeitet Kontextlängen von bis zu 32 KB für längere Konversationen. Für mehrsprachige visuelle Frage-Antwort-Systeme (VQA) unterstützt das Modell 29 Sprachen, darunter Englisch, Chinesisch, Arabisch, Deutsch, Spanisch, Französisch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Russisch, Türkisch, Vietnamesisch, Thailändisch, Indonesisch, Hindi und Bengali. Es eignet sich besonders für das Verständnis von Dokumenten, die Analyse von Diagrammen und Grafiken, OCR-Aufgaben und mehrsprachige visuelle Frage-Antwort-Systeme. Aufgrund des Tiling-Ansatzes stößt das Modell bei Zählaufgaben und detailliertem räumlichem Denken an seine Grenzen. Für optimale Inferenz verwenden Sie die Genauigkeit bfloat16 auf CUDA-fähigen GPUs.