I/O 다이어그램 1

이미지

jina-vlm

텍스트

텍스트

I/O 다이어그램 2

텍스트

jina-vlm

텍스트

파레토 프론트
300M1B3.0B10B30B100B5060708090Aquila-VL-2BCambrian-1-34BCambrian-1-8BDeepSeek-VL2DeepSeek-VL2-Tinygemma-3-12b-itgemma-3-27b-itgemma-3-4b-itIdefics2-8BInternLM-XComposer2-4KH…InternVL2.5-8BInternVL3-2BInternVL3-8BInternVL3.5-2BKimi-VL-A3B-InstructLLaVA-1.5-13BLLaVA-1.5-7BLLaVA-OneVision-0.5BLLaVA-OneVision-72BLLaVA-OneVision-7BMiniCPM-V-2Molmo-72BMolmoE-1Bmoondream2Ovis2-2BOvis2-8BPaliGemma-3B-mix-448Phi-3-visionPixtral-12BQwen-VL-ChatQwen2-VL-2BQwen2.5-VL-72BQwen2.5-VL-7BSmolVLM-256MSmolVLM-500MSmolVLM-InstructSmolVLM2-2.2Bjina-vlm파라미터 수(로그)accuracy
이 모델
프론트에 있음
Jina AI
기타
AI2D
82.00
파라미터
2.5B
점수 순위
13 / 47
파레토 프론트
프론트 아래
비교할 모델을 선택하세요
논문 (2)

개요

jina-vlm은 2.4B 파라미터의 다국어 비전-언어 모델로, 오픈 2B 스케일 VLM 중 SOTA VQA 성능을 달성합니다. SigLIP2 비전 인코더를 Qwen3 언어 디코더와 어텐션 풀링 커넥터를 통해 결합하여, 임의 해상도 이미지의 토큰 효율적 처리를 가능하게 합니다. 모델은 29개 언어와 32K 토큰 컨텍스트를 지원하여, 문서 이해, 차트 분석, OCR, 다국어 시각 질의응답에 적합합니다.

방법

아키텍처는 SigLIP2 비전 인코더와 Qwen3 언어 디코더를 결합하고, 두 구성 요소는 임의 해상도 이미지의 토큰 효율적 처리를 가능하게 하는 어텐션 풀링 메커니즘으로 연결됩니다. 핵심 혁신은 어텐션 풀링 커넥터로, 2×2 풀링을 적용해 타일당 729개의 시각 토큰을 182개로 줄입니다(4× 토큰 감소). 그 결과 LLM 프리필 FLOPs는 3.9×, KV 캐시 메모리는 4× 줄어들면서 벤치마크 점수에는 거의 영향이 없습니다. 이미지는 타일링으로 처리됩니다: 임의 해상도 이미지는 최대 12개 타일과 썸네일로 나뉘고, 각각 독립적으로 처리된 뒤 결합됩니다. 모델은 아랍어, 중국어, 영어, 포르투갈어, 러시아어, 터키어 등 29개 언어를 아우르는 다양한 다국어 VQA 데이터셋으로 학습되었습니다. leave-one-out 데이터 믹스 애블레이션 연구는 어떤 데이터 카테고리(작업, 도메인, 모달리티, 언어)가 필요하고 어떤 것이 중복인지 진단해, 효율적인 데이터 배분을 이끌었습니다.

성능

모델은 2B 규모 VLM 가운데 8개 VQA 벤치마크 전체에서 가장 높은 평균 점수(72.3)를 기록합니다: MathVista(59.4), AI2D(80.8), ChartQA(79.5), DocVQA(90.6), InfoVQA(65.9), RealWorldQA(64.9), OCRBench(778/1000), MME(1582). 다국어 멀티모달 이해에서도 앞섭니다: MMMB(78.8)와 Multilingual MMBench(74.3)로, 아랍어, 중국어, 영어, 포르투갈어, 러시아어, 터키어를 아우릅니다. OCR 성능은 OCRBench 778(0–1000 스케일)로 강합니다. 텍스트 전용 성능도 경쟁력이 있습니다: MMLU(54.7), HellaSwag(75.6)이며, 비전-언어 통합 탓에 MMLU-Pro에서는 저하됩니다(30.3 대 기본 46.4). 어텐션 풀링으로 얻는 4× 토큰 감소는 LLM 프리필 FLOPs 3.9× 감소와 KV 캐시 메모리 4× 감소로 이어지며, 벤치마크에 미치는 영향은 미미합니다.

모범 사례

모델은 Hugging Face에서 CC-BY-NC 4.0 라이선스로 가중치와 추론 코드를 함께 제공합니다. 자동 타일링(최대 12개 타일과 썸네일)으로 임의 해상도 이미지를 지원합니다. 복잡한 추론 작업에는 do_sample=True와 temperature > 0을 설정해 thinking 모드를 켜세요. 모델은 32K 컨텍스트 길이로 확장된 대화를 처리합니다. 다국어 VQA의 경우 영어, 중국어, 아랍어, 독일어, 스페인어, 프랑스어, 이탈리아어, 일본어, 한국어, 포르투갈어, 러시아어, 터키어, 베트남어, 태국어, 인도네시아어, 힌디어, 벵골어를 포함해 29개 언어를 지원합니다. 문서 이해, 차트/다이어그램 분석, OCR 작업, 다국어 시각 질의응답에 가장 적합합니다. 한계: 카운팅 작업과 세밀한 공간 추론은 타일링 방식의 영향을 받을 수 있습니다. 최적의 추론을 위해서는 CUDA 지원 GPU에서 bfloat16 정밀도를 사용하세요. Apple Silicon에는 MLX 추론이 지원됩니다. 시각 문서에 대한 임베딩 기반 검색에는 jina-embeddings-v4 또는 jina-reranker-m0와 함께 사용하세요.

이 모델을 언급하는 블로그