概述
jina-vlm 是一個 2.4B 參數的多語言視覺語言模型,在開源 2B 級 VLM 中取得 SOTA 的 VQA 效能。它透過注意力池化連接器把 SigLIP2 視覺編碼器與 Qwen3 語言解碼器接在一起,讓任意解析度的圖片都能以高詞元效率處理。該模型支援 29 種語言與 32K 詞元上下文,適合文件理解、圖表分析、OCR 與多語言視覺問答。
方法
該架構把 SigLIP2 視覺編碼器與 Qwen3 語言解碼器結合,中間以注意力池化機制連接,讓任意解析度的圖片都能以高詞元效率處理。關鍵創新是注意力池化連接器:它以 2×2 池化把每個圖塊的 729 個視覺詞元壓到 182 個(詞元量縮減 4 倍),換來 LLM prefill FLOPs 減少 3.9 倍、KV-cache 記憶體減少 4 倍,對基準分數的影響極小。圖片以圖塊切分處理:任意解析度的圖片切成最多 12 個圖塊再加一張縮圖,各自獨立處理後再合併。該模型在涵蓋 29 種語言(阿拉伯文、中文、英文、葡萄牙文、俄文、土耳其文等)的多樣化多語言 VQA 資料集上訓練。留一法資料混合消融研究判別了哪些資料類別(任務、領域、模態、語言)必要、哪些多餘,據此引導高效率的資料配置。
效能
該模型在 2B 級 VLM 中,於八項 VQA 基準上取得最高平均分(72.3):MathVista(59.4)、AI2D(80.8)、ChartQA(79.5)、DocVQA(90.6)、InfoVQA(65.9)、RealWorldQA(64.9)、OCRBench(778/1000)與 MME(1582)。它在多語言多模態理解上領先:MMMB(78.8)與多語言 MMBench(74.3),涵蓋阿拉伯文、中文、英文、葡萄牙文、俄文與土耳其文。OCR 表現強勁,OCRBench 上為 778(0–1000 分制)。純文字表現具競爭力:MMLU(54.7)、HellaSwag(75.6),但受視覺語言整合影響,MMLU-Pro 上有所下滑(30.3,對比基礎版 46.4)。注意力池化帶來的 4 倍詞元縮減,讓 LLM prefill FLOPs 減少 3.9 倍、KV-cache 記憶體減少 4 倍,對基準分數的影響極小。
最佳實務
該模型在 Hugging Face 上以 CC-BY-NC-4.0 提供,附權重與推理程式碼。透過自動圖塊切分(最多 12 個圖塊加一張縮圖)支援任意解析度的圖片。面對複雜推理任務,可啟用 do_sample=True 與 temperature > 0 開啟思考模式。模型可處理 32K 上下文長度,支援較長的對話。多語言 VQA 支援 29 種語言,包括英文、中文、阿拉伯文、德文、西班牙文、法文、義大利文、日文、韓文、葡萄牙文、俄文、土耳其文、越南文、泰文、印尼文、印地文與孟加拉文。最適合文件理解、圖表/示意圖分析、OCR 任務與多語言視覺問答。限制:計數任務與細粒度空間推理可能受圖塊切分方式影響。為取得最佳推理效果,請在支援 CUDA 的 GPU 上使用 bfloat16 精度。Apple Silicon 支援 MLX 推理。若要以向量檢索視覺文件,請搭配 jina-embeddings-v4 或 jina-reranker-m0。




