jina-vlm

jina-vlm は 2.4B パラメータの多言語ビジョン言語モデルで、オープンな 2B スケールの VLM において SOTA の VQA 性能を達成します。SigLIP2 ビジョンエンコーダーをアテンションプーリングコネクタを介して Qwen3 言語デコーダと結合し、任意解像度画像のトークン効率の良い処理を可能にします。モデルは 29 言語と 32K トークンコンテキストをサポートし、文書理解、チャート分析、OCR、多言語視覚質問応答に適しています。

アーキテクチャは SigLIP2 ビジョンエンコーダーと Qwen3 言語デコーダを組み合わせ、任意解像度画像のトークン効率の良い処理を可能にするアテンションプーリング機構で接続しています。中核の革新はアテンションプーリングコネクタで、2×2 プーリングを適用してタイルあたりの 729 のビジュアルトークンを 182 に削減します（4× のトークン削減）。LLM プリフィル FLOPs が 3.9× 削減され、KV キャッシュメモリは 4× 削減され、ベンチマークスコアへの影響は最小です。画像はタイル分割で処理されます：任意解像度画像は最大 12 タイルとサムネイルに分割され、それぞれ独立して処理された後、結合されます。モデルはアラビア語、中国語、英語、ポルトガル語、ロシア語、トルコ語など 29 言語をカバーする多彩な多言語 VQA データセットで訓練されました。leave-one-out データ混合アブレーション研究により、どのデータカテゴリ（タスク、ドメイン、モダリティ、言語）が必要であり冗長でないかが診断され、効率的なデータ配分を導きました。

モデルは 2B スケールの VLM において 8 つの VQA ベンチマーク全体で最高の平均スコア（72.3）を達成します：MathVista（59.4）、AI2D（80.8）、ChartQA（79.5）、DocVQA（90.6）、InfoVQA（65.9）、RealWorldQA（64.9）、OCRBench（778/1000）、MME（1582）。多言語マルチモーダル理解でリードしています：MMMB（78.8）と Multilingual MMBench（74.3）、アラビア語、中国語、英語、ポルトガル語、ロシア語、トルコ語をカバー。OCR 性能は OCRBench で 778（0–1000 スケール）と強力です。テキストのみの性能は競争力があります：MMLU（54.7）、HellaSwag（75.6）、ただしビジョン言語統合により MMLU-Pro では低下しています（ベース 46.4 に対し 30.3）。アテンションプーリングによる 4× のトークン削減は、LLM プリフィル FLOPs の 3.9× 削減と KV キャッシュメモリの 4× 削減をもたらし、ベンチマークへの影響は最小です。

モデルは Hugging Face で CC-BY-NC-4.0 配下、重みと推論コード付きで利用可能です。自動タイル分割（最大 12 タイルとサムネイル）により任意解像度画像をサポートします。複雑な推論タスクには do_sample=True と temperature > 0 を有効にしてシンキングモードを使用してください。モデルは拡張対話のために 32K コンテキスト長を処理します。多言語 VQA では、英語、中国語、アラビア語、ドイツ語、スペイン語、フランス語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語、トルコ語、ベトナム語、タイ語、インドネシア語、ヒンディー語、ベンガル語を含む 29 言語をサポートします。文書理解、チャート/図の分析、OCR タスク、多言語視覚質問応答に最適です。制限事項：カウントタスクと細かい空間推論はタイル分割アプローチの影響を受ける可能性があります。最適な推論には、CUDA 対応 GPU 上で bfloat16 精度を使用してください。Apple Silicon では MLX 推論がサポートされています。視覚文書への embedding ベース検索には、jina-embeddings-v4 または jina-reranker-m0 とペアにしてください。