jina-vlm

jina-vlm は、24 億パラメータの視覚言語モデルで、オープンな 2B 規模の VLM の中で最先端の多言語視覚質問応答性能を達成しています。このモデルは、SigLIP2-So400M 視覚エンコーダ（4 億 4,900 万パラメータ）と Qwen3-1.7B 言語バックボーンを、空間情報を保持しながら視覚トークン数を 4 分の 1 に削減するアテンションプーリング コネクタで接続しています。12 タイルとグローバルサムネイルを組み合わせたオーバーラップ画像タイリングにより、最大 4K までの任意の解像度の画像を処理できます。トレーニングデータは、約 500 万のマルチモーダルサンプルと 120 億のテキストトークンを含み、29 の言語をカバーしています。そのうち約半分は英語で、残りは中国語、アラビア語、ドイツ語、スペイン語、フランス語、イタリア語、日本語、韓国語などの高リソースおよび中リソース言語です。

トレーニングは 2 段階で実施され、すべてのモデル コンポーネント (エンコーダー、コネクター、デコーダー) はフリーズすることなく更新されました。第 1 段階 (アライメント トレーニング) では、自然風景、ドキュメント、インフォグラフィック、ダイアグラムをカバーする画像記述データセット (PixmoCap、PangeaIns) を使用したクロスリンガル セマンティック ファンデーション トレーニングに重点を置きました。プレーン テキスト タスクでのパフォーマンス低下を軽減するために、15% のプレーン テキスト データも含まれています。コネクターの学習率はエンコーダーとデコーダーよりも高く、ウォームアップ時間は短くなっています。第 2 段階 (命令チューニング) では、多言語の命令応答データセット (Aya、ShareGPT4V、LLaVA) を使用して、会話型ビジュアル質問応答 (VQA) タスクにモデルを適応させました。2×2 プーリングを使用してコネクターに注意プーリングを適用し、タイルあたり 729 個のビジュアル ラベルを 182 個に削減することで、パフォーマンスの低下を最小限に抑えながら 4 分の 1 のラベル削減を実現しました。約 30% のオーバーラップ (112 ピクセル、ストライド 266) を持つ 378×378 タイルでエッジ情報が保持されました。

8つのVQAベンチマークにおいて、2B規模のVLMの中で最高の平均スコア（72.3）を達成しました。これにはMathVista（59.4）、AI2D（80.8）、ChartQA（79.5）、DocVQA（90.6）、InfoVQA（65.9）、RealWorldQA（64.9）、OCRBench（778）、MME（1582）が含まれます。多言語マルチモーダル理解においては、アラビア語、中国語、英語、ポルトガル語、ロシア語、トルコ語をカバーするMMMB（78.8）とMultilingual MMBench（74.3）でトップの成績を収めました。OCRBench（0〜1000点スケール）では778点という優れたOCR性能を示しました。MMLU（54.7）およびHellaSwag（75.6）ではテキストのみの性能も競争力がありましたが、視覚言語の統合により、MMLU-Proでは予想通りの性能低下（ベースの46.4に対して30.3）が見られました。アテンションプーリングによるトークンの4分の1への削減により、LLMプリフィルのFLOPsは3.9分の1、KVキャッシュメモリは4分の1に削減され、ベンチマークスコアへの影響はごくわずかでした。

Hugging FaceウェブサイトでCC-BY-NC-4.0ライセンスの下で公開されているこのモデルには、重みと推論コードが含まれています。自動タイル分割により、任意の解像度（最大12タイル＋サムネイル）の画像処理をサポートします。複雑な推論タスクでは、do_sample=True を有効にし temperature > 0 を設定することで、Thinking モードを使用できます。このモデルは32Kのコンテキスト長を処理できるため、長時間の会話にも対応できます。多言語ビジュアル質問応答では、英語、中国語、アラビア語、ドイツ語、スペイン語、フランス語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語、トルコ語、ベトナム語、タイ語、インドネシア語、ヒンディー語、ベンガル語を含む29言語をサポートしています。このモデルは、文書理解、チャート／図表の分析、OCRタスク、多言語ビジュアル質問応答に最適です。タイルベースの処理のため、カウントタスクやきめ細かな空間推論には限界があります。最適な推論パフォーマンスを得るには、CUDA 対応 GPU で bfloat16 精度を使用することをお勧めします。