Llama.cpp 與 GGUF 中的多模態向量模型

當解碼 img_tok_2 時，注意力機制應該關注所有先前的詞元，也就是：

<|im_start|>user\n<|vision_start|> img_tok_1
Copy

然而，注意力遮罩中的一個錯誤反而導致該機制關注整個圖像序列，如下所示：

 <|im_start|>user\n<|vision_start|> img_tok_1 img_tok_2 ... img_tok_last
Copy

在我們修復這個錯誤後，我們的 llama.cpp 模型的**向量模型**（使用來自 Torch 模型的 ViT 的預先計算的圖像詞元）最終與參考模型的**向量模型**相符（在一個小的誤差範圍內）。

tag修復 #2：圖像處理與 Patch **向量模型**

llama.cpp 的 ViT 編碼器也產生與參考模型不同的圖像**向量模型**，在預處理後數值立即出現差異。這在初始的 patch 建立步驟中尤其明顯，我們的參考模型和 llama.cpp 都將原始圖像（像素值）分割成通過卷積層編碼的 patches。原始 patches（在 ViT 處理之前）之間的差異如下所示：

=== raw_patches reference === Shape: [1008, 1176]
Logging patches 0-4, dimensions 0-9
Patch 0: 0.484375 0.484375 0.500000 0.500000 0.470703 0.470703 0.470703 0.484375 0.470703 0.484375 ... (dims 10-1175)
... (patches 1-1007 not shown)
Copy

=== raw_patches llama.cpp === Shape: [1176, 1008, 1, 1]
Logging patches 0-4, dimensions 0-9
Patch 0: 0.455895 0.455895 0.455895 0.455895 0.455895 0.455895 0.470494 0.470494 0.470494 0.470494 ... (dims 10-1175)
... (patches 1-1007 not shown)
Copy

我們的參考模型和 llama.cpp 以不同的方式處理這些 patches：

• 參考模型使用 reshape 運算對像素值進行分組，然後使用單個 conv3d 層來編碼預先分組的像素 patches。
• llama.cpp 模型使用兩個 conv2d 層創建和編碼這些 patches

為了使 llama.cpp 模型的**向量模型**更接近參考模型的**向量模型**，我們認為使用參考模型的確切運算，而不是調試 llama.cpp 的方法會更簡單。

我們的參考模型使用複雜的 reshape 和 transpose 運算來生成像素 patches，這些運算需要 9 維張量。llama.cpp 中使用的底層張量處理函式庫 — ggml — 無法支援它們，因此為了繞過這個問題，我們使用一個單獨的 Python 服務生成 patches，該服務透過 HTTP 呼叫 llama.cpp 伺服器。

ggml 也不支援 conv3d 層。在我們的參考模型中，conv3d 層的配置如下所示：

kernel_size = [
	2,  # temporal_patch_size, 
	14, # patch_size
	14  # patch_size
]

proj = nn.Conv3d(
	3, # in_channels
	1152, # embed_dim, 
	kernel_size=kernel_size, 
	stride=kernel_size, 
	bias=False
)
Copy

您可以看到 stride 和 kernel_size 相同，這表示我們可以簡單地展平 conv3d 層的輸入和權重，然後執行一個簡單的矩陣乘法運算來替代。為此，我們修改了 llama.cpp 中的轉換腳本（convert_hf_to_gguf.py），以導出 patch 投影層的展平版本 conv3d 權重：

if 'patch_embed.proj.weight' in name:
	c1, c2, kt, kh, kw = data_torch.shape
	# Note: this part of the script also exports other versions of this layer
	# Only showing the relevant parts
	# Flat matmul weight: row-major [out, in*kT*kH*kW] = [embed_dim, 1176]
	W_flat = data_torch.contiguous().view(c1, -1)
	outputs.append(("v.patch_embd.weight_flat", W_flat))
Copy

為了在 llama.cpp 中應用 matmul 運算來替代兩個 conv2d 層，我們修改了構建 Qwen2.5-VL ViT 圖形的程式碼：

ggml_tensor * build_inp_raw_precomputed() {
  ggml_tensor * inp_raw = ggml_new_tensor_2d(
		ctx0, 
		GGML_TYPE_F32, 
		img.p_dim, 
		img.npx * img.npy
	);
  ggml_set_name(inp_raw, "inp_raw");
  ggml_set_input(inp_raw);
  return inp_raw;
}

ggml_cgraph * build_qwen2vl() {
	// NOTE: only showing the code we've added for using pre-arranged image patches
  const bool uses_precomputed_image = img.is_precomputed;
  ggml_tensor * inp = nullptr;
	if (uses_precomputed_image) {
      ggml_tensor * inp_raw = build_inp_raw_precomputed();
      cb(inp_raw, "inp_raw", -1);
      inp = ggml_mul_mat(ctx0, model.patch_embeddings_flat, inp_raw);
	} else {
		// Usual 2x conv2d path 
	}
	// rest of the code 
}
Copy

透過這些最終的變更，最終的圖像**向量模型**與參考模型相比，誤差在 2% 範圍內（如下一節的評估表中所示）。

tag評估

在進行這些變更後，我們使用 MTEB 基準，針對我們的參考模型，在 ViDoRe 任務上評估了 llama.cpp 模型。您可以在我們的 llama.cpp 分支中看到 腳本和說明，以重現這些結果，以及兩個量化版本。

從結果表中可以看出，平均而言，llama.cpp 模型及其量化變體與參考模型沒有太大差異。

為了更深入地比較這些模型，我們使用了來自不同領域和具有不同解析度的圖像，繪製了圖像 patch **向量模型**之間的距離（在 pooling/normalization 之前）。patch 越紅，參考模型和 llama.cpp 模型對於該特定 patch 的向量之間的餘弦距離越大。

我們的目標是找出任何超出數值精確度差異的模式，這些模式可能會揭示我們模型之間的其他錯誤或差異。然而，沒有可見的特定模式，除了發散的 patches 數量隨著圖像解析度增加而增加。這些差異很可能由於後端差異而出現，而不是因為 Qwen2.5-VL（jina-embeddings-v4 的骨幹模型）的實作中存在任何特定錯誤。

儘管如此，我們需要重申這些差異是極小的，並且基準測試結果也反映了這個事實。 總體而言，llama.cpp 模型與參考模型表現得一樣好，儘管產生了略有不同的向量模型。

tagRemaining Issues

llama.cpp 中 multimodal 向量模型有幾個潛在的改進領域：

• 量化視覺編碼器。目前，llama.cpp 僅支援大模型的量化，但為了實現更好的擴展性，我們也希望量化視覺編碼器。

• 將視覺編碼器分離為專用服務。 視覺編碼器通常使用非因果遮罩，這意味著任何給定的圖像都需要在單個前向呼叫中進行編碼。 因此，我們無法使用連續批處理。 但是，我們可以考慮將視覺編碼器分離為一個單獨的服務，該服務將多個圖像（甚至來自不同來源的圖像）批處理在一起，並在單個前向傳遞中對它們進行編碼。 這意味著更高的 vRAM 需求，但也會比逐個編碼每個圖像快得多。 這種分離也意味著我們可以獨立於語言模型自動縮放視覺編碼器。
• 啟用多向量模型。 在本文中，我們僅使用單向量模型。 但是為了充分利用 jina-embeddings-v4，我們還希望啟用多向量模型，以在複雜圖像上實現更高的準確性。 這將是一個容易的添加，因為這些向量模型是通過基礎模型之上的單個線性層生成的。

tagConclusion

儘管最初存在錯誤和挫折，但將 multimodal 向量模型整合到 llama.cpp 中現在產生的結果與我們的參考 PyTorch 模型非常接近，包括在一系列基準測試任務中。 對注意力遮罩和圖像塊處理的修復消除了主要的分歧來源，即使是量化的變體也能在使用更少資源的同時實現相似的準確性。 在較高圖像解析度下，其餘差異似乎很小，並且可能是由於後端差異而不是核心模型實作造成的。

展望未來，將量化擴展到視覺編碼器、通過單獨的服務啟用批處理以及支援多向量模型將進一步提高效率和準確性。 這些新增功能將使 llama.cpp 中的 multimodal 向量模型更具可擴展性，並且更適合實際使用案例。