jina-embeddings-v5-omni-small

jina-embeddings-v5-omni-small 是一個約 1.74B 參數的多模態向量模型，可接受文字、圖片、影片、音訊與 PDF，並在共享的 1024 維向量空間中產生向量。它是 Jina API 的預設向量模型，在 Jina 的多模態向量模型中提供最佳的精確度與效率取捨。純文字輸出與 jina-embeddings-v5-text-small 位元完全相同，從純文字遷移到多模態不必重建索引。

該模型是在延伸 jina-embeddings-v5-text-small 的第三階段訓練而成。多模態訓練期間，Qwen3-0.6B-Base 文字骨幹與全部四個任務特定 LoRA 適配器都凍結，只有跨模態投影器是新訓練的。SigLIP2 Large 視覺編碼器處理圖片與影片（每段影片均勻取樣 32 幀）。Whisper-large-v3 音訊編碼器處理音訊輸入。PDF 頁面先渲染成圖片，再走視覺路徑處理。訓練使用搭配跨模態困難負樣本的對比損失，把視覺與音訊表示對齊到既有的文字向量空間。1024 維輸出支援 Matryoshka 截斷至 32 維。32K 詞元上下文視窗涵蓋文字輸入。該模型支援 Apple Silicon 上的量化推理與 MLX 推理。

純文字表現與 jina-embeddings-v5-text-small 位元完全相同（MMTEB 任務級平均 67.0、英文 MTEB 71.7）——多模態訓練期間文字骨幹與 LoRA 適配器都沒被更動。在跨模態檢索上，該模型在文字對圖片、文字對音訊與文字對影片任務間展現良好對齊。PDF 頁面檢索走視覺路徑處理。omni-small 是 Jina 多模態向量模型中，伺服器部署下精確度與效率取捨最佳的一款，其 1024 維向量比 768 維的 omni-nano 版本更具區辨力。

選擇對應的 LoRA 適配器：retrieval、text-matching、clustering 或 classification。經 API 傳入多模態輸入時，直接給圖片 URL、音訊檔 URL、影片檔 URL 或 PDF URL——模型會把每種模態送進對應的編碼器。支援的音訊格式包括 WAV、MP3、FLAC、OGG、M4A 與 Opus。影片輸入以均勻取樣的 32 幀處理。同一個批次裡可以自由混搭模態：向量空間由所有模態共用。比較請用餘弦相似度。支援從 1024 維到 32 維的 Matryoshka 截斷。純文字向量與 jina-embeddings-v5-text-small 即插即用相容——升級時不必重建索引。沒有 GPU 的邊緣部署請改用 jina-embeddings-v5-omni-nano。