jina-embeddings-v5-omni-small

jina-embeddings-v5-omni-small（約 17.4 億參數）是一款多模態向量模型，可接收文本、圖像、影片和音頻，並在與 jina-embeddings-v5-text-small 對齊的共享向量空間中輸出向量。您可以用文本建索引、用任意模態查詢，反之亦然，無需重建索引。多模態訓練期間，文本主幹網路和四個面向特定任務的 LoRA 適配器（檢索、文本匹配、聚類、分類）全部凍結，因此純文本輸出與 jina-embeddings-v5-text-small 逐位一致。模型輸出 1024 維向量，可通過 Matryoshka 截斷至最低 32 維，支援 32K 詞元的上下文長度。

在 jina-embeddings-v5-text-small 之上增加第三階段訓練。文字主幹網路和四個面向特定任務的 LoRA 介面卡全部凍結，只訓練新增的跨模態投影器。影象和影片（均勻取樣 32 幀）由 SigLIP2 So400m 視覺編碼器處理，音訊輸入由 Whisper-large-v3 音訊編碼器處理，PDF 頁面則渲染成影象後走視覺通路。訓練採用帶跨模態難負樣本的對比損失，把視覺和音訊表示對齊到已有的文字向量空間。

純文字效能與 jina-embeddings-v5-text-small 逐位一致，多模態訓練期間文字主幹網路和 LoRA 介面卡均未改動。跨模態檢索方面，模型在文字-影象、文字-音訊和文字-影片任務上都展現出良好的對齊效果，PDF 頁面檢索則走視覺通路完成。在 Jina 的多模態向量模型中，omni-small 在伺服器部署場景下的精度與效率平衡最佳。

介面卡與 v5-text-small 相同，仍是檢索、文字匹配、聚類、分類四個。透過 API 傳入多模態輸入時，直接傳影象 URL、音訊檔案 URL、影片檔案 URL 或 PDF URL 即可，模型會把各模態分派給對應的編碼器。支援的音訊格式包括 WAV、MP3、FLAC、OGG、M4A 和 Opus。影片輸入按均勻取樣的 32 幀處理。同一批次內可自由混合不同模態，因為所有模態共享同一向量空間。比對請使用餘弦相似度。支援從 1024 維到 32 維的 Matryoshka 截斷。純文字向量與 jina-embeddings-v5-text-small 完全相容，升級時無需重建索引。