jina-embeddings-v5-omni-small

jina-embeddings-v5-omni-small (~1,74 milliard de paramètres) est un modèle d'embeddings multimodal qui accepte le texte, les images, la vidéo et l'audio et produit des embeddings dans un espace vectoriel partagé, aligné avec jina-embeddings-v5-text-small. Vous pouvez indexer avec du texte et interroger avec n'importe quelle modalité, ou inversement, sans réindexation. Le modèle de base pour le texte et les quatre adaptateurs LoRA spécifiques à la tâche (recherche, correspondance de texte, clustering, classification) sont figés pendant l'entraînement multimodal ; les sorties textuelles sont donc identiques, bit à bit, à celles de jina-embeddings-v5-text-small. Le modèle produit des embeddings de dimension 1024 avec une troncature Matryoshka à 32 dimensions et prend en charge une longueur de contexte de token de 32 000.

Entraîné en trois étapes, ce modèle étend jina-embeddings-v5-text-small. La structure de base du texte et les quatre adaptateurs LoRA spécifiques à la tâche sont figés ; seuls les projecteurs intermodaux sont nouvellement entraînés. Un encodeur visuel SigLIP2 So400m gère les images et la vidéo (32 images échantillonnées uniformément). Un encodeur audio Whisper-large-v3 gère l'entrée audio. Les pages PDF sont rendues sous forme d'images et traitées par le chemin visuel. L'entraînement utilise une perte contrastive avec des négatifs durs intermodaux pour aligner les représentations visuelles et audio avec l'espace d'intégration du texte existant.

Les performances en mode texte seul sont identiques à celles de jina-embeddings-v5-text-small : la structure de base du texte et les adaptateurs LoRA restent inchangés lors de l'entraînement multimodal. En recherche intermodale, le modèle présente une excellente concordance entre les tâches texte-image, texte-audio et texte-vidéo. La récupération des pages PDF est gérée par le traitement visuel. Le modèle omni-small offre le meilleur compromis précision-efficacité parmi les modèles d'intégration multimodale Jina pour un déploiement sur serveur.

Les quatre mêmes adaptateurs LoRA que v5-text-small sont utilisés : recherche, correspondance de texte, clustering et classification. Pour les entrées multimodales via l'API, transmettez directement les URL d'images, de fichiers audio, de fichiers vidéo ou de PDF ; le modèle achemine chaque modalité vers l'encodeur approprié. Les formats audio pris en charge incluent WAV, MP3, FLAC, OGG, M4A et Opus. Les entrées vidéo sont traitées comme 32 images échantillonnées uniformément. Combinez librement les modalités au sein d'un même lot : l'espace d'embeddings est partagé entre toutes les modalités. Utilisez la similarité cosinus pour la comparaison. La troncature Matryoshka de 1024 à 32 dimensions est prise en charge. Les embeddings purement textuels sont directement compatibles avec jina-embeddings-v5-text-small ; aucune réindexation n'est nécessaire lors de la mise à niveau.