jina-embeddings-v5-omni-small

jina-embeddings-v5-omni-small (~1,74 Milliarden Parameter) ist ein multimodales Embedding-Modell, das Text, Bilder, Videos und Audio verarbeitet und Embeddings in einem gemeinsamen Vektorraum erzeugt, der mit jina-embeddings-v5-text-small übereinstimmt. Sie können mit Text indizieren und mit jeder Modalität abfragen oder umgekehrt, ohne neu indizieren zu müssen. Das Text-Backbone und alle vier aufgabenspezifischen LoRA-Adapter (Retrieval, Textvergleich, Clustering, Klassifizierung) werden während des multimodalen Trainings eingefroren, sodass die reinen Textausgaben bitgenau mit jina-embeddings-v5-text-small übereinstimmen. Das Modell erzeugt 1024-dimensionale Embeddings mit Matryoshka-Trunkierung auf bis zu 32 Dimensionen und unterstützt eine Kontextlänge von 32K Token.

Das Training erfolgte in einer dritten Stufe, die jina-embeddings-v5-text-small erweiterte. Das Text-Backbone und alle vier aufgabenspezifischen LoRA-Adapter sind eingefroren; lediglich die crossmodalen Projektoren wurden neu trainiert. Ein SigLIP2 So400m Vision-Encoder verarbeitet Bilder und Videos (32 gleichmäßig abgetastete Frames). Ein Whisper-large-v3 Audio-Encoder verarbeitet die Audioeingabe. PDF-Seiten werden als Bilder gerendert und über den Bildverarbeitungspfad verarbeitet. Das Training verwendet einen kontrastiven Verlust mit crossmodalen harten Negativen, um visuelle und auditive Repräsentationen an den bestehenden Text-Embedding-Raum anzupassen.

Die Leistung bei reinen Textdaten ist identisch mit der von jina-embeddings-v5-text-small – das Text-Backbone und die LoRA-Adapter bleiben während des multimodalen Trainings unverändert. Bei der modalitätsübergreifenden Suche zeigt das Modell eine starke Übereinstimmung zwischen Text-Bild-, Text-Audio- und Text-Video-Aufgaben. Die Suche nach PDF-Seiten erfolgt über den Bildverarbeitungspfad. Das Omni-Small-Modell bietet unter den multimodalen Jina-Embedding-Modellen für den Servereinsatz das beste Verhältnis von Genauigkeit zu Effizienz.

Die gleichen vier LoRA-Adapter wie in v5-text-small: retrieval, text-matching, clustering und classification. Für multimodale Eingaben über die API können Bild-, Audio-, Video- oder PDF-URLs direkt übergeben werden – das Modell leitet jede Modalität an den entsprechenden Encoder weiter. Unterstützte Audioformate sind WAV, MP3, FLAC, OGG, M4A und Opus. Videoeingaben werden als 32 gleichmäßig abgetastete Frames verarbeitet. Modalitäten können innerhalb eines Batches beliebig kombiniert werden: Der Embedding-Raum wird von allen Modalitäten gemeinsam genutzt. Für den Vergleich wird die Kosinusähnlichkeit verwendet. Die Matryoshka-Trunkierung von 1024 auf 32 Dimensionen wird unterstützt. Reine Text-Embeddings sind direkt kompatibel mit jina-embeddings-v5-text-small – beim Upgrade ist keine Neuindizierung erforderlich.