Jina AI zeigt erneut sein Engagement für hochwertige mehrsprachige KI-Modelle mit der Veröffentlichung seines Spanisch-Englisch bilingualen Modells.
Dieses Modell liefert Embedding-Vektoren für Texte von bis zu 8k Tokens in Spanisch oder Englisch, wobei es so konzipiert ist, dass die Embeddings geometrisch nahe beieinander liegen, wenn Texte in beiden Sprachen das Gleiche bedeuten. Jina Embeddings v2 für Spanisch und Englisch eignet sich ideal für sprachübergreifendes Information Retrieval, bilinguale semantische Analyse und bilinguale RAG-Anwendungen.
Dieses neue Modell, jina-embeddings-v2-base-es, bringt die gleiche hochmoderne Leistung und bahnbrechende Funktionsvielfalt von Jina AIs v2 Modellen für Englisch, Deutsch, Chinesisch und Programmiersprachen auch ins Spanische:
- 8.192 Tokens Eingabekontext, führend unter Open-Source-Embedding-Modellen.
- Echte Zweisprachigkeit statt unausgewogener Mehrsprachigkeit. Jina AIs bilinguale Modelle sind darauf trainiert, beiden Sprachen ausgewogene Unterstützung zu bieten und vermeiden die Verzerrungen von "mehrsprachigen" Modellen, die auf unkurierten Internet-Scrapes trainiert wurden.
- jina-embeddings-v2-base-es ist im Vergleich zu Open-Source-Modellen mit vergleichbarer Leistung kompakt. Die Embeddings selbst haben 768 Dimensionen, was Speicherplatz und Laufzeit in der Produktion spart.
- Jina Embeddings v2 Modelle sind vollständig in wichtige Vektor-Datenbanken, RAG-Frameworks und KI-Entwicklungsbibliotheken integriert:
Jina Embeddings v2 für Spanisch und Englisch ist ab sofort über die Jina Embeddings API verfügbar, mit einer Million kostenloser Tokens, sodass Sie es kostenlos testen können.
tagBenchmarks
Bei spanischen Benchmarks übertrifft Jina v2 für Spanisch und Englisch das Multilingual E5 base Modell und das BGE M3 Modell, die einzigen vergleichbaren Open-Source-Modelle mit spanischer Unterstützung. Die folgenden Tests (MTEB-es) sind vom Massive Text Embeddings Benchmark adaptiert. Sie können sie in diesem GitHub Repository einsehen und ausführen.
jina-ai
Jina Embeddings übertrifft E5 in allen Metriken außer Klassifizierung und übertrifft BGE-M3 in Retrieval-, Clustering- und sprachübergreifenden Aufgaben, obwohl es nur 15% bis 30% der Größe dieser größeren Modelle hat.
- Deutlich bessere Leistung bei Retrieval-Aufgaben (wie das Finden verwandter Dokumente in einer Datenbank) und Clustering (Identifizierung von Dokumentengruppen, die in einer Sammlung zusammengehören)
- Etwa gleiche Leistung wie E5 beim Reranking (Ordnung von Dokumenten nach semantischer Ähnlichkeit) und nahezu gleiche Leistung bei der Textklassifizierung auf Spanisch.
- Alle drei Modelle haben sehr ähnliche Benchmark-Ergebnisse für sprachübergreifende Aufgaben (Finden semantisch ähnlicher Texte auf Englisch zu einer spanischen Eingabe oder umgekehrt), wobei Jina Embeddings immer noch die beste Leistung erbringt.
Im Vergleich zu geschlossenen mehrsprachigen Modellen von Open AI und Cohere macht die kompakte Größe von Jina Embeddings seine Leistungen noch eindrucksvoller.
Bei Retrieval-Aufgaben auf Spanisch übertrifft Jina die geschlossenen Modelle von Open AI und Cohere und übertrifft Open AI (und erreicht fast die Leistung von Cohere) bei sprachübergreifenden Aufgaben.
tagJina Embeddings: KI für eine mehrsprachige Welt
Spanisch wird von weit über einer halben Milliarde Menschen gesprochen und hat offiziellen Status in mehr als 20 Ländern sowie bei der Europäischen Union, den Vereinten Nationen, der Welthandelsorganisation und der FIFA. Die Einführung dieses spezialisierten bilingualen Modells verdeutlicht Jina AIs Engagement, KI-Technologien allen zugänglich zu machen.
Neben Spanisch und seinem leistungsstarken englischen monolingualen Modell bietet Jina AI derzeit modernste Embedding-Modelle für Deutsch, Chinesisch und Programmiersprachen an, weitere werden folgen.
Jina AI setzt sich dafür ein, KI-Technologie für ein möglichst breites Publikum voranzutreiben, wobei großer Wert auf Transparenz, Zugänglichkeit, Bezahlbarkeit, Privatsphäre und Datenschutz gelegt wird.
Ihr Feedback zu all unseren Modellen ist uns wichtig. Treten Sie unserem Community-Channel bei, um mitzuwirken und über neue Entwicklungen informiert zu bleiben.
