Jina AI는 스페인어-영어 이중 언어 모델을 출시하면서 고품질 다국어 AI 모델에 대한 약속을 다시 한번 보여주고 있습니다.
이 모델은 스페인어나 영어로 된 최대 8k 토큰의 텍스트에 대한 임베딩 벡터를 제공하며, 두 언어로 된 텍스트가 같은 의미를 가질 경우 그들의 임베딩이 기하학적으로 가깝게 설계되었습니다. 스페인어와 영어를 위한 Jina Embeddings v2는 교차 언어 정보 검색, 이중 언어 의미 분석, 이중 언어 RAG 애플리케이션에 이상적으로 적합합니다.
이 새로운 모델인 jina-embeddings-v2-base-es는 Jina AI의 영어, 독일어, 중국어, 그리고 프로그래밍 언어를 위한 v2 모델의 최첨단 성능과 혁신적인 기능을 스페인어에 제공합니다:
- 오픈소스 임베딩 모델 중 선두인 8,192 토큰의 입력 컨텍스트.
- 불균형한 다국어 지원이 아닌 진정한 이중 언어 지원. Jina AI의 이중 언어 모델은 필터링되지 않은 인터넷 스크랩으로 학습된 "다국어" 모델의 편향성을 피하면서 두 언어에 대해 균형 잡힌 지원을 제공하도록 학습되었습니다.
- jina-embeddings-v2-base-es는 비슷한 성능의 오픈소스 모델에 비해 컴팩트합니다. 임베딩 자체는 768차원으로, 프로덕션에서 공간과 실행 시간을 절약합니다.
- Jina Embeddings v2 모델은 주요 벡터 데이터베이스, RAG 프레임워크, AI 개발 라이브러리에 완전히 통합되어 있습니다:
스페인어와 영어를 위한 Jina Embeddings v2는 현재 Jina Embeddings API를 통해 이용 가능하며, 100만 개의 무료 토큰이 제공되어 비용 없이 시도해볼 수 있습니다.
tag벤치마크
스페인어 벤치마크에서 스페인어와 영어를 위한 Jina v2는 Multilingual E5 base 모델과 BGE M3 모델을 능가합니다. 이는 스페인어를 지원하는 유일하게 비교 가능한 오픈소스 모델입니다. 아래의 테스트(MTEB-es)는 Massive Text Embeddings Benchmark에서 수정되었습니다. 이 GitHub 리포지토리에서 확인하고 실행할 수 있습니다.
jina-ai
Jina Embeddings는 분류를 제외한 모든 지표에서 E5를 능가하고, 더 큰 모델들의 15~30% 크기임에도 불구하고 검색, 클러스터링, 교차 언어 작업에서 BGE-M3를 능가합니다.
- 검색 작업(데이터베이스에서 관련 문서 찾기)과 클러스터링(컬렉션에서 함께 속하는 문서 그룹 식별)에서 현저히 우수한 성능
- 리랭킹(의미적 유사성에 따른 문서 정렬)에서 E5와 비슷한 성능과 스페인어 텍스트 분류에서 거의 동등한 성능
- 세 모델 모두 교차 언어 작업(스페인어 입력에 대한 의미적으로 유사한 영어 텍스트 찾기, 또는 그 반대)에서 매우 유사한 벤치마크 점수를 보이지만, Jina Embeddings가 여전히 가장 우수한 성능을 보입니다.
Open AI와 Cohere의 비공개 다국어 모델과 비교할 때, Jina Embeddings의 컴팩트한 크기는 그 성과를 더욱 인상적으로 만듭니다.
스페인어 검색 작업에서 Jina는 Open AI와 Cohere가 제공하는 비공개 모델을 능가하며, 교차 언어 작업에서는 Open AI를 능가하고 Cohere의 성능에 거의 근접합니다.
tagJina Embeddings: 다국어 세계를 위한 AI
스페인어는 5억 명이 훨씬 넘는 사람들이 사용하며, 유럽 연합, 유엔, 세계무역기구, FIFA를 포함한 20개 이상의 국가에서 공식 언어로 사용됩니다. 이 특화된 이중 언어 모델의 도입은 모든 사람에게 AI 기술을 제공하려는 Jina AI의 약속을 분명히 보여줍니다.
Jina AI는 스페인어와 고성능 영어 단일 언어 모델 외에도 현재 독일어, 중국어, 프로그래밍 언어에 대한 최첨단 임베딩 모델을 제공하고 있으며, 더 많은 언어가 추가될 예정입니다.
Jina AI는 투명성, 접근성, 경제성, 프라이버시 및 데이터 보호를 중시하며 가장 광범위한 사용자를 위한 AI 기술 발전에 전념하고 있습니다.
모든 모델에 대한 여러분의 피드백을 소중히 여깁니다. 우리의 커뮤니티 채널에 참여하여 의견을 공유하고 새로운 발전 사항을 확인하세요.
