Ajuste fino automático

Díganos en qué dominio desea que destaquen sus embeddings y le entregaremos automáticamente un modelo de embedding ajustado y listo para usar en ese dominio.

¿Qué es el ajuste fino automático?

Hay tres formas de especificar sus requisitos: una instrucción general, una URL o una descripción del documento de consulta. Elija uno.
Seleccione un modelo de embedding base
El ajuste fino le permite tomar un modelo previamente entrenado y adaptarlo a una tarea o dominio específico entrenándolo en un nuevo conjunto de datos. En la práctica, encontrar datos de entrenamiento efectivos no es sencillo para muchos usuarios. El entrenamiento eficaz requiere algo más que simplemente incluir archivos PDF y HTML sin formato en el modelo, y es difícil hacerlo bien. El ajuste fino automático resuelve este problema al generar automáticamente datos de entrenamiento efectivos con un pipeline avanzado de agentes LLM, y ajustar el modelo dentro de un flujo de trabajo de ML. Puede pensarlo como una combinación de generación de datos sintéticos y AutoML, por lo que todo lo que necesita hacer es describir su dominio de destino en lenguaje natural y dejar que nuestro sistema haga el resto.
El ajuste fino automático promete, casi por arte de magia, ofrecer embeddings ajustados para cualquier dominio que desee. ¿Pero funciona de verdad? Esta es una duda bastante razonable. Lo hemos probado en una variedad de dominios y modelos base para averiguarlo. Vea a continuación los resultados escogidos a propósito, tanto los favorables como los desfavorables.
Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-en
Mejora media
2%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.505 0.532 5%
MAP
0.352 0.389 10%
MRR
0.352 0.389 10%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de tollefj/norwegian-nli-triplets
NDCG
0.852 0.867 2%
MAP
0.800 0.820 2%
MRR
0.800 0.820 2%
Datos sintéticos generados
Total
4648
Entrenamiento
4480
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-en
Mejora media
6%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.672 0.755 12%
MAP
0.567 0.675 19%
MRR
0.567 0.675 19%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de mteb/askubuntudupquestions-reranking
NDCG
0.698 0.722 3%
MAP
0.515 0.549 6%
MRR
0.666 0.712 7%
Datos sintéticos generados
Total
616
Entrenamiento
448
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-en
Mejora media
9%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.727 0.861 18%
MAP
0.640 0.814 27%
MRR
0.640 0.814 27%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de mteb/scidocs-reranking
NDCG
0.773 0.822 6%
MAP
0.575 0.651 13%
MRR
0.823 0.884 7%
Datos sintéticos generados
Total
616
Entrenamiento
448
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-zh
Mejora media
1%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.718 0.785 9%
MAP
0.629 0.717 14%
MRR
0.629 0.717 14%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de C-MTEB/CMedQAv2-reranking
NDCG
0.938 0.948 1%
MAP
0.912 0.926 2%
MRR
0.920 0.933 1%
Datos sintéticos generados
Total
616
Entrenamiento
448
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-en
Mejora media
6%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.543 0.579 7%
MAP
0.402 0.452 12%
MRR
0.402 0.452 12%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de nc33/triplet_sbert_law2 (machine-translated to dutch)
NDCG
0.904 0.948 5%
MAP
0.870 0.930 7%
MRR
0.870 0.930 7%
Datos sintéticos generados
Total
9128
Entrenamiento
8960
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-code
Mejora media
-4%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.671 0.640 -5%
MAP
0.569 0.525 -8%
MRR
0.569 0.525 -8%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de mteb/stackoverflowdupquestions-reranking
NDCG
0.640 0.621 -3%
MAP
0.530 0.505 -5%
MRR
0.555 0.532 -4%
Datos sintéticos generados
Total
616
Entrenamiento
448
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-code
Mejora media
-4%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.632 0.711 13%
MAP
0.517 0.622 20%
MRR
0.517 0.622 20%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de mteb/stackoverflowdupquestions-reranking
NDCG
0.640 0.619 -3%
MAP
0.530 0.504 -5%
MRR
0.555 0.525 -5%
Datos sintéticos generados
Total
616
Entrenamiento
448
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-en
Mejora media
1%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.646 0.729 13%
MAP
0.535 0.644 20%
MRR
0.535 0.644 20%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de mteb/askubuntudupquestions-reranking
NDCG
0.645 0.650 1%
MAP
0.452 0.462 2%
MRR
0.606 0.605 -0%
Datos sintéticos generados
Total
616
Entrenamiento
448
Validación
168

API de ajuste fino automático

Obtenga embeddings ajustados para el dominio que desee.


Utilice r.jina.ai para leer una URL y obtener su contenido
Utilice s.jina.ai para buscar en la web y obtener SERP
Añada mcp.jina.ai como servidor MCP para llamar a nuestras API desde cualquier LLM


Solicitud
GET
curl "https://r.jina.ai/https://www.example.com"


Límite de velocidad
Los límites de velocidad se miden de dos maneras: RPM (solicitudes por minuto) y TPM (tokens por minuto). Los límites se aplican por IP o clave API y se activan en cuanto se alcanza el umbral de RPM o de TPM. Al proporcionar una clave API en el encabezado de la solicitud, controlamos los límites de velocidad por clave, no por dirección IP.
ProductoPunto final de APIDescripciónSin clave APICon clave API gratuitaCon clave API de pagoCon clave API premiumLatencia mediaRecuento de uso de tokensMétodo HTTP
API de Readerhttps://r.jina.aiConvertir la URL en texto compatible con LLM20 RPM500 RPM500 RPM5000 RPM7.9sContar el número de tokens en la respuesta de salida.GET/POST
API de Readerhttps://s.jina.aiBuscar en la web y convertir los resultados en texto compatible con LLM100 RPM100 RPM1000 RPM2.5sCada solicitud cuesta una cantidad fija de tokens, a partir de 10.000 tokensGET/POST
API de Embeddingshttps://api.jina.ai/v1/embeddingsConvertir texto/imágenes en vectores de longitud fija100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depende del tamaño de entrada
Contar el número de tokens en la solicitud de entrada.POST
API de Rerankerhttps://api.jina.ai/v1/rerankReordenar documentos según la consulta100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depende del tamaño de entrada
Contar el número de tokens en la solicitud de entrada.POST
Preguntas comunes relacionadas con la facturación