Ajuste fino automático

Simplemente díganos en qué dominio desea que sus embeddings destaquen y le entregaremos automáticamente un modelo de embedding optimizado y listo para usar para ese dominio.

¿Qué es el ajuste fino automático?

Hay tres formas de especificar sus requisitos: una instrucción general, una URL o una descripción del documento de consulta. Elija uno.
Seleccione un modelo de embedding base
El ajuste fino le permite tomar un modelo previamente entrenado y adaptarlo a una tarea o dominio específico entrenándolo en un nuevo conjunto de datos. En la práctica, encontrar datos de entrenamiento efectivos no es sencillo para muchos usuarios. El entrenamiento eficaz requiere algo más que simplemente incluir archivos PDF y HTML sin formato en el modelo; y es difícil hacerlo bien. El ajuste fino automático resuelve este problema al generar automáticamente datos de entrenamiento efectivos utilizando un pipeline avanzado de agentes LLM; y ajustar el modelo dentro de un flujo de trabajo de ML. Puede pensarlo como una combinación de generación de datos sintéticos y AutoML, por lo que todo lo que necesita hacer es describir su dominio de destino en lenguaje natural y dejar que nuestro sistema haga el resto.
El ajuste automático tiene la promesa automática de ofrecer embeddings ajustados para cualquier dominio que desee. pero de verdad funciona? Esta es una duda bastante razonable. Lo hemos probado en una variedad de dominios y modelos base para averiguarlo. Eche un vistazo a los resultados seleccionados con cereza y limón a continuación.
Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-en
Promedio mejora
2%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.505 0.532 5%
MAP
0.352 0.389 10%
MRR
0.352 0.389 10%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de tollefj/norwegian-nli-triplets
NDCG
0.852 0.867 2%
MAP
0.800 0.820 2%
MRR
0.800 0.820 2%
Datos sintéticos generados
Total
4648
Entrenamiento
4480
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-en
Promedio mejora
6%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.672 0.755 12%
MAP
0.567 0.675 19%
MRR
0.567 0.675 19%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de mteb/askubuntudupquestions-reranking
NDCG
0.698 0.722 3%
MAP
0.515 0.549 6%
MRR
0.666 0.712 7%
Datos sintéticos generados
Total
616
Entrenamiento
448
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-en
Promedio mejora
9%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.727 0.861 18%
MAP
0.640 0.814 27%
MRR
0.640 0.814 27%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de mteb/scidocs-reranking
NDCG
0.773 0.822 6%
MAP
0.575 0.651 13%
MRR
0.823 0.884 7%
Datos sintéticos generados
Total
616
Entrenamiento
448
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-zh
Promedio mejora
1%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.718 0.785 9%
MAP
0.629 0.717 14%
MRR
0.629 0.717 14%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de C-MTEB/CMedQAv2-reranking
NDCG
0.938 0.948 1%
MAP
0.912 0.926 2%
MRR
0.920 0.933 1%
Datos sintéticos generados
Total
616
Entrenamiento
448
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-en
Promedio mejora
6%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.543 0.579 7%
MAP
0.402 0.452 12%
MRR
0.402 0.452 12%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de nc33/triplet_sbert_law2 (machine-translated to dutch)
NDCG
0.904 0.948 5%
MAP
0.870 0.930 7%
MRR
0.870 0.930 7%
Datos sintéticos generados
Total
9128
Entrenamiento
8960
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-code
Promedio mejora
-4%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.671 0.640 -5%
MAP
0.569 0.525 -8%
MRR
0.569 0.525 -8%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de mteb/stackoverflowdupquestions-reranking
NDCG
0.640 0.621 -3%
MAP
0.530 0.505 -5%
MRR
0.555 0.532 -4%
Datos sintéticos generados
Total
616
Entrenamiento
448
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-code
Promedio mejora
-4%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.632 0.711 13%
MAP
0.517 0.622 20%
MRR
0.517 0.622 20%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de mteb/stackoverflowdupquestions-reranking
NDCG
0.640 0.619 -3%
MAP
0.530 0.504 -5%
MRR
0.555 0.525 -5%
Datos sintéticos generados
Total
616
Entrenamiento
448
Validación
168

Modelo base para ajuste fino
jinaai/jina-embeddings-v2-base-en
Promedio mejora
1%

Instrucción de dominio
Rendimiento en el conjunto de validación sintética antes y después del ajuste
NDCG
0.646 0.729 13%
MAP
0.535 0.644 20%
MRR
0.535 0.644 20%
Rendimiento en el conjunto de pruebas retenido antes y después del ajuste fino
Probado en 50 muestras aleatorias de mteb/askubuntudupquestions-reranking
NDCG
0.645 0.650 1%
MAP
0.452 0.462 2%
MRR
0.606 0.605 -0%
Datos sintéticos generados
Total
616
Entrenamiento
448
Validación
168

API de ajuste automático

Obtenga embeddings optimizados para cualquier dominio que desee.


Utilice r.jina.ai para leer una URL y obtener su contenido
Utilice s.jina.ai para buscar en la web y obtener SERP
Agregue mcp.jina.ai como su servidor MCP para acceder a nuestra API en LLM


Pedido
GET
curl "https://r.jina.ai/https://www.example.com"


Límite de velocidad
Los límites de velocidad se controlan de dos maneras: RPM (solicitudes por minuto) y TPM (tokens por minuto). Los límites se aplican por IP/clave API y se activan cuando se alcanza primero el umbral de RPM o TPM. Al proporcionar una clave API en el encabezado de la solicitud, controlamos los límites de velocidad por clave, no por dirección IP.
ProductoPunto final de APIDescripciónSin clave APIcon clave API gratuitacon clave API de pagocon clave API PremiumLatencia mediaRecuento de uso de tokensSolicitud permitida
API de Readerhttps://r.jina.aiConvertir la URL en texto compatible con LLM20 RPM500 RPM500 RPM5000 RPM7.9sContar el número de tokens en la respuesta de salida.GET/POST
API de Readerhttps://s.jina.aiBuscar en la web y convertir los resultados en texto compatible con LLM100 RPM100 RPM1000 RPM2.5sCada solicitud cuesta una cantidad fija de tokens, a partir de 10.000 tokensGET/POST
API de embeddinghttps://api.jina.ai/v1/embeddingsConvertir texto/imágenes en vectores de longitud fija100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depende del tamaño de entrada
Contar el número de tokens en la solicitud de entrada.POST
API de Rerankerhttps://api.jina.ai/v1/rerankReordenar documentos según la consulta100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depende del tamaño de entrada
Contar el número de tokens en la solicitud de entrada.POST
Preguntas comunes relacionadas con la facturación