Fine-tuning automatico

Dicci semplicemente in quale dominio desideri che i tuoi embeddings eccellano e noi forniremo automaticamente un modello di embedding pronto all'uso e ottimizzato per quel dominio.

Che cos'è il fine-tuning automatico?

Esistono tre modi per specificare le tue esigenze: un'istruzione generale, un URL o una descrizione del documento di query. Scegline uno.
Seleziona un modello di embedding di base
Il fine-tuning consente di prendere un modello pre-addestrato e adattarlo a un'attività o dominio specifico addestrandolo su un nuovo set di dati. In pratica, trovare dati di addestramento efficaci non è semplice per molti utenti. Una formazione efficace richiede molto più che il semplice inserimento di PDF grezzi e HTML nel modello; ed è difficile farlo bene. La regolazione fine automatica risolve questo problema generando automaticamente dati di addestramento efficaci utilizzando una pipeline di agenti LLM avanzata; e mettere a punto il modello all'interno di un flusso di lavoro ML. Puoi pensarlo come una combinazione di generazione di dati sintetici e AutoML, quindi tutto ciò che devi fare è descrivere il tuo dominio di destinazione in linguaggio naturale e lasciare che il nostro sistema faccia il resto.
La regolazione fine automatica mantiene la promessa auto-magica di fornire embeddings ottimizzati per qualsiasi dominio tu voglia. Ma funziona veramente? Questo è un dubbio abbastanza ragionevole. Lo abbiamo testato su una varietà di domini e modelli base per scoprirlo. Dai un'occhiata ai risultati selezionati con la ciliegia e con il limone qui sotto.
Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-en
Media miglioramento
2%

Istruzioni sul dominio
Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.505 0.532 5%
MAP
0.352 0.389 10%
MRR
0.352 0.389 10%
Prestazioni sul test impostato prima e dopo la messa a punto
Testato su 50 campioni casuali da tollefj/norwegian-nli-triplets
NDCG
0.852 0.867 2%
MAP
0.800 0.820 2%
MRR
0.800 0.820 2%
Dati sintetici generati
Totale
4648
Addestramento
4480
Validazione
168

Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-en
Media miglioramento
6%

Istruzioni sul dominio
Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.672 0.755 12%
MAP
0.567 0.675 19%
MRR
0.567 0.675 19%
Prestazioni sul test impostato prima e dopo la messa a punto
Testato su 50 campioni casuali da mteb/askubuntudupquestions-reranking
NDCG
0.698 0.722 3%
MAP
0.515 0.549 6%
MRR
0.666 0.712 7%
Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168

Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-en
Media miglioramento
9%

Istruzioni sul dominio
Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.727 0.861 18%
MAP
0.640 0.814 27%
MRR
0.640 0.814 27%
Prestazioni sul test impostato prima e dopo la messa a punto
Testato su 50 campioni casuali da mteb/scidocs-reranking
NDCG
0.773 0.822 6%
MAP
0.575 0.651 13%
MRR
0.823 0.884 7%
Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168

Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-zh
Media miglioramento
1%

Istruzioni sul dominio
Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.718 0.785 9%
MAP
0.629 0.717 14%
MRR
0.629 0.717 14%
Prestazioni sul test impostato prima e dopo la messa a punto
Testato su 50 campioni casuali da C-MTEB/CMedQAv2-reranking
NDCG
0.938 0.948 1%
MAP
0.912 0.926 2%
MRR
0.920 0.933 1%
Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168

Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-en
Media miglioramento
6%

Istruzioni sul dominio
Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.543 0.579 7%
MAP
0.402 0.452 12%
MRR
0.402 0.452 12%
Prestazioni sul test impostato prima e dopo la messa a punto
Testato su 50 campioni casuali da nc33/triplet_sbert_law2 (machine-translated to dutch)
NDCG
0.904 0.948 5%
MAP
0.870 0.930 7%
MRR
0.870 0.930 7%
Dati sintetici generati
Totale
9128
Addestramento
8960
Validazione
168

Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-code
Media miglioramento
-4%

Istruzioni sul dominio
Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.671 0.640 -5%
MAP
0.569 0.525 -8%
MRR
0.569 0.525 -8%
Prestazioni sul test impostato prima e dopo la messa a punto
Testato su 50 campioni casuali da mteb/stackoverflowdupquestions-reranking
NDCG
0.640 0.621 -3%
MAP
0.530 0.505 -5%
MRR
0.555 0.532 -4%
Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168

Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-code
Media miglioramento
-4%

Istruzioni sul dominio
Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.632 0.711 13%
MAP
0.517 0.622 20%
MRR
0.517 0.622 20%
Prestazioni sul test impostato prima e dopo la messa a punto
Testato su 50 campioni casuali da mteb/stackoverflowdupquestions-reranking
NDCG
0.640 0.619 -3%
MAP
0.530 0.504 -5%
MRR
0.555 0.525 -5%
Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168

Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-en
Media miglioramento
1%

Istruzioni sul dominio
Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.646 0.729 13%
MAP
0.535 0.644 20%
MRR
0.535 0.644 20%
Prestazioni sul test impostato prima e dopo la messa a punto
Testato su 50 campioni casuali da mteb/askubuntudupquestions-reranking
NDCG
0.645 0.650 1%
MAP
0.452 0.462 2%
MRR
0.606 0.605 -0%
Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168

API di regolazione fine automatica

Ottieni embeddings ottimizzati per qualsiasi dominio desideri.


Utilizzare r.jina.ai per leggere un URL e recuperarne il contenuto
Usa s.jina.ai per cercare sul web e ottenere SERP
Aggiungi mcp.jina.ai come server MCP per accedere alla nostra API in LLM


Richiesta
GET
curl "https://r.jina.ai/https://www.example.com"


Limite di velocità
I limiti di velocità vengono monitorati in due modi: RPM (richieste al minuto) e TPM (token al minuto). I limiti vengono applicati per IP/chiave API e vengono attivati al raggiungimento della soglia RPM o TPM. Quando si fornisce una chiave API nell'intestazione della richiesta, i limiti di velocità vengono monitorati per chiave anziché per indirizzo IP.
ProdottoPunto finale APIDescrizionesenza chiave APIcon chiave API gratuitacon chiave API a pagamentocon chiave API PremiumLatenza mediaConteggio dell'utilizzo del tokenRichiesta consentita
API del Readerhttps://r.jina.aiConvertire l'URL in testo compatibile con LLM20 RPM500 RPM500 RPM5000 RPM7.9sContare il numero di token nella risposta di output.GET/POST
API del Readerhttps://s.jina.aiCercare sul web e convertire i risultati in testo compatibile con LLM100 RPM100 RPM1000 RPM2.5sOgni richiesta costa un numero fisso di token, a partire da 10.000 tokenGET/POST
API di embeddinghttps://api.jina.ai/v1/embeddingsConvertire testo/immagini in vettori di lunghezza fissa100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dipende dalla dimensione dell'input
Contare il numero di token nella richiesta di input.POST
API Rerankerhttps://api.jina.ai/v1/rerankClassificare i documenti per query100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
dipende dalla dimensione dell'input
Contare il numero di token nella richiesta di input.POST
Domande comuni relative alla fatturazione