Fine-tuning automatico
Dicci in quale dominio vuoi che i tuoi embeddings diano il meglio e ti forniamo automaticamente un modello di embedding ottimizzato e pronto all'uso per quel dominio.
Che cos'è il fine-tuning automatico?
Esistono tre modi per specificare le tue esigenze: un'istruzione generale, un URL o una descrizione query-documento. Scegline uno.
public
Oppure l'URL della pagina web
Usa il contenuto di un URL per il fine-tuning.
keyboard_arrow_down
notes
Oppure istruzioni generali
Descrivi in dettaglio come verranno usati gli embeddings ottimizzati.
keyboard_arrow_down
Seleziona un modello di embedding di base
Il fine-tuning ti permette di prendere un modello pre-addestrato e adattarlo a un'attività o a un dominio specifico addestrandolo su un nuovo set di dati. In pratica, trovare dati di addestramento efficaci non è semplice per molti utenti. Un addestramento efficace richiede molto più del semplice inserimento di PDF e HTML grezzi nel modello, ed è difficile farlo bene. Il fine-tuning automatico risolve il problema generando automaticamente dati di addestramento efficaci con una pipeline di agenti LLM avanzata e mettendo a punto il modello all'interno di un flusso di lavoro ML. Puoi vederlo come una combinazione di generazione di dati sintetici e AutoML: tutto ciò che devi fare è descrivere il tuo dominio di destinazione in linguaggio naturale e lasciare che il nostro sistema faccia il resto.
Il fine-tuning automatico porta con sé una promessa auto-magica: fornire embeddings fine-tuned per qualsiasi dominio tu voglia. Ma funziona davvero? Il dubbio è più che ragionevole. Lo abbiamo testato su vari domini e modelli di base per scoprirlo. Dai un'occhiata ai risultati migliori e a quelli peggiori che abbiamo selezionato qui sotto.
Modello base per il fine-tuning
jinaai/jina-embeddings-v2-base-enMiglioramento medio
arrow_upward 2%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo il fine-tuning
NDCG
0.505 arrow_forward 0.532 arrow_upward 5%
MAP
0.352 arrow_forward 0.389 arrow_upward 10%
MRR
0.352 arrow_forward 0.389 arrow_upward 10%
speed Prestazioni sul set di test separato prima e dopo il fine-tuning
check
Testato su 50 campioni casuali da tollefj/norwegian-nli-triplets
NDCG
0.852 arrow_forward 0.867 arrow_upward 2%
MAP
0.800 arrow_forward 0.820 arrow_upward 2%
MRR
0.800 arrow_forward 0.820 arrow_upward 2%
data_usage Dati sintetici generati
Totale
4648
Addestramento
4480
Validazione
168
Modello base per il fine-tuning
jinaai/jina-embeddings-v2-base-enMiglioramento medio
arrow_upward 6%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo il fine-tuning
NDCG
0.672 arrow_forward 0.755 arrow_upward 12%
MAP
0.567 arrow_forward 0.675 arrow_upward 19%
MRR
0.567 arrow_forward 0.675 arrow_upward 19%
speed Prestazioni sul set di test separato prima e dopo il fine-tuning
check
Testato su 50 campioni casuali da mteb/askubuntudupquestions-reranking
NDCG
0.698 arrow_forward 0.722 arrow_upward 3%
MAP
0.515 arrow_forward 0.549 arrow_upward 6%
MRR
0.666 arrow_forward 0.712 arrow_upward 7%
data_usage Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168
Modello base per il fine-tuning
jinaai/jina-embeddings-v2-base-enMiglioramento medio
arrow_upward 9%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo il fine-tuning
NDCG
0.727 arrow_forward 0.861 arrow_upward 18%
MAP
0.640 arrow_forward 0.814 arrow_upward 27%
MRR
0.640 arrow_forward 0.814 arrow_upward 27%
speed Prestazioni sul set di test separato prima e dopo il fine-tuning
check
Testato su 50 campioni casuali da mteb/scidocs-reranking
NDCG
0.773 arrow_forward 0.822 arrow_upward 6%
MAP
0.575 arrow_forward 0.651 arrow_upward 13%
MRR
0.823 arrow_forward 0.884 arrow_upward 7%
data_usage Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168
Modello base per il fine-tuning
jinaai/jina-embeddings-v2-base-zhMiglioramento medio
arrow_upward 1%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo il fine-tuning
NDCG
0.718 arrow_forward 0.785 arrow_upward 9%
MAP
0.629 arrow_forward 0.717 arrow_upward 14%
MRR
0.629 arrow_forward 0.717 arrow_upward 14%
speed Prestazioni sul set di test separato prima e dopo il fine-tuning
check
Testato su 50 campioni casuali da C-MTEB/CMedQAv2-reranking
NDCG
0.938 arrow_forward 0.948 arrow_upward 1%
MAP
0.912 arrow_forward 0.926 arrow_upward 2%
MRR
0.920 arrow_forward 0.933 arrow_upward 1%
data_usage Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168
Modello base per il fine-tuning
jinaai/jina-embeddings-v2-base-enMiglioramento medio
arrow_upward 6%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo il fine-tuning
NDCG
0.543 arrow_forward 0.579 arrow_upward 7%
MAP
0.402 arrow_forward 0.452 arrow_upward 12%
MRR
0.402 arrow_forward 0.452 arrow_upward 12%
speed Prestazioni sul set di test separato prima e dopo il fine-tuning
check
Testato su 50 campioni casuali da nc33/triplet_sbert_law2 (machine-translated to dutch)
NDCG
0.904 arrow_forward 0.948 arrow_upward 5%
MAP
0.870 arrow_forward 0.930 arrow_upward 7%
MRR
0.870 arrow_forward 0.930 arrow_upward 7%
data_usage Dati sintetici generati
Totale
9128
Addestramento
8960
Validazione
168
Modello base per il fine-tuning
jinaai/jina-embeddings-v2-base-codeMiglioramento medio
arrow_downward -4%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo il fine-tuning
NDCG
0.671 arrow_forward 0.640 arrow_downward -5%
MAP
0.569 arrow_forward 0.525 arrow_downward -8%
MRR
0.569 arrow_forward 0.525 arrow_downward -8%
speed Prestazioni sul set di test separato prima e dopo il fine-tuning
check
Testato su 50 campioni casuali da mteb/stackoverflowdupquestions-reranking
NDCG
0.640 arrow_forward 0.621 arrow_downward -3%
MAP
0.530 arrow_forward 0.505 arrow_downward -5%
MRR
0.555 arrow_forward 0.532 arrow_downward -4%
data_usage Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168
Modello base per il fine-tuning
jinaai/jina-embeddings-v2-base-codeMiglioramento medio
arrow_downward -4%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo il fine-tuning
NDCG
0.632 arrow_forward 0.711 arrow_upward 13%
MAP
0.517 arrow_forward 0.622 arrow_upward 20%
MRR
0.517 arrow_forward 0.622 arrow_upward 20%
speed Prestazioni sul set di test separato prima e dopo il fine-tuning
check
Testato su 50 campioni casuali da mteb/stackoverflowdupquestions-reranking
NDCG
0.640 arrow_forward 0.619 arrow_downward -3%
MAP
0.530 arrow_forward 0.504 arrow_downward -5%
MRR
0.555 arrow_forward 0.525 arrow_downward -5%
data_usage Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168
Modello base per il fine-tuning
jinaai/jina-embeddings-v2-base-enMiglioramento medio
arrow_upward 1%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo il fine-tuning
NDCG
0.646 arrow_forward 0.729 arrow_upward 13%
MAP
0.535 arrow_forward 0.644 arrow_upward 20%
MRR
0.535 arrow_forward 0.644 arrow_upward 20%
speed Prestazioni sul set di test separato prima e dopo il fine-tuning
check
Testato su 50 campioni casuali da mteb/askubuntudupquestions-reranking
NDCG
0.645 arrow_forward 0.650 arrow_upward 1%
MAP
0.452 arrow_forward 0.462 arrow_upward 2%
MRR
0.606 arrow_forward 0.605 arrow_downward -0%
data_usage Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168
API di fine-tuning automatico
Ottieni embeddings ottimizzati per qualsiasi dominio desideri.
globe_book
Usa
r.jina.ai per leggere un URL e recuperarne il contenutotravel_explore
Usa
s.jina.ai per cercare sul web e ottenere SERPAggiungi
mcp.jina.ai come server MCP per chiamare le nostre API da qualsiasi LLMFormato del contenuto
Return-Format
Puoi controllare il livello di dettaglio nella risposta per evitare un filtro eccessivo. La pipeline predefinita è ottimizzata per la maggior parte dei siti web e per l'input LLM.
Predefinito
arrow_drop_down
Risposta JSON
Accept
La risposta sarà in formato JSON, contenente l'URL, il titolo, il contenuto e il timestamp (se disponibile). Nella modalità di ricerca, restituisce un elenco di cinque voci, ciascuna seguendo la struttura JSON descritta.
Timeout (secondi)
X-Timeout
Tempo massimo di attesa per il caricamento della pagina. Aumentalo per le pagine lente, riducilo per le pagine statiche semplici.
Budget di token
X-Token-Budget
Limita il numero massimo di token utilizzati per questa richiesta. Superare questo limite causerà il fallimento della richiesta.
Utilizza jina-ocr-v1
X-Respond-With
Utilizza jina-ocr-v1 per la conversione da immagine a Markdown, fornendo risultati di alta qualità per siti web e documenti con strutture e contenuti complessi. Costa 40 volte più token!open_in_newSaperne di più
Pagina
X-Page
La pagina da elaborare. Si concentra sulla pagina specificata di un documento multipagina e si applica solo quando si elabora un documento come un PDF.
Estrai solo (selettore CSS)
X-Target-Selector
Estrai solo i contenuti che corrispondono a questi selettori CSS. Esempio: article, .main-content, #post-body
Attendi (selettore CSS)
X-Wait-For-Selector
Attendi che questi elementi appaiano prima di estrarre il contenuto. Utile per i contenuti caricati dinamicamente.
Escludi (selettore CSS)
X-Remove-Selector
Rimuovi questi elementi prima dell'estrazione. Esempio: nav, footer, .sidebar, #ads
Rimuovi tutte le immagini
X-Retain-Images
Rimuove tutte le immagini dall'output. Riduce l'utilizzo dei token quando le immagini non sono necessarie.
Formato di citazione OpenAI
X-Retain-Links
Formatta i link per lo strumento di navigazione web di OpenAI. Utilizza marcatori di citazione speciali compatibili con i modelli GPT.open_in_newSaperne di più
Sezione riepilogo link
X-With-Links-Summary
Alla fine viene aggiunta una sezione «Pulsanti e collegamenti». Aiuta i LLM a valle e gli agenti web a navigare nella pagina o a compiere ulteriori azioni.
Nessuno
arrow_drop_down
Sezione riepilogo immagini
X-With-Images-Summary
Alla fine verrà creata una sezione «Immagini». Ciò fornisce ai LLM a valle una panoramica di tutti gli elementi visivi sulla pagina, il che può migliorare il ragionamento.
Nessuno
arrow_drop_down
Dimensione della finestra del browser
POST
viewport
Imposta le dimensioni della finestra del browser. Influisce sui layout responsive e sulla visibilità dei contenuti.open_in_newSaperne di più
Inoltra il cookie
X-Set-Cookie
Il nostro server API può inoltrare le tue impostazioni personalizzate dei cookie quando accede all'URL, il che è utile per le pagine che richiedono un'autenticazione aggiuntiva. Tieni presente che le richieste con cookie non verranno memorizzate nella cache.open_in_newSaperne di più
Didascalia immagine
X-With-Generated-Alt
Aggiunge didascalie a tutte le immagini all'URL specificato, aggiungendo 'Image [idx]: [caption]' come tag alt per quelle che non ne hanno una. Questo consente agli LLM a valle di interagire con le immagini in attività come il ragionamento e la sintesi.
Utilizza un server proxy
X-Proxy-Url
Il nostro server API può utilizzare il tuo proxy per accedere agli URL, il che è utile per le pagine accessibili solo tramite proxy specifici.open_in_newSaperne di più
Usa un proxy specifico per paese
X-Proxy
Imposta il codice paese per il server proxy basato sulla posizione. Usa 'auto' per una selezione ottimale o 'none' per disabilitare.
Ignora la cache
X-No-Cache
La nostra API memorizza nella cache il contenuto degli URL per un certo periodo di tempo. Imposta il valore su true per ignorare il risultato in cache e recuperare il contenuto direttamente dall'URL.
Tolleranza della cache (secondi)
X-Cache-Tolerance
Accetta i contenuti memorizzati nella cache se più recenti di N secondi. Imposta su 0 per avere contenuti freschi (come per Ignora la cache) o su valori più alti per consentire risposte più rapide dalla cache.
Quando la pagina è pronta
X-Respond-Timing
Quando considerare una pagina completamente carica. Le opzioni successive attendono più a lungo ma catturano più contenuti dinamici.
Predefinito
arrow_drop_down
User-Agent personalizzato
X-User-Agent
Sostituisce la stringa User-Agent del browser. Utile per accedere a siti che richiedono browser specifici o bloccano i crawler.
Referer personalizzato
X-Referer
Imposta l'intestazione HTTP Referer. Alcuni siti controllano questa intestazione per verificare che il traffico provenga dalle fonti previste.
Conserva le immagini Base64
X-Keep-Img-Data-Url
Mantieni le immagini codificate in base64 in linea nell'output markdown anziché convertirle in URL esterni.
Nessuna cache né tracciamento
DNT
Impedisci che questa richiesta venga memorizzata nella cache o registrata sui nostri server. Da utilizzare per URL sensibili.
GitHub Flavored Markdown
X-No-Gfm
Attiva/disattiva le funzionalità di GFM (GitHub Flavored Markdown).
Abilitato
arrow_drop_down
Modalità streaming
Accept
La modalità streaming è vantaggiosa per le pagine di destinazione di grandi dimensioni, poiché consente più tempo per il rendering completo della pagina. Se la modalità standard genera contenuti incompleti, prova la modalità streaming.open_in_newSaperne di più
Personalizza le impostazioni locali del browser
X-Locale
Controlla le impostazioni locali del browser per il rendering della pagina. Molti siti web offrono contenuti diversi in base alle impostazioni locali.open_in_newSaperne di più
Rispetta robots.txt
X-Robots-Txt
Controlla le regole di robots.txt prima del recupero. Specifica il nome del bot da usare per il controllo.
Includi contenuto iframe
X-With-Iframe
Estrai contenuti da iframe incorporati. Abilita questa opzione per le pagine con contenuti caricati in iframe.
Includi Shadow DOM
X-With-Shadow-Dom
Estrai contenuti dai componenti Shadow DOM. Abilita per le pagine che utilizzano componenti web.
Usa l'URL iniziale come base
X-Base
Risolvi gli URL relativi usando l'URL di destinazione iniziale, prima dei reindirizzamenti, anziché l'URL finale.
File PDF/HTML locale
POST
Utilizza Reader sui file PDF e HTML locali caricandoli. Sono supportati solo file PDF e HTML. Per HTML, specifica anche un URL di riferimento affinché gli script CSS/JS collegati vengano analizzati correttamente.
upload
Esegui JavaScript prima dell'estrazione
POST
Esegui codice JS personalizzato per modificare la pagina prima dell'estrazione del contenuto. Può essere codice in linea o un URL a un file script.open_in_newSaperne di più
Stile intestazione
X-Md-Heading-Style
Imposta il formato dell'intestazione Markdown (passato a Turndown).
Hash Style
arrow_drop_down
Stile regola orizzontale
X-Md-Hr
Definisce il formato della regola orizzontale di markdown (passato a Turndown).
Stile punto elenco
X-Md-Bullet-List-Marker
Imposta il carattere dei punti elenco (passato a Turndown).
*
arrow_drop_down
Stile di enfasi
X-Md-Em-Delimiter
Definisce il delimitatore di enfasi del markdown (passato a Turndown).
_
arrow_drop_down
Stile di enfasi forte
X-Md-Strong-Delimiter
Imposta il delimitatore di enfasi forte del markdown (passato a Turndown).
**
arrow_drop_down
Stile collegamento
X-Md-Link-Style
Determina il formato del collegamento markdown (passato a Turndown).
Inline
arrow_drop_down
Residenza UE
Sperimentale
Se attivato, l'infrastruttura e l'elaborazione dei dati per questa richiesta si trovano all'interno dell'UE.
curl "https://r.jina.ai/https://www.example.com"key
Chiave API
visibility_off
Token disponibili
0
code
Posso utilizzare la stessa chiave API per tutte le API di Jina?
keyboard_arrow_down
code
Posso monitorare l'utilizzo dei token della mia chiave API?
keyboard_arrow_down
code
Cosa devo fare se dimentico la mia chiave API?
keyboard_arrow_down
code
Le chiavi API scadono?
keyboard_arrow_down
code
Posso trasferire token tra chiavi API?
keyboard_arrow_down
code
Posso revocare la mia chiave API?
keyboard_arrow_down
code
Perché la prima richiesta per alcuni modelli è lenta?
keyboard_arrow_down
code
I miei dati API vengono utilizzati per addestrare i tuoi modelli?
keyboard_arrow_down
code
Quali sono i limiti di frequenza per le API Jina?
keyboard_arrow_down
code
Esistono limiti alle dimensioni dei batch per le API?
keyboard_arrow_down
code
Le API di Jina corrispondono ai modelli Jina all'interno di Elastic?
keyboard_arrow_down
Limite di frequenza
I limiti di frequenza si misurano in due modi: RPM (richieste al minuto) e TPM (token al minuto). Si applicano per IP o chiave API e scattano non appena si raggiunge la soglia RPM o TPM. Se nella richiesta fornisci una chiave API, teniamo traccia dei limiti per chiave anziché per indirizzo IP.
Colonne
arrow_drop_down
| Product | API Endpoint | Descriptionarrow_upward | w/o API Keykey_off | w/ Free API Keykey | w/ Paid API Keykey | w/ Premium API Keykey | Average latency | Token Usage Counting | HTTP Method | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | Converts a URL to LLM-friendly text | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Count the number of tokens in the output response. | GET/POST | |
| Reader API | https://s.jina.ai | Search the web and convert results to LLM-friendly text | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Every request costs a fixed number of tokens, starting from 10.000 tokens | GET/POST | |
| Embeddings API | https://api.jina.ai/v1/embeddings | Convert text/images to fixed-length vectors | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart depends on the input size help | Count the number of tokens in the input request. | POST | |
| Reranker API | https://api.jina.ai/v1/rerank | Rank documents by query | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart depends on the input size help | Count the number of tokens in the input request. | POST |
Domande comuni relative alla fatturazione
attach_money
La fatturazione è basata sul numero di frasi o richieste?
keyboard_arrow_down
attach_money
C'è una prova gratuita per i nuovi utenti?
keyboard_arrow_down
attach_money
Vengono addebitati i token per le richieste non riuscite?
keyboard_arrow_down
attach_money
Quali metodi di pagamento sono accettati?
keyboard_arrow_down
attach_money
Posso ricevere una fattura per gli acquisti di token?
keyboard_arrow_down
attach_money
Come posso acquistare una licenza commerciale anziché token API?
keyboard_arrow_down
attach_money
Posso pagare tramite fattura o ordine d'acquisto anziché con carta di credito?
keyboard_arrow_down
attach_money
Ho effettuato il pagamento, ma il mio saldo o il limite di frequenza non sono cambiati. Cosa devo controllare?
keyboard_arrow_down
attach_money
Come faccio ad annullare, interrompere la ricarica automatica o rimuovere un metodo di pagamento salvato?
keyboard_arrow_down