Fine-tuning automatico
Dicci semplicemente in quale dominio desideri che i tuoi embeddings eccellano e noi forniremo automaticamente un modello di embedding pronto all'uso e ottimizzato per quel dominio.
Che cos'è il fine-tuning automatico?
Esistono tre modi per specificare le tue esigenze: un'istruzione generale, un URL o una descrizione del documento di query. Scegline uno.
public
Oppure l'URL della pagina web
Fare riferimento al contenuto di un URL per la messa a punto.
keyboard_arrow_down
notes
Oppure istruzioni generali
Fornire una descrizione dettagliata di come verranno utilizzati gli embeddings ottimizzati.
keyboard_arrow_down
Seleziona un modello di embedding di base
Il fine-tuning consente di prendere un modello pre-addestrato e adattarlo a un'attività o dominio specifico addestrandolo su un nuovo set di dati. In pratica, trovare dati di addestramento efficaci non è semplice per molti utenti. Una formazione efficace richiede molto più che il semplice inserimento di PDF grezzi e HTML nel modello; ed è difficile farlo bene. La regolazione fine automatica risolve questo problema generando automaticamente dati di addestramento efficaci utilizzando una pipeline di agenti LLM avanzata; e mettere a punto il modello all'interno di un flusso di lavoro ML. Puoi pensarlo come una combinazione di generazione di dati sintetici e AutoML, quindi tutto ciò che devi fare è descrivere il tuo dominio di destinazione in linguaggio naturale e lasciare che il nostro sistema faccia il resto.
La regolazione fine automatica mantiene la promessa auto-magica di fornire embeddings ottimizzati per qualsiasi dominio tu voglia. Ma funziona veramente? Questo è un dubbio abbastanza ragionevole. Lo abbiamo testato su una varietà di domini e modelli base per scoprirlo. Dai un'occhiata ai risultati selezionati con la ciliegia e con il limone qui sotto.
Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-enMedia miglioramento
arrow_upward 2%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.505 arrow_forward 0.532 arrow_upward 5%
MAP
0.352 arrow_forward 0.389 arrow_upward 10%
MRR
0.352 arrow_forward 0.389 arrow_upward 10%
speed Prestazioni sul test impostato prima e dopo la messa a punto
check
Testato su 50 campioni casuali da tollefj/norwegian-nli-triplets
NDCG
0.852 arrow_forward 0.867 arrow_upward 2%
MAP
0.800 arrow_forward 0.820 arrow_upward 2%
MRR
0.800 arrow_forward 0.820 arrow_upward 2%
data_usage Dati sintetici generati
Totale
4648
Addestramento
4480
Validazione
168
Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-enMedia miglioramento
arrow_upward 6%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.672 arrow_forward 0.755 arrow_upward 12%
MAP
0.567 arrow_forward 0.675 arrow_upward 19%
MRR
0.567 arrow_forward 0.675 arrow_upward 19%
speed Prestazioni sul test impostato prima e dopo la messa a punto
check
Testato su 50 campioni casuali da mteb/askubuntudupquestions-reranking
NDCG
0.698 arrow_forward 0.722 arrow_upward 3%
MAP
0.515 arrow_forward 0.549 arrow_upward 6%
MRR
0.666 arrow_forward 0.712 arrow_upward 7%
data_usage Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168
Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-enMedia miglioramento
arrow_upward 9%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.727 arrow_forward 0.861 arrow_upward 18%
MAP
0.640 arrow_forward 0.814 arrow_upward 27%
MRR
0.640 arrow_forward 0.814 arrow_upward 27%
speed Prestazioni sul test impostato prima e dopo la messa a punto
check
Testato su 50 campioni casuali da mteb/scidocs-reranking
NDCG
0.773 arrow_forward 0.822 arrow_upward 6%
MAP
0.575 arrow_forward 0.651 arrow_upward 13%
MRR
0.823 arrow_forward 0.884 arrow_upward 7%
data_usage Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168
Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-zhMedia miglioramento
arrow_upward 1%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.718 arrow_forward 0.785 arrow_upward 9%
MAP
0.629 arrow_forward 0.717 arrow_upward 14%
MRR
0.629 arrow_forward 0.717 arrow_upward 14%
speed Prestazioni sul test impostato prima e dopo la messa a punto
check
Testato su 50 campioni casuali da C-MTEB/CMedQAv2-reranking
NDCG
0.938 arrow_forward 0.948 arrow_upward 1%
MAP
0.912 arrow_forward 0.926 arrow_upward 2%
MRR
0.920 arrow_forward 0.933 arrow_upward 1%
data_usage Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168
Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-enMedia miglioramento
arrow_upward 6%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.543 arrow_forward 0.579 arrow_upward 7%
MAP
0.402 arrow_forward 0.452 arrow_upward 12%
MRR
0.402 arrow_forward 0.452 arrow_upward 12%
speed Prestazioni sul test impostato prima e dopo la messa a punto
check
Testato su 50 campioni casuali da nc33/triplet_sbert_law2 (machine-translated to dutch)
NDCG
0.904 arrow_forward 0.948 arrow_upward 5%
MAP
0.870 arrow_forward 0.930 arrow_upward 7%
MRR
0.870 arrow_forward 0.930 arrow_upward 7%
data_usage Dati sintetici generati
Totale
9128
Addestramento
8960
Validazione
168
Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-codeMedia miglioramento
arrow_downward -4%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.671 arrow_forward 0.640 arrow_downward -5%
MAP
0.569 arrow_forward 0.525 arrow_downward -8%
MRR
0.569 arrow_forward 0.525 arrow_downward -8%
speed Prestazioni sul test impostato prima e dopo la messa a punto
check
Testato su 50 campioni casuali da mteb/stackoverflowdupquestions-reranking
NDCG
0.640 arrow_forward 0.621 arrow_downward -3%
MAP
0.530 arrow_forward 0.505 arrow_downward -5%
MRR
0.555 arrow_forward 0.532 arrow_downward -4%
data_usage Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168
Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-codeMedia miglioramento
arrow_downward -4%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.632 arrow_forward 0.711 arrow_upward 13%
MAP
0.517 arrow_forward 0.622 arrow_upward 20%
MRR
0.517 arrow_forward 0.622 arrow_upward 20%
speed Prestazioni sul test impostato prima e dopo la messa a punto
check
Testato su 50 campioni casuali da mteb/stackoverflowdupquestions-reranking
NDCG
0.640 arrow_forward 0.619 arrow_downward -3%
MAP
0.530 arrow_forward 0.504 arrow_downward -5%
MRR
0.555 arrow_forward 0.525 arrow_downward -5%
data_usage Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168
Modello base per la messa a punto
jinaai/jina-embeddings-v2-base-enMedia miglioramento
arrow_upward 1%
description Istruzioni sul dominio
speed Prestazioni sul set di validazione sintetica prima e dopo la messa a punto
NDCG
0.646 arrow_forward 0.729 arrow_upward 13%
MAP
0.535 arrow_forward 0.644 arrow_upward 20%
MRR
0.535 arrow_forward 0.644 arrow_upward 20%
speed Prestazioni sul test impostato prima e dopo la messa a punto
check
Testato su 50 campioni casuali da mteb/askubuntudupquestions-reranking
NDCG
0.645 arrow_forward 0.650 arrow_upward 1%
MAP
0.452 arrow_forward 0.462 arrow_upward 2%
MRR
0.606 arrow_forward 0.605 arrow_downward -0%
data_usage Dati sintetici generati
Totale
616
Addestramento
448
Validazione
168
API di regolazione fine automatica
Ottieni embeddings ottimizzati per qualsiasi dominio desideri.
globe_book
Utilizzare
r.jina.ai per leggere un URL e recuperarne il contenutotravel_explore
Usa
s.jina.ai per cercare sul web e ottenere SERPAggiungi
mcp.jina.ai come server MCP per accedere alla nostra API in LLMFormato del contenuto
Return-Format
Puoi controllare il livello di dettaglio nella risposta per evitare un filtro eccessivo. La pipeline predefinita è ottimizzata per la maggior parte dei siti Web e per l'input LLM.
Predefinito
arrow_drop_down
Risposta JSON
Accept
La risposta sarà in formato JSON, contenente l'URL, il titolo, il contenuto e il timestamp (se disponibile). Nella modalità di ricerca, restituisce un elenco di cinque voci, ciascuna seguendo la struttura JSON descritta.
Timeout (secondi)
X-Timeout
Tempo massimo di attesa per il caricamento della pagina. Aumentare per le pagine lente, diminuire per le pagine statiche semplici.
Budget del token
X-Token-Budget
Limita il numero massimo di token utilizzati per questa richiesta. Superare questo limite causerà il fallimento della richiesta.
Utilizza jina-ocr-v1
X-Respond-With
Utilizza jina-ocr-v1 per la conversione da immagine a Markdown, fornendo risultati di alta qualità per siti web e documenti con strutture e contenuti complessi. Costa 40 volte più token!open_in_newSaperne di più
Paginazione
X-Page
La pagina da elaborare. Si concentra sulla pagina specificata di un documento multipagina e si applica solo quando si elabora un documento come un PDF.
Estrai solo (selettore CSS)
X-Target-Selector
Estrai solo i contenuti che corrispondono a questi selettori CSS. Esempio: article, .main-content, #post-body
Attendi (Selettore CSS)
X-Wait-For-Selector
Attendi che questi elementi appaiano prima di estrarre il contenuto. Utile per i contenuti caricati dinamicamente.
Escludi (selettore CSS)
X-Remove-Selector
Rimuovere questi elementi prima dell'estrazione. Esempio: nav, footer, .sidebar, #ads
Rimuovi tutte le immagini
X-Retain-Images
Rimuove tutte le immagini dall'output. Riduce l'utilizzo dei token quando le immagini non sono necessarie.
Formato di citazione OpenAI
X-Retain-Links
Formatta i link per lo strumento di navigazione web di OpenAI. Utilizza marcatori di citazione speciali compatibili con i modelli GPT.open_in_newSaperne di più
Sezione Riepilogo Collegamenti
X-With-Links-Summary
Alla fine verrà creata una sezione "Pulsanti e collegamenti". Ciò aiuta i LLM downstream o gli agenti web a navigare nella pagina o a intraprendere ulteriori azioni.
Nessuno
arrow_drop_down
Sezione Riepilogo Immagini
X-With-Images-Summary
Alla fine verrà creata una sezione "Immagini". Ciò fornisce ai LLM a valle una panoramica di tutti gli elementi visivi sulla pagina, il che può migliorare il ragionamento.
Nessuno
arrow_drop_down
Dimensione della finestra del browser
POST
viewport
Imposta le dimensioni della finestra del browser. Influisce sui layout responsive e sulla visibilità dei contenuti.open_in_newSaperne di più
Trasferisci il cookie
X-Set-Cookie
Il nostro server API può inoltrare le tue impostazioni personalizzate dei cookie quando accedi all'URL, il che è utile per le pagine che richiedono un'autenticazione aggiuntiva. Tieni presente che le richieste con cookie non verranno memorizzate nella cache.open_in_newSaperne di più
Didascalia immagine
X-With-Generated-Alt
Aggiunge didascalie a tutte le immagini all'URL specificato, aggiungendo "Immagine [idx]: [didascalia]" come tag alt per quelle che non ne hanno una. Ciò consente ai LLM a valle di interagire con le immagini in attività come il ragionamento e il riepilogo.
Utilizza un server proxy
X-Proxy-Url
Il nostro server API può utilizzare il tuo proxy per accedere agli URL, il che è utile per le pagine accessibili solo tramite proxy specifici.open_in_newSaperne di più
Utilizzare un server proxy specifico per il paese
X-Proxy
Imposta il codice paese per il server proxy basato sulla posizione. Usa 'auto' per una selezione ottimale o 'none' per disabilitare.
Bypassare la cache
X-No-Cache
Il nostro server API memorizza nella cache sia i contenuti in modalità Lettura che quelli in modalità Ricerca per un certo periodo di tempo. Per ignorare questa cache, imposta questa intestazione su true.
Tolleranza della cache (secondi)
X-Cache-Tolerance
Accetta i contenuti memorizzati nella cache se più giovani di N secondi. Imposta su 0 per i contenuti nuovi (come per Bypass Cache) o su valori più alti per consentire risposte più rapide dalla cache.
Tempi di preparazione della pagina
X-Respond-Timing
Quando considerare una pagina completamente carica. Tempi successivi richiedono più tempo ma catturano contenuti più dinamici.
Predefinito
arrow_drop_down
User-Agent personalizzato
X-User-Agent
Sostituisce la stringa User-Agent del browser. Utile per accedere a siti che richiedono browser specifici o bloccano i crawler.
Referente personalizzato
X-Referer
Imposta l'intestazione HTTP Referer. Alcuni siti controllano questa intestazione per verificare che il traffico provenga dalle fonti previste.
Conserva le immagini Base64
X-Keep-Img-Data-Url
Mantieni le immagini codificate in base64 in linea nell'output markdown anziché convertirle in URL esterni.
Non memorizzare nella cache o tracciare
DNT
Impedisci che questa richiesta venga memorizzata nella cache o registrata sui nostri server. Da utilizzare per URL sensibili.
Markdown aromatizzato su GitHub
X-No-Gfm
Attiva/disattiva le funzionalità di GFM (GitHub Flavored Markdown).
Abilitato
arrow_drop_down
Modalità flusso
Accept
La modalità streaming è vantaggiosa per le pagine di destinazione di grandi dimensioni, poiché consente più tempo per il rendering completo della pagina. Se la modalità standard genera contenuti incompleti, prendi in considerazione l'utilizzo della modalità Stream.open_in_newSaperne di più
Personalizza le impostazioni locali del browser
X-Locale
Controlla le impostazioni locali del browser per il rendering della pagina. Molti siti web offrono contenuti diversi in base alle impostazioni locali.open_in_newSaperne di più
Rispetta robots.txt
X-Robots-Txt
Controlla le regole del file robots.txt prima di recuperarlo. Specifica il nome del bot da utilizzare per il controllo.
Includi contenuto iframe
X-With-Iframe
Estrai contenuti da iframe incorporati. Abilita questa opzione per le pagine con contenuti caricati in iframe.
Includi Shadow DOM
X-With-Shadow-Dom
Estrai contenuti dai componenti Shadow DOM. Abilita per le pagine che utilizzano componenti web.
Usa URL finale come base
X-Base
Risolvi gli URL relativi utilizzando l'URL di destinazione finale dopo i reindirizzamenti, anziché l'URL originale.
File PDF/HTML locale
POST
Utilizza Reader sul tuo file PDF e HTML locale caricandoli. Supporta solo file PDF e HTML. Per HTML, specifica anche un URL di riferimento per un'analisi migliore dei relativi script CSS/JS.
upload
Esegui JavaScript prima dell'estrazione
POST
Esegui codice JS personalizzato per modificare la pagina prima dell'estrazione del contenuto. Può essere codice in linea o un URL a un file script.open_in_newSaperne di più
Stile intestazione
X-Md-Heading-Style
Imposta il formato dell'intestazione Markdown (passato a Turndown).
Stile hash
arrow_drop_down
Stile regola orizzontale
X-Md-Hr
Definisce il formato della regola orizzontale di markdown (passato a Turndown).
Stile punto elenco
X-Md-Bullet-List-Marker
Imposta il carattere di indicazione dell'elenco puntato (passato a Turndown).
*
arrow_drop_down
Stile di enfasi
X-Md-Em-Delimiter
Definisce il delimitatore di enfasi del markdown (passato a Turndown).
_
arrow_drop_down
Stile con forte enfasi
X-Md-Strong-Delimiter
Imposta il delimitatore di enfasi forte del markdown (passato a Turndown).
**
arrow_drop_down
Stile collegamento
X-Md-Link-Style
Determina il formato del collegamento markdown (passato a Turndown).
Inline
arrow_drop_down
Residenza UE
Sperimentale
Se attivato, l'infrastruttura e l'elaborazione dei dati per questa richiesta si trovano all'interno dell'UE.
curl "https://r.jina.ai/https://www.example.com"key
Chiave API
visibility_off
Token disponibili
0
code
Posso utilizzare la stessa chiave API per tutte le API di Jina?
keyboard_arrow_down
code
Posso monitorare l'utilizzo del token della mia chiave API?
keyboard_arrow_down
code
Cosa devo fare se dimentico la mia chiave API?
keyboard_arrow_down
code
Le chiavi API scadono?
keyboard_arrow_down
code
Posso trasferire token tra chiavi API?
keyboard_arrow_down
code
Posso revocare la mia chiave API?
keyboard_arrow_down
code
Perché la prima richiesta per alcuni modelli è lenta?
keyboard_arrow_down
code
I miei dati API vengono utilizzati per addestrare i vostri modelli?
keyboard_arrow_down
code
Quali sono i limiti di velocità per le API Jina?
keyboard_arrow_down
code
Esistono limiti alle dimensioni dei batch per le API?
keyboard_arrow_down
code
Le API di Jina corrispondono ai modelli Jina all'interno di Elastic?
keyboard_arrow_down
Limite di velocità
I limiti di velocità vengono monitorati in due modi: RPM (richieste al minuto) e TPM (token al minuto). I limiti vengono applicati per IP/chiave API e vengono attivati al raggiungimento della soglia RPM o TPM. Quando si fornisce una chiave API nell'intestazione della richiesta, i limiti di velocità vengono monitorati per chiave anziché per indirizzo IP.
Colonne
arrow_drop_down
| Prodotto | Punto finale API | Descrizionearrow_upward | senza chiave APIkey_off | con chiave API gratuitakey | con chiave API a pagamentokey | con chiave API Premiumkey | Latenza media | Conteggio dell'utilizzo del token | Richiesta consentita | |
|---|---|---|---|---|---|---|---|---|---|---|
| API del Reader | https://r.jina.ai | Convertire l'URL in testo compatibile con LLM | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Contare il numero di token nella risposta di output. | GET/POST | |
| API del Reader | https://s.jina.ai | Cercare sul web e convertire i risultati in testo compatibile con LLM | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Ogni richiesta costa un numero fisso di token, a partire da 10.000 token | GET/POST | |
| API di embedding | https://api.jina.ai/v1/embeddings | Convertire testo/immagini in vettori di lunghezza fissa | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dipende dalla dimensione dell'input help | Contare il numero di token nella richiesta di input. | POST | |
| API Reranker | https://api.jina.ai/v1/rerank | Classificare i documenti per query | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart dipende dalla dimensione dell'input help | Contare il numero di token nella richiesta di input. | POST |
Domande comuni relative alla fatturazione
attach_money
La fatturazione è basata sul numero di frasi o richieste?
keyboard_arrow_down
attach_money
È disponibile una prova gratuita per i nuovi utenti?
keyboard_arrow_down
attach_money
Vengono addebitati i token per le richieste non riuscite?
keyboard_arrow_down
attach_money
Quali metodi di pagamento sono accettati?
keyboard_arrow_down
attach_money
È disponibile la fatturazione per gli acquisti di token?
keyboard_arrow_down
attach_money
Come posso acquistare una licenza commerciale anziché token API?
keyboard_arrow_down
attach_money
Posso pagare tramite fattura o ordine d'acquisto anziché con carta di credito?
keyboard_arrow_down
attach_money
Ho effettuato il pagamento, ma il mio saldo o il limite di spesa non sono cambiati. Cosa devo controllare?
keyboard_arrow_down
attach_money
Come faccio ad annullare, interrompere la ricarica automatica o rimuovere un metodo di pagamento salvato?
keyboard_arrow_down