Automatische Feinabstimmung

Sagen Sie uns einfach, in welchem Bereich Ihre Einbettungen herausragend sein sollen, und wir liefern automatisch ein gebrauchsfertiges, fein abgestimmtes Einbettungsmodell für diesen Bereich.

Was ist automatische Feinabstimmung?

Sie können Ihre Anforderung auf drei Arten angeben: eine allgemeine Anweisung, eine URL oder eine Abfragedokumentbeschreibung. Wählen Sie eine aus.
Wählen Sie ein Basis-Einbettungsmodell
Durch Feinabstimmung können Sie ein vorab trainiertes Modell nehmen und es an eine bestimmte Aufgabe oder Domäne anpassen, indem Sie es an einem neuen Datensatz trainieren. In der Praxis ist es für viele Benutzer nicht einfach, effektive Trainingsdaten zu finden. Für ein effektives Training reicht es nicht, einfach nur rohe PDFs und HTML-Dateien in das Modell zu geben; es richtig hinzubekommen ist schwierig. Die automatische Feinabstimmung löst dieses Problem, indem sie mithilfe einer erweiterten LLM-Agent-Pipeline automatisch effektive Trainingsdaten generiert und das Modell innerhalb eines ML-Workflows feinabstimmt. Sie können es sich als eine Kombination aus synthetischer Datengenerierung und AutoML vorstellen. Sie müssen also nur Ihre Zieldomäne in natürlicher Sprache beschreiben und unser System den Rest erledigen lassen.
Die automatische Feinabstimmung verspricht wie durch Zauberhand feinabgestimmte Einbettungen für jede gewünschte Domäne. Aber funktioniert das wirklich? Das ist durchaus fraglich. Um das herauszufinden, haben wir es an einer Vielzahl von Domänen und Basismodellen getestet. Sehen Sie sich unten an, was wir an Erfolgen und Misserfolgen bewusst herausgepickt haben.
Basismodell zur Feinabstimmung
jinaai/jina-embeddings-v2-base-en
Durchschnittliche Verbesserung
2%

Domänenanweisung
Leistung im synthetischen Validierungssatz vor und nach der Feinabstimmung
NDCG
0.505 0.532 5%
MAP
0.352 0.389 10%
MRR
0.352 0.389 10%
Leistung im zurückgehaltenen Testsatz vor und nach der Feinabstimmung
Getestet an 50 Zufallsstichproben aus tollefj/norwegian-nli-triplets
NDCG
0.852 0.867 2%
MAP
0.800 0.820 2%
MRR
0.800 0.820 2%
Synthetische Daten generiert
Gesamt
4648
Training
4480
Validierung
168

Basismodell zur Feinabstimmung
jinaai/jina-embeddings-v2-base-en
Durchschnittliche Verbesserung
6%

Domänenanweisung
Leistung im synthetischen Validierungssatz vor und nach der Feinabstimmung
NDCG
0.672 0.755 12%
MAP
0.567 0.675 19%
MRR
0.567 0.675 19%
Leistung im zurückgehaltenen Testsatz vor und nach der Feinabstimmung
Getestet an 50 Zufallsstichproben aus mteb/askubuntudupquestions-reranking
NDCG
0.698 0.722 3%
MAP
0.515 0.549 6%
MRR
0.666 0.712 7%
Synthetische Daten generiert
Gesamt
616
Training
448
Validierung
168

Basismodell zur Feinabstimmung
jinaai/jina-embeddings-v2-base-en
Durchschnittliche Verbesserung
9%

Domänenanweisung
Leistung im synthetischen Validierungssatz vor und nach der Feinabstimmung
NDCG
0.727 0.861 18%
MAP
0.640 0.814 27%
MRR
0.640 0.814 27%
Leistung im zurückgehaltenen Testsatz vor und nach der Feinabstimmung
Getestet an 50 Zufallsstichproben aus mteb/scidocs-reranking
NDCG
0.773 0.822 6%
MAP
0.575 0.651 13%
MRR
0.823 0.884 7%
Synthetische Daten generiert
Gesamt
616
Training
448
Validierung
168

Basismodell zur Feinabstimmung
jinaai/jina-embeddings-v2-base-zh
Durchschnittliche Verbesserung
1%

Domänenanweisung
Leistung im synthetischen Validierungssatz vor und nach der Feinabstimmung
NDCG
0.718 0.785 9%
MAP
0.629 0.717 14%
MRR
0.629 0.717 14%
Leistung im zurückgehaltenen Testsatz vor und nach der Feinabstimmung
Getestet an 50 Zufallsstichproben aus C-MTEB/CMedQAv2-reranking
NDCG
0.938 0.948 1%
MAP
0.912 0.926 2%
MRR
0.920 0.933 1%
Synthetische Daten generiert
Gesamt
616
Training
448
Validierung
168

Basismodell zur Feinabstimmung
jinaai/jina-embeddings-v2-base-en
Durchschnittliche Verbesserung
6%

Domänenanweisung
Leistung im synthetischen Validierungssatz vor und nach der Feinabstimmung
NDCG
0.543 0.579 7%
MAP
0.402 0.452 12%
MRR
0.402 0.452 12%
Leistung im zurückgehaltenen Testsatz vor und nach der Feinabstimmung
Getestet an 50 Zufallsstichproben aus nc33/triplet_sbert_law2 (machine-translated to dutch)
NDCG
0.904 0.948 5%
MAP
0.870 0.930 7%
MRR
0.870 0.930 7%
Synthetische Daten generiert
Gesamt
9128
Training
8960
Validierung
168

Basismodell zur Feinabstimmung
jinaai/jina-embeddings-v2-base-code
Durchschnittliche Verbesserung
-4%

Domänenanweisung
Leistung im synthetischen Validierungssatz vor und nach der Feinabstimmung
NDCG
0.671 0.640 -5%
MAP
0.569 0.525 -8%
MRR
0.569 0.525 -8%
Leistung im zurückgehaltenen Testsatz vor und nach der Feinabstimmung
Getestet an 50 Zufallsstichproben aus mteb/stackoverflowdupquestions-reranking
NDCG
0.640 0.621 -3%
MAP
0.530 0.505 -5%
MRR
0.555 0.532 -4%
Synthetische Daten generiert
Gesamt
616
Training
448
Validierung
168

Basismodell zur Feinabstimmung
jinaai/jina-embeddings-v2-base-code
Durchschnittliche Verbesserung
-4%

Domänenanweisung
Leistung im synthetischen Validierungssatz vor und nach der Feinabstimmung
NDCG
0.632 0.711 13%
MAP
0.517 0.622 20%
MRR
0.517 0.622 20%
Leistung im zurückgehaltenen Testsatz vor und nach der Feinabstimmung
Getestet an 50 Zufallsstichproben aus mteb/stackoverflowdupquestions-reranking
NDCG
0.640 0.619 -3%
MAP
0.530 0.504 -5%
MRR
0.555 0.525 -5%
Synthetische Daten generiert
Gesamt
616
Training
448
Validierung
168

Basismodell zur Feinabstimmung
jinaai/jina-embeddings-v2-base-en
Durchschnittliche Verbesserung
1%

Domänenanweisung
Leistung im synthetischen Validierungssatz vor und nach der Feinabstimmung
NDCG
0.646 0.729 13%
MAP
0.535 0.644 20%
MRR
0.535 0.644 20%
Leistung im zurückgehaltenen Testsatz vor und nach der Feinabstimmung
Getestet an 50 Zufallsstichproben aus mteb/askubuntudupquestions-reranking
NDCG
0.645 0.650 1%
MAP
0.452 0.462 2%
MRR
0.606 0.605 -0%
Synthetische Daten generiert
Gesamt
616
Training
448
Validierung
168

API für automatische Feinabstimmung

Erhalten Sie fein abgestimmte Einbettungen für jede gewünschte Domäne.


Verwenden Sie r.jina.ai, um eine URL zu lesen und ihren Inhalt abzurufen
Verwenden Sie s.jina.ai, um im Web zu suchen und SERP zu erhalten
Fügen Sie mcp.jina.ai als MCP-Server hinzu, um unsere APIs von jedem LLM aus aufzurufen


Anfrage
GET
curl "https://r.jina.ai/https://www.example.com"


Ratenlimit
Ratenlimits werden auf zwei Arten erfasst: RPM (Anfragen pro Minute) und TPM (Token pro Minute). Die Limits gelten pro IP-Adresse bzw. API-Schlüssel und greifen, sobald der RPM- oder der TPM-Schwellenwert erreicht wird. Wenn Sie im Request-Header einen API-Schlüssel angeben, erfassen wir die Ratenlimits pro Schlüssel und nicht nach IP-Adresse.
ProductAPI EndpointDescriptionw/o API Keyw/ Free API Keyw/ Paid API Keyw/ Premium API KeyAverage latencyToken Usage CountingHTTP Method
Reader APIhttps://r.jina.aiConverts a URL to LLM-friendly text20 RPM500 RPM500 RPM5000 RPM7.9sCount the number of tokens in the output response.GET/POST
Reader APIhttps://s.jina.aiSearch the web and convert results to LLM-friendly text100 RPM100 RPM1000 RPM2.5sEvery request costs a fixed number of tokens, starting from 10.000 tokensGET/POST
Embeddings APIhttps://api.jina.ai/v1/embeddingsConvert text/images to fixed-length vectors100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depends on the input size
Count the number of tokens in the input request.POST
Reranker APIhttps://api.jina.ai/v1/rerankRank documents by query100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
depends on the input size
Count the number of tokens in the input request.POST
Häufige Fragen zur Abrechnung