Segmentierer

Kostenlose API zum Segmentieren langer Texte in Blöcke und zur Tokenisierung.

Segmenter-API

Unsere Segmenter-API ist entscheidend, um LLMs dabei zu helfen, Eingaben innerhalb von Kontextgrenzen zu verwalten und die Modellleistung zu optimieren. Sie ermöglicht Entwicklern, Token zu zählen und relevante Textsegmente zu extrahieren, was eine effiziente Datenverarbeitung und Kostenverwaltung gewährleistet.

Ratenbegrenzung

FAQ

Docs

Status

https://api.jina.ai/v1/segment?content=

73 Token, 125 Zeichen.

Die Token zurückgeben

Gibt die Token und ihre entsprechenden IDs in der Antwort zurück. Schalten Sie um, um die Ergebnisvisualisierung anzuzeigen.

Die Brocken zurückgeben

Aufteilung der Eingabe in semantisch sinnvolle Segmente bei gleichzeitiger Verarbeitung einer großen Vielfalt an Textarten und Randfällen auf der Grundlage gemeinsamer Strukturhinweise.

Die ersten N Token zurückgeben

Gibt die ersten N Token des angegebenen Inhalts zurück. Grenzenexklusiv. Kann nicht mit „tail“ verwendet werden.

Die letzten N Token zurückgeben

Gibt die letzten N Token des angegebenen Inhalts zurück. Grenzenexklusiv. Kann nicht mit „head“ verwendet werden.

Segmentierer

Wählen Sie den zu verwendenden Tokenizer aus.

cl100k_base

Anfrage

Bash

Sprache

curl -X POST 'https://api.jina.ai/v1/segment' \
  -H "Content-Type: application/json" \
  -d @- <<EOFEOF
  {
    "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座，从此不同！🚀\n検索ベース,もう二度と同じことはありません！🚀"
  }
EOFEOF

API-Schlüssel

Verfügbare Token

Dies ist Ihr einzigartiger Schlüssel. Bewahren Sie ihn sicher auf!

Was ist ein Segmenter?

Ein Segmentierer ist eine wichtige Komponente, die Text in Token oder Blöcke umwandelt. Dabei handelt es sich um die grundlegenden Dateneinheiten, die ein Embedding-/Reranker-Modell oder LLM verarbeitet. Token können ganze Wörter, Wortteile oder sogar einzelne Zeichen darstellen.

Eingabetext

Blitzschnelles Zerlegen langer Dokumente in Blöcke!

Sie können die Segmenter-API auch verwenden, um lange Dokumente in kleinere Abschnitte zu zerlegen, sodass sie leichter in Einbettungen oder Rerankern verarbeitet werden können. Wir nutzen gängige Strukturmerkmale und erstellen eine Reihe von Regeln und Heuristiken, die bei unterschiedlichen Inhaltstypen gut funktionieren, z. B. in den Sprachen Markdown, HTML, LaTeX und CJK.

Eingabetext

Maximale Länge jedes Blocks: 1000

Maximale Anzahl von Zeichen in jedem Block. In der Praxis kann die Blocklänge kleiner als dieser Wert sein, wenn es im Text eine natürliche Grenze gibt.

Segmenter-API ist kostenlos!

Durch die Angabe Ihres API-Schlüssels können Sie auf eine höhere Ratenbegrenzung zugreifen und für Ihren Schlüssel fallen keine Kosten an.

Ratenbegrenzung

Ratenbegrenzungen werden auf drei Arten verfolgt: RPM (Anfragen pro Minute) und TPM (Token pro Minute). Die Begrenzungen werden pro IP/API-Schlüssel erzwungen und ausgelöst, wenn zuerst der RPM- oder TPM-Schwellenwert erreicht wird. Wenn Sie im Anforderungsheader einen API-Schlüssel angeben, verfolgen wir die Ratenbegrenzungen nach Schlüssel und nicht nach IP-Adresse.

Spalten

Produkt	API-Endpunkt	Beschreibung	ohne API-Schlüssel	mit kostenlosem API-Schlüssel	mit kostenpflichtigem API-Schlüssel	mit Premium-API-Schlüssel	Durchschnittliche Latenz	Zählung der Token-Nutzung	Zulässige Anfrage
Leser-API	`https://r.jina.ai`	URL in LLM-freundlichen Text konvertieren	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	Zählen Sie die Anzahl der Token in der Ausgabeantwort.	GET/POST
Leser-API	`https://s.jina.ai`	Durchsuchen Sie das Web und konvertieren Sie die Ergebnisse in LLM-freundlichen Text		100 RPM	100 RPM	1000 RPM	2.5s	Jede Anfrage kostet eine feste Anzahl an Token, beginnend bei 10000 Token	GET/POST
Einbettungs-API	`https://api.jina.ai/v1/embeddings`	Konvertieren Sie Text/Bilder in Vektoren mit fester Länge		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	hängt von der Eingangsgröße ab	Zählen Sie die Anzahl der Token in der Eingabeanforderung.	POST
Reranker-API	`https://api.jina.ai/v1/rerank`	Ordnen Sie Dokumente nach Abfrage		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	hängt von der Eingangsgröße ab	Zählen Sie die Anzahl der Token in der Eingabeanforderung.	POST
Klassifizierer-API	`https://api.jina.ai/v1/train`	Trainieren eines Klassifikators anhand gekennzeichneter Beispiele		25 RPM & 25,000 TPM	125 RPM & 500,000 TPM	1,250 RPM & 12,000,000 TPM	hängt von der Eingangsgröße ab	Token werden wie folgt gezählt: input_tokens × num_iters	POST
Klassifizierer-API (Nullschuss)	`https://api.jina.ai/v1/classify`	Klassifizieren Sie Eingaben mithilfe der Zero-Shot-Klassifizierung		25 RPM & 25,000 TPM	125 RPM & 500,000 TPM	1,250 RPM & 12,000,000 TPM	hängt von der Eingangsgröße ab	Token werden wie folgt gezählt: input_tokens + label_tokens	POST
Klassifizierer-API (Wenige Schüsse)	`https://api.jina.ai/v1/classify`	Klassifizieren Sie Eingaben mit einem trainierten Few-Shot-Klassifikator		25 RPM & 25,000 TPM	125 RPM & 500,000 TPM	1,250 RPM & 12,000,000 TPM	hängt von der Eingangsgröße ab	Token werden wie folgt gezählt: input_tokens	POST
Segmenter-API	`https://api.jina.ai/v1/segment`	Tokenisieren und Segmentieren von Langtext	20 RPM	200 RPM	200 RPM	1,000 RPM	0.3s	Token werden nicht als Nutzung gezählt.	GET/POST
DeepSearch	`https://deepsearch.jina.ai/v1/chat/completions`	Überlegen, suchen und iterieren, um die beste Antwort zu finden		50 RPM	50 RPM	500 RPM	56.7s	Zählen Sie die Gesamtzahl der Token im gesamten Vorgang.	POST

Holen Sie sich Ihren API-Schlüssel

Kontaktieren Sie unseren Vertrieb

FAQ

Wie viel kostet die Segmenter-API?

Wenn ich keinen API-Schlüssel angebe, wie hoch ist dann die Ratenbegrenzung?

Wie hoch ist die Ratenbegrenzung, wenn ich einen API-Schlüssel angebe?

Werden die Token von meinem API-Schlüssel abgezogen?

Unterstützt die Segmenter-API mehrere Sprachen?

Was ist der Unterschied zwischen GET- und POST-Anfragen?

Was ist die maximale Länge, die ich pro Anfrage tokenisieren kann?

Wie funktioniert die Chunking-Funktion? Handelt es sich dabei um semantisches Chunking?

Wie handhaben Sie spezielle Token wie „Endoftext“ in der Segmenter-API?

Unterstützt Chunking andere Sprachen als Englisch?

Wie erhalte ich meinen API-Schlüssel?

Wie hoch ist die Ratenbegrenzung?

Ratenbegrenzung

Spalten

Produkt	API-Endpunkt	Beschreibung	ohne API-Schlüssel	mit kostenlosem API-Schlüssel	mit kostenpflichtigem API-Schlüssel	mit Premium-API-Schlüssel	Durchschnittliche Latenz	Zählung der Token-Nutzung	Zulässige Anfrage
Leser-API	`https://r.jina.ai`	URL in LLM-freundlichen Text konvertieren	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	Zählen Sie die Anzahl der Token in der Ausgabeantwort.	GET/POST
Leser-API	`https://s.jina.ai`	Durchsuchen Sie das Web und konvertieren Sie die Ergebnisse in LLM-freundlichen Text		100 RPM	100 RPM	1000 RPM	2.5s	Jede Anfrage kostet eine feste Anzahl an Token, beginnend bei 10000 Token	GET/POST
Einbettungs-API	`https://api.jina.ai/v1/embeddings`	Konvertieren Sie Text/Bilder in Vektoren mit fester Länge		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	hängt von der Eingangsgröße ab	Zählen Sie die Anzahl der Token in der Eingabeanforderung.	POST
Reranker-API	`https://api.jina.ai/v1/rerank`	Ordnen Sie Dokumente nach Abfrage		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	hängt von der Eingangsgröße ab	Zählen Sie die Anzahl der Token in der Eingabeanforderung.	POST
Klassifizierer-API	`https://api.jina.ai/v1/train`	Trainieren eines Klassifikators anhand gekennzeichneter Beispiele		25 RPM & 25,000 TPM	125 RPM & 500,000 TPM	1,250 RPM & 12,000,000 TPM	hängt von der Eingangsgröße ab	Token werden wie folgt gezählt: input_tokens × num_iters	POST
Klassifizierer-API (Nullschuss)	`https://api.jina.ai/v1/classify`	Klassifizieren Sie Eingaben mithilfe der Zero-Shot-Klassifizierung		25 RPM & 25,000 TPM	125 RPM & 500,000 TPM	1,250 RPM & 12,000,000 TPM	hängt von der Eingangsgröße ab	Token werden wie folgt gezählt: input_tokens + label_tokens	POST
Klassifizierer-API (Wenige Schüsse)	`https://api.jina.ai/v1/classify`	Klassifizieren Sie Eingaben mit einem trainierten Few-Shot-Klassifikator		25 RPM & 25,000 TPM	125 RPM & 500,000 TPM	1,250 RPM & 12,000,000 TPM	hängt von der Eingangsgröße ab	Token werden wie folgt gezählt: input_tokens	POST
Segmenter-API	`https://api.jina.ai/v1/segment`	Tokenisieren und Segmentieren von Langtext	20 RPM	200 RPM	200 RPM	1,000 RPM	0.3s	Token werden nicht als Nutzung gezählt.	GET/POST
DeepSearch	`https://deepsearch.jina.ai/v1/chat/completions`	Überlegen, suchen und iterieren, um die beste Antwort zu finden		50 RPM	50 RPM	500 RPM	56.7s	Zählen Sie die Gesamtzahl der Token im gesamten Vorgang.	POST

Kann ich denselben API-Schlüssel für die Reader-, Embedding-, Reranking-, Classifier- und Fine-Tuning-APIs verwenden?

Kann ich die Token-Nutzung meines API-Schlüssels überwachen?

Was soll ich tun, wenn ich meinen API-Schlüssel vergesse?

Laufen API-Schlüssel ab?

Kann ich Token zwischen API-Schlüsseln übertragen?

Kann ich meinen API-Schlüssel widerrufen?

Warum ist die erste Anfrage für einige Modelle langsam?

Werden meine API-Daten zum Trainieren Ihrer Modelle verwendet?

Welche Ratenbegrenzungen gelten für Jina-APIs?

Gibt es Beschränkungen hinsichtlich der Batchgröße für die APIs?

Erfolgt die Abrechnung nach der Anzahl der Sätze bzw. Anfragen?

Gibt es eine kostenlose Testversion für neue Benutzer?

Werden für fehlgeschlagene Anfragen Token berechnet?

Welche Zahlungsmethoden werden akzeptiert?

Ist eine Rechnungsstellung für Token-Käufe verfügbar?