Segmentierer

Kostenlose API zum Segmentieren langer Texte in Chunks und zur Tokenisierung.

Segmenter-API

Unsere Segmenter-API ist entscheidend, um LLMs dabei zu helfen, Eingaben innerhalb von Kontextgrenzen zu verwalten und die Modellleistung zu optimieren. Sie ermöglicht Entwicklern, Token zu zählen und relevante Textsegmente zu extrahieren, was eine effiziente Datenverarbeitung und Kostenverwaltung gewährleistet.

https://api.jina.ai/v1/segment?content=

73 Token, 125 Zeichen.

Die Token zurückgeben

Gibt die Token und ihre entsprechenden IDs in der Antwort zurück. Schalten Sie um, um die Ergebnisvisualisierung anzuzeigen.

Chunks zurückgeben

Aufteilung der Eingabe in semantisch sinnvolle Segmente bei gleichzeitiger Verarbeitung einer großen Vielfalt an Textarten und Randfällen auf der Grundlage gemeinsamer Strukturhinweise.

Die ersten N Token zurückgeben

Gibt die ersten N Token des angegebenen Inhalts zurück. Grenzenexklusiv. Kann nicht mit „tail“ verwendet werden.

Die letzten N Token zurückgeben

Gibt die letzten N Token des angegebenen Inhalts zurück. Grenzenexklusiv. Kann nicht mit „head“ verwendet werden.

Segmentierer

Wählen Sie den zu verwendenden Tokenizer aus.

cl100k_base

Anfrage

Bash

Sprache

curl -X POST 'https://api.jina.ai/v1/segment' \
  -H "Content-Type: application/json" \
  -d @- <<EOFEOF
  {
    "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座，从此不同！🚀\n検索ベース,もう二度と同じことはありません！🚀"
  }
EOFEOF

API-Schlüssel

Verfügbare Token

Dies ist Ihr einzigartiger Schlüssel. Bewahren Sie ihn sicher auf!

Was ist ein Segmenter?

Ein Segmentierer ist eine wichtige Komponente, die Text in Tokens oder Chunks umwandelt. Dabei handelt es sich um die grundlegenden Dateneinheiten, die ein Embedding-/Reranker-Modell oder LLM verarbeitet. Token können ganze Wörter, Wortteile oder sogar einzelne Zeichen darstellen.

Eingabetext

Blitzschnelles Zerlegen langer Dokumente in Blöcke!

Sie können die Segmenter-API auch verwenden, um lange Dokumente in kleinere Chunks zu zerlegen, sodass sie sich leichter mit Einbettungen oder Rerankern verarbeiten lassen. Wir nutzen gängige Strukturmerkmale sowie eine Reihe von Regeln und Heuristiken, die bei verschiedenen Inhaltstypen gut funktionieren, z. B. Markdown, HTML, LaTeX und CJK-Sprachen.

Eingabetext

Maximale Länge jedes Chunks: 1000

Maximale Anzahl von Zeichen in jedem Block. In der Praxis kann die Blocklänge kleiner als dieser Wert sein, wenn es im Text eine natürliche Grenze gibt.

Segmenter-API ist kostenlos!

Durch die Angabe Ihres API-Schlüssels können Sie auf eine höhere Ratenbegrenzung zugreifen und für Ihren Schlüssel fallen keine Kosten an.

Ratenbegrenzung

Ratenlimits werden auf zwei Arten erfasst: RPM (Anfragen pro Minute) und TPM (Token pro Minute). Die Limits werden pro IP/API-Schlüssel erzwungen und ausgelöst, wenn zuerst der RPM- oder TPM-Schwellenwert erreicht wird. Wenn Sie im Request-Header einen API-Schlüssel angeben, erfassen wir die Ratenlimits pro Schlüssel und nicht nach IP-Adresse.

Spalten

Produkt	API-Endpunkt	Beschreibung	ohne API-Schlüssel	mit kostenlosem API-Schlüssel	mit kostenpflichtigem API-Schlüssel	mit Premium-API-Schlüssel	Durchschnittliche Latenz	Zählung der Token-Nutzung	Zulässige Anfrage
Reader-API	`https://r.jina.ai`	URL in LLM-freundlichen Text konvertieren	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	Anzahl der Token in der Ausgabeantwort zählen	GET/POST
Reader-API	`https://s.jina.ai`	Das Web durchsuchen und die Ergebnisse in LLM-freundlichen Text konvertieren		100 RPM	100 RPM	1000 RPM	2.5s	Jede Anfrage kostet eine feste Anzahl an Token, beginnend bei 10000 Token	GET/POST
Einbettungs-API	`https://api.jina.ai/v1/embeddings`	Text/Bilder in Vektoren mit fester Länge konvertieren		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	hängt von der Eingangsgröße ab	Anzahl der Token in der Eingabeanforderung zählen	POST
Reranker-API	`https://api.jina.ai/v1/rerank`	Dokumente nach Abfrage ordnen		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	hängt von der Eingangsgröße ab	Anzahl der Token in der Eingabeanforderung zählen	POST

Holen Sie sich Ihren API-Schlüssel

Kontaktieren Sie unseren Vertrieb

FAQ

Kann ich denselben API-Schlüssel für alle Jina-APIs verwenden?

Kann ich die Token-Nutzung meines API-Schlüssels überwachen?

Was soll ich tun, wenn ich meinen API-Schlüssel vergesse?

Laufen API-Schlüssel ab?

Kann ich Token zwischen API-Schlüsseln übertragen?

Kann ich meinen API-Schlüssel widerrufen?

Warum ist die erste Anfrage für einige Modelle langsam?

Werden meine API-Daten zum Trainieren Ihrer Modelle verwendet?

Welche Ratenbegrenzungen gelten für Jina-APIs?

Gibt es Beschränkungen hinsichtlich der Batchgröße für die APIs?

Sind die Jina-APIs dasselbe wie die Jina-Modelle innerhalb von Elastic?

Wie erhalte ich meinen API-Schlüssel?

Wie hoch ist die Ratenbegrenzung?

Ratenbegrenzung

Spalten

Produkt	API-Endpunkt	Beschreibung	ohne API-Schlüssel	mit kostenlosem API-Schlüssel	mit kostenpflichtigem API-Schlüssel	mit Premium-API-Schlüssel	Durchschnittliche Latenz	Zählung der Token-Nutzung	Zulässige Anfrage
Reader-API	`https://r.jina.ai`	URL in LLM-freundlichen Text konvertieren	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	Anzahl der Token in der Ausgabeantwort zählen	GET/POST
Reader-API	`https://s.jina.ai`	Das Web durchsuchen und die Ergebnisse in LLM-freundlichen Text konvertieren		100 RPM	100 RPM	1000 RPM	2.5s	Jede Anfrage kostet eine feste Anzahl an Token, beginnend bei 10000 Token	GET/POST
Einbettungs-API	`https://api.jina.ai/v1/embeddings`	Text/Bilder in Vektoren mit fester Länge konvertieren		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	hängt von der Eingangsgröße ab	Anzahl der Token in der Eingabeanforderung zählen	POST
Reranker-API	`https://api.jina.ai/v1/rerank`	Dokumente nach Abfrage ordnen		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	hängt von der Eingangsgröße ab	Anzahl der Token in der Eingabeanforderung zählen	POST

Erfolgt die Abrechnung nach der Anzahl der Sätze bzw. Anfragen?

Gibt es eine kostenlose Testversion für neue Benutzer?

Werden für fehlgeschlagene Anfragen Token berechnet?

Welche Zahlungsmethoden werden akzeptiert?

Ist eine Rechnungsstellung für Token-Käufe verfügbar?

Wie kann ich eine kommerzielle Lizenz anstelle von API-Tokens erwerben?

Kann ich per Rechnung oder Bestellschein statt per Karte bezahlen?

Ich habe bezahlt, aber mein Kontostand oder mein Ratenlimit hat sich nicht geändert. Was sollte ich überprüfen?

Wie kann ich eine Zahlung stornieren, die automatische Aufladung stoppen oder eine gespeicherte Zahlungsmethode entfernen?