Segmenter

Kostenlose API zum Segmentieren langer Texte in Chunks und zur Tokenisierung.

Segmenter-API

Unsere Segmenter-API ist entscheidend, um LLMs dabei zu helfen, Eingaben innerhalb von Kontextgrenzen zu verwalten und die Modellleistung zu optimieren. Sie ermöglicht Entwicklern, Token zu zählen und relevante Textsegmente zu extrahieren, was eine effiziente Datenverarbeitung und Kostenverwaltung gewährleistet.

https://api.jina.ai/v1/segment?content=

73 Token, 125 Zeichen.

Die Token zurückgeben

Gibt die Token und ihre entsprechenden IDs in der Antwort zurück. Schalten Sie um, um die Ergebnisvisualisierung anzuzeigen.

Chunks zurückgeben

Teilt die Eingabe anhand gängiger Strukturmerkmale in semantisch sinnvolle Segmente auf und deckt dabei eine große Bandbreite an Textarten und Randfällen ab.

Die ersten N Token zurückgeben

Gibt die ersten N Token des angegebenen Inhalts zurück. Die Grenze ist exklusiv. Kann nicht mit „tail“ verwendet werden.

Die letzten N Token zurückgeben

Gibt die letzten N Token des angegebenen Inhalts zurück. Die Grenze ist exklusiv. Kann nicht mit „head“ verwendet werden.

Segmenter

Wählen Sie den zu verwendenden Tokenizer aus.

cl100k_base

curl "https://api.jina.ai/v1/segment" \
  -H "Content-Type: application/json" \
  -d @- <<EOFEOF
{
  "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座，从此不同！🚀\n検索ベース,もう二度と同じことはありません！🚀"
}
EOFEOF

API-Schlüssel

Verfügbare Token

Dies ist Ihr einzigartiger Schlüssel. Bewahren Sie ihn sicher auf!

Was ist ein Segmenter?

Der Segmenter ist eine wichtige Komponente, die Text in Tokens oder Chunks umwandelt. Dabei handelt es sich um die grundlegenden Dateneinheiten, die ein Embedding-/Reranker-Modell oder LLM verarbeitet. Token können ganze Wörter, Wortteile oder sogar einzelne Zeichen darstellen.

Eingabetext

Lange Dokumente blitzschnell in Chunks zerlegen!

Sie können die Segmenter-API auch verwenden, um lange Dokumente in kleinere Chunks zu zerlegen, sodass sie sich leichter mit Einbettungen oder Rerankern verarbeiten lassen. Wir nutzen gängige Strukturmerkmale sowie eine Reihe von Regeln und Heuristiken, die bei verschiedenen Inhaltstypen gut funktionieren, z. B. Markdown, HTML, LaTeX und CJK-Sprachen.

Eingabetext

Maximale Länge jedes Chunks: 1000

Maximale Anzahl von Zeichen in jedem Chunk. In der Praxis kann ein Chunk kürzer sein als dieser Wert, wenn der Text eine gute Grenze bietet.

Segmenter-API ist kostenlos!

Durch die Angabe Ihres API-Schlüssels können Sie auf ein höheres Ratenlimit zugreifen und für Ihren Schlüssel fallen keine Kosten an.

Ratenlimit

Ratenlimits werden auf zwei Arten erfasst: RPM (Anfragen pro Minute) und TPM (Token pro Minute). Die Limits gelten pro IP-Adresse bzw. API-Schlüssel und greifen, sobald der RPM- oder der TPM-Schwellenwert erreicht wird. Wenn Sie im Request-Header einen API-Schlüssel angeben, erfassen wir die Ratenlimits pro Schlüssel und nicht nach IP-Adresse.

Spalten

Produkt	API-Endpunkt	Beschreibung	ohne Schlüssel	mit Gratis-Schlüssel	mit bezahltem Schlüssel	mit Premium-Schlüssel	Ø Latenz	Zählung der Token-Nutzung	HTTP-Methode
Reader-API	`https://r.jina.ai`	URL in LLM-freundlichen Text konvertieren	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	Anzahl der Token in der Ausgabeantwort zählen	GET/POST
Reader-API	`https://s.jina.ai`	Das Web durchsuchen und die Ergebnisse in LLM-freundlichen Text konvertieren		100 RPM	100 RPM	1000 RPM	2.5s	Jede Anfrage kostet eine feste Anzahl an Token, beginnend bei 10.000 Token	GET/POST
Embeddings-API	`https://api.jina.ai/v1/embeddings`	Text/Bilder in Vektoren mit fester Länge konvertieren		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	hängt von der Eingangsgröße ab	Anzahl der Token in der Eingabeanforderung zählen	POST
Reranker-API	`https://api.jina.ai/v1/rerank`	Dokumente nach Abfrage ordnen		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	hängt von der Eingangsgröße ab	Anzahl der Token in der Eingabeanforderung zählen	POST

API-Schlüssel holen

Vertrieb kontaktieren

FAQ

Kann ich denselben API-Schlüssel für alle Jina-APIs verwenden?

Kann ich die Token-Nutzung meines API-Schlüssels überwachen?

Was soll ich tun, wenn ich meinen API-Schlüssel vergesse?

Laufen API-Schlüssel ab?

Kann ich Token zwischen API-Schlüsseln übertragen?

Kann ich meinen API-Schlüssel widerrufen?

Warum ist die erste Anfrage für einige Modelle langsam?

Werden meine API-Daten zum Trainieren Ihrer Modelle verwendet?

Welche Ratenlimits gelten für Jina-APIs?

Gibt es Beschränkungen hinsichtlich der Batchgröße für die APIs?

Sind die Jina-APIs dasselbe wie die Jina-Modelle innerhalb von Elastic?

Wie erhalte ich meinen API-Schlüssel?

Wie hoch ist das Ratenlimit?

Ratenlimit

Spalten

Produkt	API-Endpunkt	Beschreibung	ohne Schlüssel	mit Gratis-Schlüssel	mit bezahltem Schlüssel	mit Premium-Schlüssel	Ø Latenz	Zählung der Token-Nutzung	HTTP-Methode
Reader-API	`https://r.jina.ai`	URL in LLM-freundlichen Text konvertieren	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	Anzahl der Token in der Ausgabeantwort zählen	GET/POST
Reader-API	`https://s.jina.ai`	Das Web durchsuchen und die Ergebnisse in LLM-freundlichen Text konvertieren		100 RPM	100 RPM	1000 RPM	2.5s	Jede Anfrage kostet eine feste Anzahl an Token, beginnend bei 10.000 Token	GET/POST
Embeddings-API	`https://api.jina.ai/v1/embeddings`	Text/Bilder in Vektoren mit fester Länge konvertieren		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	hängt von der Eingangsgröße ab	Anzahl der Token in der Eingabeanforderung zählen	POST
Reranker-API	`https://api.jina.ai/v1/rerank`	Dokumente nach Abfrage ordnen		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	hängt von der Eingangsgröße ab	Anzahl der Token in der Eingabeanforderung zählen	POST

Erfolgt die Abrechnung nach der Anzahl der Sätze bzw. Anfragen?

Gibt es eine kostenlose Testversion für neue Benutzer?

Werden für fehlgeschlagene Anfragen Token berechnet?

Welche Zahlungsmethoden werden akzeptiert?

Ist eine Rechnungsstellung für Token-Käufe verfügbar?

Wie kann ich eine kommerzielle Lizenz anstelle von API-Tokens erwerben?

Kann ich per Rechnung oder Bestellschein statt per Karte bezahlen?

Ich habe bezahlt, aber mein Kontostand oder mein Ratenlimit hat sich nicht geändert. Was sollte ich überprüfen?

Wie kann ich eine Zahlung stornieren, die automatische Aufladung stoppen oder eine gespeicherte Zahlungsmethode entfernen?