Segmentierer
Kostenlose API zum Segmentieren langer Texte in Chunks und zur Tokenisierung.
Segmenter-API
Unsere Segmenter-API ist entscheidend, um LLMs dabei zu helfen, Eingaben innerhalb von Kontextgrenzen zu verwalten und die Modellleistung zu optimieren. Sie ermöglicht Entwicklern, Token zu zählen und relevante Textsegmente zu extrahieren, was eine effiziente Datenverarbeitung und Kostenverwaltung gewährleistet.
Verwenden Sie eine GET-Anfrage, um Token zu zählen
Verwenden Sie die POST-Anfrage für weitere Funktionen
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座，从此不同！🚀\n検索ベース,もう二度と同じことはありません！🚀"
}
EOFEOFWas ist ein Segmenter?
Ein Segmentierer ist eine wichtige Komponente, die Text in Tokens oder Chunks umwandelt. Dabei handelt es sich um die grundlegenden Dateneinheiten, die ein Embedding-/Reranker-Modell oder LLM verarbeitet. Token können ganze Wörter, Wortteile oder sogar einzelne Zeichen darstellen.
Blitzschnelles Zerlegen langer Dokumente in Blöcke!
Sie können die Segmenter-API auch verwenden, um lange Dokumente in kleinere Chunks zu zerlegen, sodass sie sich leichter mit Einbettungen oder Rerankern verarbeiten lassen. Wir nutzen gängige Strukturmerkmale sowie eine Reihe von Regeln und Heuristiken, die bei verschiedenen Inhaltstypen gut funktionieren, z. B. Markdown, HTML, LaTeX und CJK-Sprachen.
Maximale Anzahl von Zeichen in jedem Block. In der Praxis kann die Blocklänge kleiner als dieser Wert sein, wenn es im Text eine natürliche Grenze gibt.
0 Chunks insgesamt
Segmenter-API ist kostenlos!
Durch die Angabe Ihres API-Schlüssels können Sie auf eine höhere Ratenbegrenzung zugreifen und für Ihren Schlüssel fallen keine Kosten an.
Ratenbegrenzung
Ratenlimits werden auf zwei Arten erfasst: RPM (Anfragen pro Minute) und TPM (Token pro Minute). Die Limits werden pro IP/API-Schlüssel erzwungen und ausgelöst, wenn zuerst der RPM- oder TPM-Schwellenwert erreicht wird. Wenn Sie im Request-Header einen API-Schlüssel angeben, erfassen wir die Ratenlimits pro Schlüssel und nicht nach IP-Adresse.
| Product | API Endpoint | Descriptionarrow_upward | w/o API Keykey_off | w/ Free API Keykey | w/ Paid API Keykey | w/ Premium API Keykey | Average latency | Token Usage Counting | Allowed Request | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | Converts a URL to LLM-friendly text | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Count the number of tokens in the output response. | GET/POST | |
| Reader API | https://s.jina.ai | Search the web and convert results to LLM-friendly text | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Every request costs a fixed number of tokens, starting from 10.000 tokens | GET/POST | |
| Embedding API | https://api.jina.ai/v1/embeddings | Convert text/images to fixed-length vectors | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart depends on the input size help | Count the number of tokens in the input request. | POST | |
| Reranker API | https://api.jina.ai/v1/rerank | Rank documents by query | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart depends on the input size help | Count the number of tokens in the input request. | POST |
code
Kann ich denselben API-Schlüssel für alle Jina-APIs verwenden?
keyboard_arrow_down
code
Kann ich die Token-Nutzung meines API-Schlüssels überwachen?
keyboard_arrow_down
code
Was soll ich tun, wenn ich meinen API-Schlüssel vergesse?
keyboard_arrow_down
code
Laufen API-Schlüssel ab?
keyboard_arrow_down
code
Kann ich Token zwischen API-Schlüsseln übertragen?
keyboard_arrow_down
code
Kann ich meinen API-Schlüssel widerrufen?
keyboard_arrow_down
code
Warum ist die erste Anfrage für einige Modelle langsam?
keyboard_arrow_down
code
Werden meine API-Daten zum Trainieren Ihrer Modelle verwendet?
keyboard_arrow_down
code
Welche Ratenbegrenzungen gelten für Jina-APIs?
keyboard_arrow_down
code
Gibt es Beschränkungen hinsichtlich der Batchgröße für die APIs?
keyboard_arrow_down
code
Sind die Jina-APIs dasselbe wie die Jina-Modelle innerhalb von Elastic?
keyboard_arrow_down
Ratenbegrenzung
Ratenlimits werden auf zwei Arten erfasst: RPM (Anfragen pro Minute) und TPM (Token pro Minute). Die Limits werden pro IP/API-Schlüssel erzwungen und ausgelöst, wenn zuerst der RPM- oder TPM-Schwellenwert erreicht wird. Wenn Sie im Request-Header einen API-Schlüssel angeben, erfassen wir die Ratenlimits pro Schlüssel und nicht nach IP-Adresse.
| Product | API Endpoint | Descriptionarrow_upward | w/o API Keykey_off | w/ Free API Keykey | w/ Paid API Keykey | w/ Premium API Keykey | Average latency | Token Usage Counting | Allowed Request | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | Converts a URL to LLM-friendly text | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | Count the number of tokens in the output response. | GET/POST | |
| Reader API | https://s.jina.ai | Search the web and convert results to LLM-friendly text | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | Every request costs a fixed number of tokens, starting from 10.000 tokens | GET/POST | |
| Embedding API | https://api.jina.ai/v1/embeddings | Convert text/images to fixed-length vectors | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart depends on the input size help | Count the number of tokens in the input request. | POST | |
| Reranker API | https://api.jina.ai/v1/rerank | Rank documents by query | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart depends on the input size help | Count the number of tokens in the input request. | POST |
Häufige Fragen zur Abrechnung
attach_money
Erfolgt die Abrechnung nach der Anzahl der Sätze bzw. Anfragen?
keyboard_arrow_down
attach_money
Gibt es eine kostenlose Testversion für neue Benutzer?
keyboard_arrow_down
attach_money
Werden für fehlgeschlagene Anfragen Token berechnet?
keyboard_arrow_down
attach_money
Welche Zahlungsmethoden werden akzeptiert?
keyboard_arrow_down
attach_money
Ist eine Rechnungsstellung für Token-Käufe verfügbar?
keyboard_arrow_down
attach_money
Wie kann ich eine kommerzielle Lizenz anstelle von API-Tokens erwerben?
keyboard_arrow_down
attach_money
Kann ich per Rechnung oder Bestellschein statt per Karte bezahlen?
keyboard_arrow_down
attach_money
Ich habe bezahlt, aber mein Kontostand oder mein Ratenlimit hat sich nicht geändert. Was sollte ich überprüfen?
keyboard_arrow_down
attach_money
Wie kann ich eine Zahlung stornieren, die automatische Aufladung stoppen oder eine gespeicherte Zahlungsmethode entfernen?
keyboard_arrow_down
