Segmenter
긴 텍스트를 청크로 나누고 토큰화하는 무료 API입니다.
Segmenter API
Segmenter API는 LLM이 컨텍스트 한도 내에서 입력을 관리하고 모델 성능을 최적화하는 데 중요한 역할을 합니다. 개발자는 토큰을 계산하고 관련 텍스트 세그먼트를 추출하여 효율적인 데이터 처리와 비용 관리를 보장할 수 있습니다.
GET 요청으로 토큰 수 세기
더 많은 기능을 보려면 POST 요청을 사용하세요.
마지막 N개 토큰
주어진 콘텐츠의 마지막 N개 토큰을 반환합니다. 경계 지점은 제외됩니다. ‘head’와 함께 사용할 수 없습니다.
Segmenter
사용할 토크나이저를 선택합니다.
cl100k_base
arrow_drop_down
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀"
}
EOFEOFkey
API 키
visibility_off
사용 가능한 토큰
0
Segmenter란 무엇인가요?
Segmenter는 텍스트를 토큰이나 청크로 변환하는 핵심 구성 요소이며, 토큰과 청크는 임베딩/리랭커 모델이나 LLM이 처리하는 기본 데이터 단위입니다. 토큰은 단어 전체, 단어의 일부, 심지어 개별 문자를 나타낼 수도 있습니다.
텍스트 입력
번개처럼 빠르게 긴 문서를 청킹하세요!
Segmenter API를 사용하여 긴 문서를 더 작은 청크로 나누면 임베딩이나 리랭커로 처리하기가 더 쉬워집니다. 공통의 구조적 단서와 Markdown, HTML, LaTeX, CJK 언어 등 다양한 콘텐츠 유형에서 잘 작동하는 규칙과 휴리스틱을 활용합니다.
텍스트 입력
각 청크의 최대 문자 수입니다. 텍스트에 적절한 경계가 있는 경우 실제 청크 길이는 이 값보다 작을 수 있습니다.
총 0개 청크
Segmenter API는 무료입니다!
API 키를 제공하면 더 높은 속도 제한을 이용할 수 있으며 키에 요금이 청구되지 않습니다.
속도 제한
속도 제한은 두 가지 방식으로 추적됩니다. RPM(분당 요청 수)과 TPM(분당 토큰 수)입니다. 제한은 IP 또는 API 키별로 적용되며, RPM 또는 TPM 임계값에 도달하는 즉시 적용됩니다. 요청 헤더에 API 키를 제공하면 IP 주소 대신 키별로 속도 제한을 추적합니다.
열
arrow_drop_down
| 제품 | API 엔드포인트 | 설명arrow_upward | API 키 미사용 시key_off | 무료 API 키 사용 시key | 유료 API 키 사용 시key | 프리미엄 API 키 사용 시key | 평균 지연 | 토큰 사용량 계산 | HTTP 메서드 | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | URL을 LLM 친화적인 텍스트로 변환 | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 출력 응답의 토큰 수를 기준으로 합니다. | GET/POST | |
| Reader API | https://s.jina.ai | 웹 검색 후 결과를 LLM 친화적인 텍스트로 변환 | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 모든 요청은 10,000개부터 시작하는 고정 토큰 수를 사용합니다. | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | 쿼리 기준으로 문서 순위 매기기 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 입력 크기에 따라 다름 help | 입력 요청의 토큰 수를 기준으로 합니다. | POST | |
| 임베딩 API | https://api.jina.ai/v1/embeddings | 텍스트/이미지를 고정 길이 벡터로 변환 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 입력 크기에 따라 다름 help | 입력 요청의 토큰 수를 기준으로 합니다. | POST |
code
Jina의 모든 API에서 동일한 API 키를 사용할 수 있나요?
keyboard_arrow_down
code
API 키의 토큰 사용량을 볼 수 있나요?
keyboard_arrow_down
code
API 키를 잊어버린 경우 어떻게 해야 하나요?
keyboard_arrow_down
code
API 키가 만료되나요?
keyboard_arrow_down
code
API 키 간에 토큰 잔액을 전송할 수 있나요?
keyboard_arrow_down
code
내 API 키를 파기할 수 있나요?
keyboard_arrow_down
code
일부 모델의 첫 요청이 느린 이유는 무엇인가요?
keyboard_arrow_down
code
제 API 데이터가 모델 학습에 사용되나요?
keyboard_arrow_down
code
Jina API의 속도 제한은 어떻게 되나요?
keyboard_arrow_down
code
API에 배치 크기 제한이 있나요?
keyboard_arrow_down
code
Jina API는 Elastic 내 Jina 모델과 같은 것인가요?
keyboard_arrow_down
속도 제한
속도 제한은 두 가지 방식으로 추적됩니다. RPM(분당 요청 수)과 TPM(분당 토큰 수)입니다. 제한은 IP 또는 API 키별로 적용되며, RPM 또는 TPM 임계값에 도달하는 즉시 적용됩니다. 요청 헤더에 API 키를 제공하면 IP 주소 대신 키별로 속도 제한을 추적합니다.
열
arrow_drop_down
| 제품 | API 엔드포인트 | 설명arrow_upward | API 키 미사용 시key_off | 무료 API 키 사용 시key | 유료 API 키 사용 시key | 프리미엄 API 키 사용 시key | 평균 지연 | 토큰 사용량 계산 | HTTP 메서드 | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | URL을 LLM 친화적인 텍스트로 변환 | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 출력 응답의 토큰 수를 기준으로 합니다. | GET/POST | |
| Reader API | https://s.jina.ai | 웹 검색 후 결과를 LLM 친화적인 텍스트로 변환 | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 모든 요청은 10,000개부터 시작하는 고정 토큰 수를 사용합니다. | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | 쿼리 기준으로 문서 순위 매기기 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 입력 크기에 따라 다름 help | 입력 요청의 토큰 수를 기준으로 합니다. | POST | |
| 임베딩 API | https://api.jina.ai/v1/embeddings | 텍스트/이미지를 고정 길이 벡터로 변환 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 입력 크기에 따라 다름 help | 입력 요청의 토큰 수를 기준으로 합니다. | POST |
결제 관련 자주 묻는 질문
attach_money
API 요금은 문장 수나 요청 수에 따라 청구되나요?
keyboard_arrow_down
attach_money
신규 사용자가 무료 평가판을 받을 수 있나요?
keyboard_arrow_down
attach_money
실패한 요청에 대해 토큰이 차감되나요?
keyboard_arrow_down
attach_money
어떤 결제 방법을 지원하나요?
keyboard_arrow_down
attach_money
토큰 구매 시 송장을 발행받을 수 있나요?
keyboard_arrow_down
attach_money
API 토큰 대신 상업용 라이선스를 구매하려면 어떻게 해야 하나요?
keyboard_arrow_down
attach_money
신용카드 대신 송장이나 구매 주문서로 결제할 수 있나요?
keyboard_arrow_down
attach_money
결제는 완료했는데 잔액이나 속도 제한이 그대로입니다. 무엇을 확인해야 하나요?
keyboard_arrow_down
attach_money
해지, 자동 충전 중지, 저장된 결제 수단 삭제는 어떻게 하나요?
keyboard_arrow_down