Segmenter
긴 텍스트를 덩어리로 나누고 단어 분할을 위한 무료 API입니다.
Segmenter API
Segmenter API는 LLM이 컨텍스트 한도 내에서 입력을 관리하고 모델 성능을 최적화하는 데 중요한 역할을 합니다. 개발자는 토큰을 계산하고 관련 텍스트 세그먼트를 추출하여 효율적인 데이터 처리와 비용 관리를 보장할 수 있습니다.
chevron_leftchevron_right
GET 요청으로 토큰 수 세기
더 많은 기능을 보려면 POST 요청을 사용하세요.
마지막 N개의 토큰을 반환합니다.
주어진 콘텐츠의 마지막 N개 토큰을 반환합니다. 경계 지점은 제외됩니다. `head`와 함께 사용할 수 없습니다.
Segmenter
사용할 토크나이저를 선택합니다.
cl100k_base
arrow_drop_down
upload
요청
Bash
언어
arrow_drop_down
curl -X POST 'https://api.jina.ai/v1/segment' \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{
"content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀"
}
EOFEOF
key
API 키
visibility_off
사용 가능한 토큰
0
Segmenter란 무엇인가요?
Segmenter는 텍스트를 토큰이나 청크로 변환하는 핵심 구성 요소이며, 토큰과 청크는 embeddings/reranker 모델이나 LLM이 처리하는 기본 데이터 단위입니다. 토큰은 단어 전체, 단어의 일부, 심지어 개별 문자를 나타낼 수도 있습니다.
텍스트를 입력하세요
번개처럼 빠르게 긴 문서를 청킹하세요!
Segmenter API를 사용하여 긴 문서를 더 작은 청크로 나누면 embeddings 모델이나 reranker에서 처리하기가 더 쉬워집니다. 공통의 구조적 단서를 활용하여 Markdown, HTML, LaTeX, CJK 언어 등 다양한 유형의 콘텐츠에서 잘 작동하는 일련의 규칙과 휴리스틱을 구축했습니다.
텍스트를 입력하세요
각 청크의 최대 문자 수입니다. 텍스트에 적절한 경계가 있는 경우 실제 청크 길이는 이 값보다 작을 수 있습니다.
총 0개 청크
Segmenter API는 무료입니다!
API 키를 제공하면 더 높은 속도 제한을 이용할 수 있으며 키에 요금이 청구되지 않습니다.
속도 제한
속도 제한은 세 가지 방식으로 추적됩니다. RPM(분당 요청 수)과 TPM(분당 토큰 수)입니다. 제한은 IP/API 키별로 적용되며 RPM 또는 TPM 임계값 중 먼저 도달하는 쪽에서 트리거됩니다. 요청 헤더에 API 키를 제공하면 IP 주소 대신 키별로 속도 제한을 추적합니다.
Columns
arrow_drop_down
| 제품 | API 엔드포인트 | 설명arrow_upward | API 키 없음key_off | 무료 API 키 사용 시key | 유료 API 키 사용 시key | 프리미엄 API 키 사용 시key | 평균 지연 | 토큰 사용량 계산 | 허용 요청 | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | URL을 LLM 친화적인 텍스트로 변환 | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 출력 응답의 토큰 수를 기준으로 합니다. | GET/POST | |
| Reader API | https://s.jina.ai | 웹을 검색하고 결과를 LLM 친화적인 텍스트로 변환합니다. | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 각 요청에는 10000개의 토큰으로 시작하는 고정된 수의 토큰이 필요합니다. | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | 쿼리 기준으로 문서 순위 매기기 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 입력 크기에 따라 다름 help | 입력 요청의 토큰 수를 기준으로 합니다. | POST | |
| 벡터 모델 API | https://api.jina.ai/v1/embeddings | 텍스트/이미지를 고정 길이 벡터로 변환 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 입력 크기에 따라 다름 help | 입력 요청의 토큰 수를 기준으로 합니다. | POST | |
| Classifier API | https://api.jina.ai/v1/train | 훈련 샘플을 사용하여 분류기 훈련 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 입력 크기에 따라 다름 | 토큰 계산 방식: input_tokens × num_iters | POST | |
| Classifier API (제로샷) | https://api.jina.ai/v1/classify | 제로샷 분류를 사용하여 입력 분류 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 입력 크기에 따라 다름 | 토큰 계산 방식: input_tokens + label_tokens | POST | |
| Classifier API (퓨샷) | https://api.jina.ai/v1/classify | 훈련된 퓨샷 분류기를 사용하여 입력을 분류합니다. | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 입력 크기에 따라 다름 | 토큰 계산 방식: input_tokens | POST | |
| Segmenter API | https://api.jina.ai/v1/segment | 긴 텍스트를 단어와 문장으로 분할 | 20 RPM | 200 RPM | 200 RPM | 1,000 RPM | 0.3s | 토큰 사용은 계산되지 않습니다. | GET/POST | |
| DeepSearch | https://deepsearch.jina.ai/v1/chat/completions | 추론하고, 검색하고, 반복하여 최상의 답을 찾으세요 | block | 50 RPM | 50 RPM | 500 RPM | 56.7s | 전체 프로세스에서 총 토큰 수를 계산합니다. | POST |
Segmenter API의 비용은 얼마입니까?
keyboard_arrow_down
API 키를 제공하지 않는 경우 속도 제한은 어떻게 됩니까?
keyboard_arrow_down
API 키를 제공하는 경우 속도 제한은 어떻게 됩니까?
keyboard_arrow_down
내 API 키로 토큰을 청구하나요?
keyboard_arrow_down
Segmenter API는 여러 언어를 지원합니까?
keyboard_arrow_down
GET 요청과 POST 요청의 차이점은 무엇입니까?
keyboard_arrow_down
요청당 토큰화할 수 있는 최대 길이는 얼마입니까?
keyboard_arrow_down
청킹 기능은 어떻게 작동하나요? 시맨틱 청킹인가요?
keyboard_arrow_down
Segmenter API에서 'endoftext'와 같은 특수 토큰은 어떻게 처리되나요?
keyboard_arrow_down
청킹은 영어 이외의 언어도 지원하나요?
keyboard_arrow_down
속도 제한
속도 제한은 세 가지 방식으로 추적됩니다. RPM(분당 요청 수)과 TPM(분당 토큰 수)입니다. 제한은 IP/API 키별로 적용되며 RPM 또는 TPM 임계값 중 먼저 도달하는 쪽에서 트리거됩니다. 요청 헤더에 API 키를 제공하면 IP 주소 대신 키별로 속도 제한을 추적합니다.
Columns
arrow_drop_down
| 제품 | API 엔드포인트 | 설명arrow_upward | API 키 없음key_off | 무료 API 키 사용 시key | 유료 API 키 사용 시key | 프리미엄 API 키 사용 시key | 평균 지연 | 토큰 사용량 계산 | 허용 요청 | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | URL을 LLM 친화적인 텍스트로 변환 | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 출력 응답의 토큰 수를 기준으로 합니다. | GET/POST | |
| Reader API | https://s.jina.ai | 웹을 검색하고 결과를 LLM 친화적인 텍스트로 변환합니다. | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 각 요청에는 10000개의 토큰으로 시작하는 고정된 수의 토큰이 필요합니다. | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | 쿼리 기준으로 문서 순위 매기기 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 입력 크기에 따라 다름 help | 입력 요청의 토큰 수를 기준으로 합니다. | POST | |
| 벡터 모델 API | https://api.jina.ai/v1/embeddings | 텍스트/이미지를 고정 길이 벡터로 변환 | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 입력 크기에 따라 다름 help | 입력 요청의 토큰 수를 기준으로 합니다. | POST | |
| Classifier API | https://api.jina.ai/v1/train | 훈련 샘플을 사용하여 분류기 훈련 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 입력 크기에 따라 다름 | 토큰 계산 방식: input_tokens × num_iters | POST | |
| Classifier API (제로샷) | https://api.jina.ai/v1/classify | 제로샷 분류를 사용하여 입력 분류 | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 입력 크기에 따라 다름 | 토큰 계산 방식: input_tokens + label_tokens | POST | |
| Classifier API (퓨샷) | https://api.jina.ai/v1/classify | 훈련된 퓨샷 분류기를 사용하여 입력을 분류합니다. | block | 25 RPM & 25,000 TPM | 125 RPM & 500,000 TPM | 1,250 RPM & 12,000,000 TPM | ssid_chart 입력 크기에 따라 다름 | 토큰 계산 방식: input_tokens | POST | |
| Segmenter API | https://api.jina.ai/v1/segment | 긴 텍스트를 단어와 문장으로 분할 | 20 RPM | 200 RPM | 200 RPM | 1,000 RPM | 0.3s | 토큰 사용은 계산되지 않습니다. | GET/POST | |
| DeepSearch | https://deepsearch.jina.ai/v1/chat/completions | 추론하고, 검색하고, 반복하여 최상의 답을 찾으세요 | block | 50 RPM | 50 RPM | 500 RPM | 56.7s | 전체 프로세스에서 총 토큰 수를 계산합니다. | POST |
API 관련 FAQ
code
Reader, Embedding, Reranker, Classifier 및 Fine-Tuned Model API에 동일한 API 키를 사용할 수 있습니까?
keyboard_arrow_down
code
API 키의 토큰 사용량을 볼 수 있나요?
keyboard_arrow_down
code
API 키를 잊어버린 경우 어떻게 해야 합니까?
keyboard_arrow_down
code
API 키가 만료되나요?
keyboard_arrow_down
code
API 키 간에 토큰 잔액을 전송할 수 있나요?
keyboard_arrow_down
code
내 API 키를 파기할 수 있나요?
keyboard_arrow_down
code
일부 모델을 처음 요청할 때 속도가 느린 이유는 무엇입니까?
keyboard_arrow_down
code
제 API 데이터가 모델 학습에 사용되나요?
keyboard_arrow_down
code
Jina API의 사용량 제한은 얼마인가요?
keyboard_arrow_down
code
API에 배치 크기 제한이 있나요?
keyboard_arrow_down
청구 관련 자주 묻는 질문
attach_money
API 요금은 문장 수나 요청 수에 따라 청구되나요?
keyboard_arrow_down
attach_money
신규 사용자가 무료 평가판을 받을 수 있나요?
keyboard_arrow_down
attach_money
실패한 요청에 대해 토큰이 차감되나요?
keyboard_arrow_down
attach_money
어떤 결제 방법이 허용되나요?
keyboard_arrow_down
attach_money
토큰 구매 시 송장을 발행받을 수 있나요?
keyboard_arrow_down