Segmenter

긴 텍스트를 청크로 나누고 토큰화하는 무료 API입니다.

Segmenter API

Segmenter API는 LLM이 컨텍스트 한도 내에서 입력을 관리하고 모델 성능을 최적화하는 데 중요한 역할을 합니다. 개발자는 토큰을 계산하고 관련 텍스트 세그먼트를 추출하여 효율적인 데이터 처리와 비용 관리를 보장할 수 있습니다.


GET 요청으로 토큰 수 세기

더 많은 기능을 보려면 POST 요청을 사용하세요.

요청
POST
curl "https://api.jina.ai/v1/segment" \
-H "Content-Type: application/json" \
-d @- <<EOFEOF
{ "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座,从此不同!🚀\n検索ベース,もう二度と同じことはありません!🚀" }
EOFEOF


Segmenter란 무엇인가요?

Segmenter는 텍스트를 토큰이나 청크로 변환하는 핵심 구성 요소이며, 토큰과 청크는 임베딩/리랭커 모델이나 LLM이 처리하는 기본 데이터 단위입니다. 토큰은 단어 전체, 단어의 일부, 심지어 개별 문자를 나타낼 수도 있습니다.

번개처럼 빠르게 긴 문서를 청킹하세요!

Segmenter API를 사용하여 긴 문서를 더 작은 청크로 나누면 임베딩이나 리랭커로 처리하기가 더 쉬워집니다. 공통의 구조적 단서와 Markdown, HTML, LaTeX, CJK 언어 등 다양한 콘텐츠 유형에서 잘 작동하는 규칙과 휴리스틱을 활용합니다.
각 청크의 최대 길이: 1000
각 청크의 최대 문자 수입니다. 텍스트에 적절한 경계가 있는 경우 실제 청크 길이는 이 값보다 작을 수 있습니다.

총 0개 청크


Segmenter API는 무료입니다!

API 키를 제공하면 더 높은 속도 제한을 이용할 수 있으며 키에 요금이 청구되지 않습니다.
속도 제한
속도 제한은 두 가지 방식으로 추적됩니다. RPM(분당 요청 수)과 TPM(분당 토큰 수)입니다. 제한은 IP 또는 API 키별로 적용되며, RPM 또는 TPM 임계값에 도달하는 즉시 적용됩니다. 요청 헤더에 API 키를 제공하면 IP 주소 대신 키별로 속도 제한을 추적합니다.
제품API 엔드포인트설명API 키 미사용 시무료 API 키 사용 시유료 API 키 사용 시프리미엄 API 키 사용 시평균 지연토큰 사용량 계산HTTP 메서드
Reader APIhttps://r.jina.aiURL을 LLM 친화적인 텍스트로 변환20 RPM500 RPM500 RPM5000 RPM7.9s출력 응답의 토큰 수를 기준으로 합니다.GET/POST
Reader APIhttps://s.jina.ai웹 검색 후 결과를 LLM 친화적인 텍스트로 변환100 RPM100 RPM1000 RPM2.5s모든 요청은 10,000개부터 시작하는 고정 토큰 수를 사용합니다.GET/POST
Reranker APIhttps://api.jina.ai/v1/rerank쿼리 기준으로 문서 순위 매기기100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
입력 크기에 따라 다름
입력 요청의 토큰 수를 기준으로 합니다.POST
임베딩 APIhttps://api.jina.ai/v1/embeddings텍스트/이미지를 고정 길이 벡터로 변환100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
입력 크기에 따라 다름
입력 요청의 토큰 수를 기준으로 합니다.POST
속도 제한
속도 제한은 두 가지 방식으로 추적됩니다. RPM(분당 요청 수)과 TPM(분당 토큰 수)입니다. 제한은 IP 또는 API 키별로 적용되며, RPM 또는 TPM 임계값에 도달하는 즉시 적용됩니다. 요청 헤더에 API 키를 제공하면 IP 주소 대신 키별로 속도 제한을 추적합니다.
제품API 엔드포인트설명API 키 미사용 시무료 API 키 사용 시유료 API 키 사용 시프리미엄 API 키 사용 시평균 지연토큰 사용량 계산HTTP 메서드
Reader APIhttps://r.jina.aiURL을 LLM 친화적인 텍스트로 변환20 RPM500 RPM500 RPM5000 RPM7.9s출력 응답의 토큰 수를 기준으로 합니다.GET/POST
Reader APIhttps://s.jina.ai웹 검색 후 결과를 LLM 친화적인 텍스트로 변환100 RPM100 RPM1000 RPM2.5s모든 요청은 10,000개부터 시작하는 고정 토큰 수를 사용합니다.GET/POST
Reranker APIhttps://api.jina.ai/v1/rerank쿼리 기준으로 문서 순위 매기기100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
입력 크기에 따라 다름
입력 요청의 토큰 수를 기준으로 합니다.POST
임베딩 APIhttps://api.jina.ai/v1/embeddings텍스트/이미지를 고정 길이 벡터로 변환100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
입력 크기에 따라 다름
입력 요청의 토큰 수를 기준으로 합니다.POST
결제 관련 자주 묻는 질문