Segmenter

긴 텍스트를 청크로 나누고 토큰화를 위한 무료 API입니다.

Segmenter API

Segmenter API는 LLM이 컨텍스트 한도 내에서 입력을 관리하고 모델 성능을 최적화하는 데 중요한 역할을 합니다. 개발자는 토큰을 계산하고 관련 텍스트 세그먼트를 추출하여 효율적인 데이터 처리와 비용 관리를 보장할 수 있습니다.

https://api.jina.ai/v1/segment?content=

73 토큰, 125자.

토큰 반환

응답에 토큰과 해당 ID를 반환합니다. 결과를 시각화하려면 전환하세요.

청크 반환

일반적인 구조적 단서를 바탕으로 다양한 텍스트 유형과 엣지 케이스를 처리하면서 입력을 의미상 유의미한 세그먼트로 청킹합니다.

처음 N개의 토큰을 반환합니다.

주어진 콘텐츠의 처음 N개 토큰을 반환합니다. 경계 지점은 제외됩니다. 'tail'과 함께 사용할 수 없습니다.

마지막 N개의 토큰을 반환합니다.

주어진 콘텐츠의 마지막 N개 토큰을 반환합니다. 경계 지점은 제외됩니다. 'head'와 함께 사용할 수 없습니다.

Segmenter

사용할 토크나이저를 선택합니다.

cl100k_base

요청

Bash

언어

curl -X POST 'https://api.jina.ai/v1/segment' \
  -H "Content-Type: application/json" \
  -d @- <<EOFEOF
  {
    "content": "Jina AI: Your Search Foundation, Supercharged! 🚀\nIhrer Suchgrundlage, aufgeladen! 🚀\n您的搜索底座，从此不同！🚀\n検索ベース,もう二度と同じことはありません！🚀"
  }
EOFEOF

API 키

사용 가능한 토큰

이것은 귀하의 고유한 키입니다. 안전하게 보관하세요!

Segmenter란 무엇인가요?

Segmenter는 텍스트를 토큰이나 청크로 변환하는 핵심 구성 요소이며, 토큰과 청크는 embeddings/reranker 모델이나 LLM이 처리하는 기본 데이터 단위입니다. 토큰은 단어 전체, 단어의 일부, 심지어 개별 문자를 나타낼 수도 있습니다.

텍스트를 입력하세요

번개처럼 빠르게 긴 문서를 청킹하세요!

Segmenter API를 사용하여 긴 문서를 더 작은 청크로 나누면 embeddings 또는 reranker로 처리하기가 더 쉬워집니다. 공통의 구조적 단서와 Markdown, HTML, LaTeX, CJK 언어 등 다양한 콘텐츠 유형에서 잘 작동하는 규칙과 휴리스틱을 활용합니다.

텍스트를 입력하세요

각 청크의 최대 길이: 1000

각 청크의 최대 문자 수입니다. 텍스트에 적절한 경계가 있는 경우 실제 청크 길이는 이 값보다 작을 수 있습니다.

Segmenter API는 무료입니다!

API 키를 제공하면 더 높은 속도 제한을 이용할 수 있으며 키에 요금이 청구되지 않습니다.

속도 제한

속도 제한은 두 가지 방식으로 추적됩니다. RPM(분당 요청 수)과 TPM(분당 토큰 수)입니다. 제한은 IP/API 키별로 적용되며 RPM 또는 TPM 임계값 중 먼저 도달하는 쪽에서 트리거됩니다. 요청 헤더에 API 키를 제공하면 IP 주소 대신 키별로 속도 제한을 추적합니다.

Columns

제품	API 엔드포인트	설명	API 키 없음	무료 API 키 사용 시	유료 API 키 사용 시	프리미엄 API 키 사용 시	평균 지연	토큰 사용량 계산	허용 요청
Reader API	`https://r.jina.ai`	URL을 LLM 친화적인 텍스트로 변환	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	출력 응답의 토큰 수를 기준으로 합니다.	GET/POST
Reader API	`https://s.jina.ai`	웹 검색 후 결과를 LLM 친화적인 텍스트로 변환		100 RPM	100 RPM	1000 RPM	2.5s	각 요청에는 10000개의 토큰으로 시작하는 고정된 수의 토큰이 필요합니다.	GET/POST
Reranker API	`https://api.jina.ai/v1/rerank`	쿼리 기준으로 문서 순위 매기기		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	입력 크기에 따라 다름	입력 요청의 토큰 수를 기준으로 합니다.	POST
벡터 모델 API	`https://api.jina.ai/v1/embeddings`	텍스트/이미지를 고정 길이 벡터로 변환		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	입력 크기에 따라 다름	입력 요청의 토큰 수를 기준으로 합니다.	POST

API 키 받기

영업팀에 문의

자주 묻는 질문

Jina의 모든 API에서 동일한 API 키를 사용할 수 있나요?

API 키의 토큰 사용량을 볼 수 있나요?

API 키를 잊어버린 경우 어떻게 해야 합니까?

API 키가 만료되나요?

API 키 간에 토큰 잔액을 전송할 수 있나요?

내 API 키를 파기할 수 있나요?

일부 모델을 처음 요청할 때 속도가 느린 이유는 무엇입니까?

제 API 데이터가 모델 학습에 사용되나요?

Jina API의 사용량 제한은 얼마인가요?

API에 배치 크기 제한이 있나요?

Jina API는 Elasticsearch의 Jina 모델과 동일한가요?

API 키를 어떻게 얻나요?

속도 제한은 무엇입니까?

속도 제한

Columns

제품	API 엔드포인트	설명	API 키 없음	무료 API 키 사용 시	유료 API 키 사용 시	프리미엄 API 키 사용 시	평균 지연	토큰 사용량 계산	허용 요청
Reader API	`https://r.jina.ai`	URL을 LLM 친화적인 텍스트로 변환	20 RPM	500 RPM	500 RPM	5000 RPM	7.9s	출력 응답의 토큰 수를 기준으로 합니다.	GET/POST
Reader API	`https://s.jina.ai`	웹 검색 후 결과를 LLM 친화적인 텍스트로 변환		100 RPM	100 RPM	1000 RPM	2.5s	각 요청에는 10000개의 토큰으로 시작하는 고정된 수의 토큰이 필요합니다.	GET/POST
Reranker API	`https://api.jina.ai/v1/rerank`	쿼리 기준으로 문서 순위 매기기		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	입력 크기에 따라 다름	입력 요청의 토큰 수를 기준으로 합니다.	POST
벡터 모델 API	`https://api.jina.ai/v1/embeddings`	텍스트/이미지를 고정 길이 벡터로 변환		100 RPM & 100,000 TPM	500 RPM & 2,000,000 TPM	5,000 RPM & 50,000,000 TPM	입력 크기에 따라 다름	입력 요청의 토큰 수를 기준으로 합니다.	POST

API 요금은 문장 수나 요청 수에 따라 청구되나요?

신규 사용자가 무료 평가판을 받을 수 있나요?

실패한 요청에 대해 토큰이 차감되나요?

어떤 결제 방법이 허용되나요?

토큰 구매 시 송장을 발행받을 수 있나요?

API 토큰 대신 상업용 라이선스를 구매하려면 어떻게 해야 하나요?

신용카드 대신 송장이나 구매 주문서로 결제할 수 있나요?

결제는 완료했는데 잔액이나 사용 한도가 변경되지 않았습니다. 무엇을 확인해야 할까요?

자동 충전을 취소하거나, 자동 충전 기능을 끄거나, 저장된 결제 수단을 삭제하려면 어떻게 해야 하나요?