自動ファインチューニング
埋め込みをどのドメインで優れたものにしたいかを教えていただくだけで、そのドメイン向けにすぐ使えるファインチューニング済みの埋め込みモデルを自動的にお届けします。
Auto Fine-Tuning とは何ですか?
要件を指定する方法は、一般的な指示、URL、クエリとドキュメントの説明の 3 つです。いずれか 1 つを選んでください。
public
または、Web ページの URL
URL のコンテンツをファインチューニングに使用します。
keyboard_arrow_down
notes
または、一般的な指示
ファインチューニングした埋め込みの用途を詳しく説明してください。
keyboard_arrow_down
ベース埋め込みモデルの選択
ファインチューニングにより、事前トレーニング済みのモデルを新しいデータセットでトレーニングして、特定のタスクやドメインに適応させることができます。実際には、多くのユーザーにとって効果的なトレーニングデータを見つけるのは簡単ではありません。効果的なトレーニングには、生の PDF や HTML をモデルに投げ込む以上のことが必要で、正しく行うのは困難です。Auto Fine-Tuning は、高度な LLM エージェントパイプラインを使って効果的なトレーニングデータを自動生成し、ML ワークフローの中でモデルをファインチューニングすることで、この問題を解決します。合成データ生成と AutoML の組み合わせと考えることができ、ターゲットドメインを自然言語で記述するだけで、あとはシステムにお任せいただけます。
Auto Fine-Tuning は、お望みのあらゆるドメイン向けにファインチューニングされた埋め込みを提供するという、魔法のような約束を掲げています。しかし、本当に機能するのでしょうか?これはもっともな疑問です。私たちはさまざまなドメインとベースモデルでテストして確かめました。以下の、うまくいった例 (cherry-picked) とうまくいかなかった例 (lemon-picked) の結果をご覧ください。
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en平均改善
arrow_upward 2%
description ドメインの指示
speed ファインチューニング前後の合成検証セットのパフォーマンス
NDCG
0.505 arrow_forward 0.532 arrow_upward 5%
MAP
0.352 arrow_forward 0.389 arrow_upward 10%
MRR
0.352 arrow_forward 0.389 arrow_upward 10%
speed ファインチューニング前後のホールドアウトテストセットのパフォーマンス
check
tollefj/norwegian-nli-triplets からの 50 個のランダムサンプルでテストされました
NDCG
0.852 arrow_forward 0.867 arrow_upward 2%
MAP
0.800 arrow_forward 0.820 arrow_upward 2%
MRR
0.800 arrow_forward 0.820 arrow_upward 2%
data_usage 合成データ生成量
合計
4648
トレーニング
4480
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en平均改善
arrow_upward 6%
description ドメインの指示
speed ファインチューニング前後の合成検証セットのパフォーマンス
NDCG
0.672 arrow_forward 0.755 arrow_upward 12%
MAP
0.567 arrow_forward 0.675 arrow_upward 19%
MRR
0.567 arrow_forward 0.675 arrow_upward 19%
speed ファインチューニング前後のホールドアウトテストセットのパフォーマンス
check
mteb/askubuntudupquestions-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.698 arrow_forward 0.722 arrow_upward 3%
MAP
0.515 arrow_forward 0.549 arrow_upward 6%
MRR
0.666 arrow_forward 0.712 arrow_upward 7%
data_usage 合成データ生成量
合計
616
トレーニング
448
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en平均改善
arrow_upward 9%
description ドメインの指示
speed ファインチューニング前後の合成検証セットのパフォーマンス
NDCG
0.727 arrow_forward 0.861 arrow_upward 18%
MAP
0.640 arrow_forward 0.814 arrow_upward 27%
MRR
0.640 arrow_forward 0.814 arrow_upward 27%
speed ファインチューニング前後のホールドアウトテストセットのパフォーマンス
check
mteb/scidocs-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.773 arrow_forward 0.822 arrow_upward 6%
MAP
0.575 arrow_forward 0.651 arrow_upward 13%
MRR
0.823 arrow_forward 0.884 arrow_upward 7%
data_usage 合成データ生成量
合計
616
トレーニング
448
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-zh平均改善
arrow_upward 1%
description ドメインの指示
speed ファインチューニング前後の合成検証セットのパフォーマンス
NDCG
0.718 arrow_forward 0.785 arrow_upward 9%
MAP
0.629 arrow_forward 0.717 arrow_upward 14%
MRR
0.629 arrow_forward 0.717 arrow_upward 14%
speed ファインチューニング前後のホールドアウトテストセットのパフォーマンス
check
C-MTEB/CMedQAv2-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.938 arrow_forward 0.948 arrow_upward 1%
MAP
0.912 arrow_forward 0.926 arrow_upward 2%
MRR
0.920 arrow_forward 0.933 arrow_upward 1%
data_usage 合成データ生成量
合計
616
トレーニング
448
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en平均改善
arrow_upward 6%
description ドメインの指示
speed ファインチューニング前後の合成検証セットのパフォーマンス
NDCG
0.543 arrow_forward 0.579 arrow_upward 7%
MAP
0.402 arrow_forward 0.452 arrow_upward 12%
MRR
0.402 arrow_forward 0.452 arrow_upward 12%
speed ファインチューニング前後のホールドアウトテストセットのパフォーマンス
check
nc33/triplet_sbert_law2 (machine-translated to dutch) からの 50 個のランダムサンプルでテストされました
NDCG
0.904 arrow_forward 0.948 arrow_upward 5%
MAP
0.870 arrow_forward 0.930 arrow_upward 7%
MRR
0.870 arrow_forward 0.930 arrow_upward 7%
data_usage 合成データ生成量
合計
9128
トレーニング
8960
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-code平均改善
arrow_downward -4%
description ドメインの指示
speed ファインチューニング前後の合成検証セットのパフォーマンス
NDCG
0.671 arrow_forward 0.640 arrow_downward -5%
MAP
0.569 arrow_forward 0.525 arrow_downward -8%
MRR
0.569 arrow_forward 0.525 arrow_downward -8%
speed ファインチューニング前後のホールドアウトテストセットのパフォーマンス
check
mteb/stackoverflowdupquestions-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.640 arrow_forward 0.621 arrow_downward -3%
MAP
0.530 arrow_forward 0.505 arrow_downward -5%
MRR
0.555 arrow_forward 0.532 arrow_downward -4%
data_usage 合成データ生成量
合計
616
トレーニング
448
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-code平均改善
arrow_downward -4%
description ドメインの指示
speed ファインチューニング前後の合成検証セットのパフォーマンス
NDCG
0.632 arrow_forward 0.711 arrow_upward 13%
MAP
0.517 arrow_forward 0.622 arrow_upward 20%
MRR
0.517 arrow_forward 0.622 arrow_upward 20%
speed ファインチューニング前後のホールドアウトテストセットのパフォーマンス
check
mteb/stackoverflowdupquestions-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.640 arrow_forward 0.619 arrow_downward -3%
MAP
0.530 arrow_forward 0.504 arrow_downward -5%
MRR
0.555 arrow_forward 0.525 arrow_downward -5%
data_usage 合成データ生成量
合計
616
トレーニング
448
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en平均改善
arrow_upward 1%
description ドメインの指示
speed ファインチューニング前後の合成検証セットのパフォーマンス
NDCG
0.646 arrow_forward 0.729 arrow_upward 13%
MAP
0.535 arrow_forward 0.644 arrow_upward 20%
MRR
0.535 arrow_forward 0.644 arrow_upward 20%
speed ファインチューニング前後のホールドアウトテストセットのパフォーマンス
check
mteb/askubuntudupquestions-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.645 arrow_forward 0.650 arrow_upward 1%
MAP
0.452 arrow_forward 0.462 arrow_upward 2%
MRR
0.606 arrow_forward 0.605 arrow_downward -0%
data_usage 合成データ生成量
合計
616
トレーニング
448
検証
168
自動ファインチューニング API
お望みのあらゆるドメイン向けにファインチューニングされた埋め込みを入手できます。
globe_book
r.jina.ai を使用して URL を読み取り、その内容を取得します。travel_explore
s.jina.ai でウェブを検索し、SERP を取得しますLLM から当社の API にアクセスするには、MCP サーバーとして
mcp.jina.ai を追加してくださいコンテンツ形式
Return-Format
過剰なフィルタリングを防ぐために、応答の詳細レベルを制御できます。デフォルトのパイプラインは、ほとんどのサイトと LLM 入力に対して最適化されています。
デフォルト
arrow_drop_down
JSON 応答
Accept
応答は JSON 形式で、URL、タイトル、コンテンツ、およびタイムスタンプ(利用可能な場合)が含まれます。検索モードでは、記述された JSON 構造にそれぞれ従う 5 つのエントリのリストが返されます。
タイムアウト(秒)
X-Timeout
ページの読み込みに要する最大待機時間です。ページの読み込みが遅い場合はこの値を増やし、シンプルで静的なページの場合はこの値を下げてください。
トークン予算
X-Token-Budget
このリクエストで使用されるトークンの最大数を制限します。この制限を超えると、リクエストは失敗します。
jina-ocr-v1 を使用
X-Respond-With
jina-ocr-v1 を使って画像を Markdown に変換し、構造や内容が複雑なページやドキュメントでも高品質な結果を返します。トークン消費量は 40 倍です!open_in_new詳細を見る
ページ
X-Page
処理するページ。複数ページ構成のドキュメントでは指定したページに絞り込まれ、PDF のようなドキュメントの処理時のみ適用されます。
抽出のみ(CSS セレクター)
X-Target-Selector
これらの CSS セレクターに一致するコンテンツのみを抽出します。例:article、.main-content、#post-body
待機対象(CSS セレクター)
X-Wait-For-Selector
これらの要素が表示されるまで待ってからコンテンツを抽出します。動的に読み込まれるコンテンツに役立ちます。
除外(CSS セレクター)
X-Remove-Selector
抽出前にこれらの要素を削除します。例:nav、footer、.sidebar、#ads
すべての画像を削除
X-Retain-Images
出力からすべての画像を削除します。これにより、画像が不要な場合のトークンの使用量を削減できます。
OpenAI 引用フォーマット
X-Retain-Links
OpenAI の Web ブラウジングツール向けにリンクをフォーマットします。GPT モデルと互換性のある特別な引用マーカーを使用します。open_in_new詳細を見る
リンク概要セクション
X-With-Links-Summary
最後に、「ボタンとリンク」セクションを作成します。これは、下流の LLM や Web エージェントがページ内を移動したり、さらなるアクションを実行したりするのに役立ちます。
なし
arrow_drop_down
画像概要セクション
X-With-Images-Summary
最後に、「画像」セクションが作成されます。これにより、下流の LLM はページ上のすべてのビジュアルを概観できるようになり、推論機能が向上します。
なし
arrow_drop_down
Cookie を転送
X-Set-Cookie
弊社の API サーバーは、URL にアクセスするときにカスタム Cookie 設定を転送できます。これは、追加の認証が必要なページに役立ちます。Cookie を含むリクエストはキャッシュされないことに注意してください。open_in_new詳細を見る
画像キャプション
X-With-Generated-Alt
指定された URL にあるすべての画像にキャプションを追加し、キャプションのない画像には alt タグとして「Image [idx]: [caption]」を追加します。これにより、下流の LLM が推論や要約などのタスクで画像を利用できるようになります。
プロキシサーバーを使用する
X-Proxy-Url
API サーバーはプロキシを利用して URL にアクセスできます。これは、特定のプロキシ経由でのみアクセスできるページに役立ちます。open_in_new詳細を見る
国別のプロキシサーバーを使用する
X-Proxy
ロケーションベースのプロキシサーバーの国コードを設定します。最適な選択には 'auto' を、無効にするには 'none' を指定します。
キャッシュをバイパス
X-No-Cache
当社の API は URL のコンテンツを一定時間キャッシュします。true に設定するとキャッシュを無視し、URL から直接コンテンツを取得します。
キャッシュ許容値(秒)
X-Cache-Tolerance
キャッシュが N 秒以内のものであれば受け入れます。0 に設定すると常に最新のコンテンツを取得します(キャッシュのバイパスと同じ)。値を大きくすると、キャッシュから高速に応答できます。
ページ準備のタイミング
X-Respond-Timing
ページが完全に読み込まれたと判断するタイミング。遅いタイミングほど待機時間は長くなりますが、動的コンテンツをより多く取得できます。
デフォルト
arrow_drop_down
カスタムユーザーエージェント
X-User-Agent
ブラウザのユーザーエージェント文字列を上書きします。特定のブラウザを要求するサイトやクローラーをブロックするサイトへのアクセスに役立ちます。
カスタム Referer
X-Referer
HTTP Referer ヘッダーを設定します。一部のウェブサイトでは、トラフィックが想定されたソースから来ているかどうかを確認するためにこのヘッダーをチェックします。
Base64 画像を保持
X-Keep-Img-Data-Url
インライン base64 でエンコードされた画像を外部 URL に変換する代わりに、Markdown 出力に保持します。
キャッシュや追跡を行わない
DNT
このリクエストが当社のサーバーでキャッシュまたは記録されないようにします。機密性の高い URL にご利用ください。
GitHub Flavored Markdown
X-No-Gfm
GFM (GitHub Flavored Markdown) 機能のオプトイン/アウト。
有効
arrow_drop_down
ストリーミングモード
Accept
ストリーミングモードは、対象ページが大きい場合に有効で、ページが完全にレンダリングされるまでより長く待機できます。標準モードでコンテンツが不完全になる場合は、ストリーミングモードの使用をご検討ください。open_in_new詳細を見る
ブラウザのロケールをカスタマイズする
X-Locale
ページをレンダリングするブラウザのロケール設定を制御します。多くのサイトは、ロケールに応じて異なるコンテンツを返します。open_in_new詳細を見る
robots.txt を尊重する
X-Robots-Txt
取得前に robots.txt のルールを確認します。チェックに使用するボット名を指定してください。
iframe コンテンツを含める
X-With-Iframe
埋め込まれた iframe からコンテンツを抽出します。iframe 内にコンテンツが読み込まれるページで有効にしてください。
Shadow DOM を含める
X-With-Shadow-Dom
Shadow DOM コンポーネントからコンテンツを抽出します。Web コンポーネントを使用するページに適しています。
元の URL をベースとして使用する
X-Base
相対 URL を解決するには、元の URL ではなく、リダイレクト後の最終的なターゲット URL を使用します。
ローカル PDF/HTML ファイル
POST
ローカルの PDF および HTML ファイルをアップロードして Reader で読み取ります。PDF と HTML ファイルのみサポートされます。HTML の場合は、関連する CSS/JS スクリプトを正しく解析できるよう参照 URL も指定してください。
upload
抽出前に JavaScript を実行する
POST
コンテンツを抽出する前に、カスタム JavaScript コードを実行してページを変更します。これは、インラインコードまたはスクリプトファイルを指す URL のいずれかです。open_in_new詳細を見る
見出しスタイル
X-Md-Heading-Style
Markdown の見出し形式を設定します (Turndown に渡されます)。
ハッシュスタイル
arrow_drop_down
水平線スタイル
X-Md-Hr
Markdown の水平線形式を定義します (Turndown に渡されます)。
箇条書きスタイル
X-Md-Bullet-List-Marker
Markdown の箇条書きマーカーを設定します (Turndown に渡されます)。
*
arrow_drop_down
強調スタイル
X-Md-Em-Delimiter
Markdown の強調の区切り文字を定義します (Turndown に渡されます)。
_
arrow_drop_down
強い強調スタイル
X-Md-Strong-Delimiter
Markdown の強い強調の区切り文字を設定します (Turndown に渡されます)。
**
arrow_drop_down
リンクスタイル
X-Md-Link-Style
Markdown のリンク形式を決定します (Turndown に渡されます)。
インライン
arrow_drop_down
EU データレジデンシー
実験的
有効にすると、このリクエストのインフラとデータ処理は EU 内に配置されます。
curl "https://r.jina.ai/https://www.example.com"key
API キー
visibility_off
利用可能なトークン
0
code
Jina のすべての API で同じ API キーを使用できますか?
keyboard_arrow_down
code
API キーのトークンの使用状況を表示できますか?
keyboard_arrow_down
code
API キーを忘れた場合はどうすればよいですか?
keyboard_arrow_down
code
API キーには有効期限がありますか?
keyboard_arrow_down
code
API キー間でトークン残高を転送できますか?
keyboard_arrow_down
code
API キーを無効化できますか?
keyboard_arrow_down
code
一部のモデルの初回リクエストに時間がかかるのはなぜですか?
keyboard_arrow_down
code
私の API データはモデルのトレーニングに使用されますか?
keyboard_arrow_down
code
Jina API のレート制限はどのくらいですか?
keyboard_arrow_down
code
API にはバッチサイズの制限がありますか?
keyboard_arrow_down
code
Jina API は Elastic 内の Jina モデルと同じものですか?
keyboard_arrow_down
レート制限
レート制限は 2 つの方法で追跡されます:RPM (1 分あたりのリクエスト数) および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。
列
arrow_drop_down
| 製品 | API エンドポイント | 説明arrow_upward | API キーなしkey_off | 無料 API キーありkey | 有料 API キーありkey | プレミアム API キーありkey | 平均レイテンシ | トークン使用量のカウント方法 | HTTP メソッド | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | URL を LLM に適したテキストに変換する | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 出力応答内のトークンの数に基づきます。 | GET/POST | |
| Reader API | https://s.jina.ai | Web を検索し、結果を LLM に適したテキストに変換する | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | リクエストごとに固定数のトークンを消費します(10,000 トークンから)。 | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | クエリに基づいてドキュメントをランク付けする | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 入力サイズに依存 help | 入力リクエスト内のトークンの数に基づきます。 | POST | |
| 埋め込み API | https://api.jina.ai/v1/embeddings | テキスト/画像を固定長ベクトルに変換する | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 入力サイズに依存 help | 入力リクエスト内のトークンの数に基づきます。 | POST |
請求に関するよくある質問
attach_money
API の料金は文の数またはリクエストの数に基づいて課金されますか?
keyboard_arrow_down
attach_money
新規ユーザーは無料トライアルを利用できますか?
keyboard_arrow_down
attach_money
失敗したリクエストに対してトークンは差し引かれますか?
keyboard_arrow_down
attach_money
どのような支払い方法が利用できますか?
keyboard_arrow_down
attach_money
トークンの購入について請求書は発行されますか?
keyboard_arrow_down
attach_money
API トークンではなく、商用ライセンスを購入するにはどうすればよいですか?
keyboard_arrow_down
attach_money
クレジットカードではなく、請求書または発注書で支払うことはできますか?
keyboard_arrow_down
attach_money
支払いは済ませましたが、残高やレート制限が変わっていません。何をチェックすれば良いでしょうか?
keyboard_arrow_down
attach_money
解約、自動チャージの停止、保存した支払い方法の削除はどうすればよいですか?
keyboard_arrow_down