自動ファインチューニング
埋め込みをどのドメインで優れたものにしたいかを教えていただくだけで、そのドメイン向けにすぐ使えるファインチューニング済みの埋め込みモデルを自動的にお届けします。
Auto Fine-Tuning とは何ですか?
要件を指定するには、一般的な説明、URL、またはクエリドキュメントの説明の 3 つの方法があります。一つ選んでください。
public
または、Web ページの URL
微調整については、URL の内容を参照してください。
keyboard_arrow_down
notes
または、一般的な指示
微調整された embeddings の使用方法について詳しく説明します。
keyboard_arrow_down
基底ベクトルモデルの選択
ファインチューニングにより、事前トレーニング済みのモデルを新しいデータセットでトレーニングして、特定のタスクやドメインに適応させることができます。実際には、多くのユーザーにとって効果的なトレーニングデータを見つけるのは簡単ではありません。効果的なトレーニングには、生の PDF や HTML をモデルに投げ込む以上のことが必要で、正しく行うのは困難です。Auto Fine-Tuning は、高度な LLM エージェントパイプラインを使って効果的なトレーニングデータを自動生成し、ML ワークフローの中でモデルをファインチューニングすることで、この問題を解決します。合成データ生成と AutoML の組み合わせと考えることができ、ターゲットドメインを自然言語で記述するだけで、あとはシステムにお任せいただけます。
Auto Fine-Tuning は、お望みのあらゆるドメイン向けにファインチューニングされた埋め込みを提供するという、魔法のような約束を掲げています。しかし、本当に機能するのでしょうか?これはもっともな疑問です。私たちはさまざまなドメインとベースモデルでテストして確かめました。以下の、うまくいった例 (cherry-picked) とうまくいかなかった例 (lemon-picked) の結果をご覧ください。
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en平均的な改善
arrow_upward 2%
description ドメインディレクティブ
speed 微調整前後の合成検証セットのパフォーマンス
NDCG
0.505 arrow_forward 0.532 arrow_upward 5%
MAP
0.352 arrow_forward 0.389 arrow_upward 10%
MRR
0.352 arrow_forward 0.389 arrow_upward 10%
speed 微調整前後の、保持されたテストセットのパフォーマンス
check
tollefj/norwegian-nli-triplets からの 50 個のランダムサンプルでテストされました
NDCG
0.852 arrow_forward 0.867 arrow_upward 2%
MAP
0.800 arrow_forward 0.820 arrow_upward 2%
MRR
0.800 arrow_forward 0.820 arrow_upward 2%
data_usage 合成データの生成
合計
4648
トレーニング
4480
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en平均的な改善
arrow_upward 6%
description ドメインディレクティブ
speed 微調整前後の合成検証セットのパフォーマンス
NDCG
0.672 arrow_forward 0.755 arrow_upward 12%
MAP
0.567 arrow_forward 0.675 arrow_upward 19%
MRR
0.567 arrow_forward 0.675 arrow_upward 19%
speed 微調整前後の、保持されたテストセットのパフォーマンス
check
mteb/askubuntudupquestions-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.698 arrow_forward 0.722 arrow_upward 3%
MAP
0.515 arrow_forward 0.549 arrow_upward 6%
MRR
0.666 arrow_forward 0.712 arrow_upward 7%
data_usage 合成データの生成
合計
616
トレーニング
448
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en平均的な改善
arrow_upward 9%
description ドメインディレクティブ
speed 微調整前後の合成検証セットのパフォーマンス
NDCG
0.727 arrow_forward 0.861 arrow_upward 18%
MAP
0.640 arrow_forward 0.814 arrow_upward 27%
MRR
0.640 arrow_forward 0.814 arrow_upward 27%
speed 微調整前後の、保持されたテストセットのパフォーマンス
check
mteb/scidocs-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.773 arrow_forward 0.822 arrow_upward 6%
MAP
0.575 arrow_forward 0.651 arrow_upward 13%
MRR
0.823 arrow_forward 0.884 arrow_upward 7%
data_usage 合成データの生成
合計
616
トレーニング
448
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-zh平均的な改善
arrow_upward 1%
description ドメインディレクティブ
speed 微調整前後の合成検証セットのパフォーマンス
NDCG
0.718 arrow_forward 0.785 arrow_upward 9%
MAP
0.629 arrow_forward 0.717 arrow_upward 14%
MRR
0.629 arrow_forward 0.717 arrow_upward 14%
speed 微調整前後の、保持されたテストセットのパフォーマンス
check
C-MTEB/CMedQAv2-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.938 arrow_forward 0.948 arrow_upward 1%
MAP
0.912 arrow_forward 0.926 arrow_upward 2%
MRR
0.920 arrow_forward 0.933 arrow_upward 1%
data_usage 合成データの生成
合計
616
トレーニング
448
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en平均的な改善
arrow_upward 6%
description ドメインディレクティブ
speed 微調整前後の合成検証セットのパフォーマンス
NDCG
0.543 arrow_forward 0.579 arrow_upward 7%
MAP
0.402 arrow_forward 0.452 arrow_upward 12%
MRR
0.402 arrow_forward 0.452 arrow_upward 12%
speed 微調整前後の、保持されたテストセットのパフォーマンス
check
nc33/triplet_sbert_law2 (machine-translated to dutch) からの 50 個のランダムサンプルでテストされました
NDCG
0.904 arrow_forward 0.948 arrow_upward 5%
MAP
0.870 arrow_forward 0.930 arrow_upward 7%
MRR
0.870 arrow_forward 0.930 arrow_upward 7%
data_usage 合成データの生成
合計
9128
トレーニング
8960
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-code平均的な改善
arrow_downward -4%
description ドメインディレクティブ
speed 微調整前後の合成検証セットのパフォーマンス
NDCG
0.671 arrow_forward 0.640 arrow_downward -5%
MAP
0.569 arrow_forward 0.525 arrow_downward -8%
MRR
0.569 arrow_forward 0.525 arrow_downward -8%
speed 微調整前後の、保持されたテストセットのパフォーマンス
check
mteb/stackoverflowdupquestions-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.640 arrow_forward 0.621 arrow_downward -3%
MAP
0.530 arrow_forward 0.505 arrow_downward -5%
MRR
0.555 arrow_forward 0.532 arrow_downward -4%
data_usage 合成データの生成
合計
616
トレーニング
448
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-code平均的な改善
arrow_downward -4%
description ドメインディレクティブ
speed 微調整前後の合成検証セットのパフォーマンス
NDCG
0.632 arrow_forward 0.711 arrow_upward 13%
MAP
0.517 arrow_forward 0.622 arrow_upward 20%
MRR
0.517 arrow_forward 0.622 arrow_upward 20%
speed 微調整前後の、保持されたテストセットのパフォーマンス
check
mteb/stackoverflowdupquestions-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.640 arrow_forward 0.619 arrow_downward -3%
MAP
0.530 arrow_forward 0.504 arrow_downward -5%
MRR
0.555 arrow_forward 0.525 arrow_downward -5%
data_usage 合成データの生成
合計
616
トレーニング
448
検証
168
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en平均的な改善
arrow_upward 1%
description ドメインディレクティブ
speed 微調整前後の合成検証セットのパフォーマンス
NDCG
0.646 arrow_forward 0.729 arrow_upward 13%
MAP
0.535 arrow_forward 0.644 arrow_upward 20%
MRR
0.535 arrow_forward 0.644 arrow_upward 20%
speed 微調整前後の、保持されたテストセットのパフォーマンス
check
mteb/askubuntudupquestions-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.645 arrow_forward 0.650 arrow_upward 1%
MAP
0.452 arrow_forward 0.462 arrow_upward 2%
MRR
0.606 arrow_forward 0.605 arrow_downward -0%
data_usage 合成データの生成
合計
616
トレーニング
448
検証
168
自動ファインチューニング API
お望みのあらゆるドメイン向けにファインチューニングされた埋め込みを入手できます。
globe_book
r.jina.ai を使用して URL を読み取り、その内容を取得します。travel_explore
s.jina.ai でウェブを検索し、SERP を取得しますLLM から当社の API にアクセスするには、MCP サーバーとして
mcp.jina.ai を追加してくださいコンテンツ形式
Return-Format
過剰なフィルタリングを防ぐために、応答の詳細レベルを制御できます。デフォルトのパイプラインは、ほとんどのサイトと大規模なモデル入力に対して最適化されています。
デフォルト
arrow_drop_down
JSON応答
Accept
応答は JSON 形式で、URL、タイトル、コンテンツ、およびタイムスタンプ (利用可能な場合) が含まれます。検索モードでは、記述された JSON 構造にそれぞれ従う 5 つのエントリのリストが返されます。
タイムアウト(秒)
X-Timeout
ページの読み込みに要する最大待機時間です。ページの読み込みが遅い場合はこの値を増やし、シンプルで静的なページの場合はこの値を下げてください。
トークンの予算
X-Token-Budget
このリクエストで使用されるトークンの最大数を制限します。この制限を超えると、リクエストは失敗します。
jina-ocr-v1 を使用
X-Respond-With
jina-ocr-v1 を使用して画像を Markdown に変換し、複雑な構造とコンテンツを持つ Web サイトやドキュメントに高品質な結果を提供します。トークン消費量は 40 倍です!open_in_newもっと詳しく知る
ページネーション
X-Page
処理するページ。複数ページ構成のドキュメントでは指定したページに絞り込まれ、PDF のようなドキュメントの処理時のみ適用されます。
抽出のみ(CSSセレクター)
X-Target-Selector
これらのCSSセレクタに一致するコンテンツのみを抽出します。例:article、.main-content、#post-body
待機中(CSSセレクター)
X-Wait-For-Selector
これらの要素が出現した後にのみコンテンツを抽出します。これは、動的に読み込まれるコンテンツに非常に便利です。
除外(CSSセレクター)
X-Remove-Selector
抽出前にこれらの要素を削除します。例:nav、footer、.sidebar、#ads
すべての写真を削除
X-Retain-Images
出力からすべての画像を削除します。これにより、画像が不要な場合のトークンの使用量を削減できます。
OpenAI引用フォーマット
X-Retain-Links
OpenAI の Web ブラウジングツール向けにリンクをフォーマットします。GPT モデルと互換性のある特別な引用マーカーを使用します。open_in_newもっと詳しく知る
リンク概要セクション
X-With-Links-Summary
最後に、「ボタンとリンク」セクションを作成します。これは、下流の LLM や Web エージェントがページ内を移動したり、さらなるアクションを実行したりするのに役立ちます。
なし
arrow_drop_down
画像概要セクション
X-With-Images-Summary
最後に、「写真」セクションが作成されます。これにより、下流の LLM はページ上のすべてのビジュアルを概観できるようになり、推論機能が向上します。
なし
arrow_drop_down
Cookie を転送
X-Set-Cookie
弊社の API サーバーは、URL にアクセスするときにカスタム Cookie 設定を転送できます。これは、追加の認証が必要なページに役立ちます。Cookie を含むリクエストはキャッシュされないことに注意してください。open_in_newもっと詳しく知る
画像キャプション
X-With-Generated-Alt
指定された URL にあるすべての画像にキャプションを追加し、キャプションのない画像には alt タグとして「Image [idx]: [caption]」を追加します。これにより、下流の LLM が推論や要約などのタスクで画像を利用できるようになります。
プロキシサーバーを使用する
X-Proxy-Url
API サーバーはプロキシを利用して URL にアクセスできます。これは、特定のプロキシ経由でのみアクセスできるページに役立ちます。open_in_newもっと詳しく知る
国別のプロキシサーバーを使用する
X-Proxy
ロケーションベースのプロキシサーバーの国コードを設定します。最適な選択には「自動」を使用し、無効にするには「なし」を使用します。
キャッシュのバイパス
X-No-Cache
当社の API サーバーは、読み取りモードと検索モードのコンテンツを一定期間キャッシュします。このキャッシュをバイパスするには、このヘッダーを true に設定します。
キャッシュ許容値(秒)
X-Cache-Tolerance
キャッシュされたコンテンツがN秒以内に公開された場合、キャッシュされたコンテンツが受け入れられます。0に設定すると最新のコンテンツが受け入れられます(「キャッシュをバイパスする」のと同じ)。一方、値を大きくすると、キャッシュからのレスポンスの取得速度が向上します。
ページ準備時間
X-Respond-Timing
ページが完全に読み込まれたとみなされるのはいつですか?後のタイミング方法では待機時間が長くなりますが、より動的なコンテンツをキャプチャします。
デフォルト
arrow_drop_down
カスタムユーザーエージェント
X-User-Agent
ブラウザのユーザーエージェント文字列を上書きします。これは、特定のブラウザを必要とするウェブサイトや、ウェブクローラーをブロックするウェブサイトにアクセスする場合に非常に便利です。
カスタム Referer
X-Referer
HTTP Referer ヘッダーを設定します。一部のウェブサイトでは、トラフィックが想定されたソースから来ているかどうかを確認するためにこのヘッダーをチェックします。
Base64画像を保存
X-Keep-Img-Data-Url
インライン base64 でエンコードされた画像を外部 URL に変換する代わりに、Markdown 出力に保持します。
キャッシュや追跡を行わない
DNT
このリクエストが当社のサーバーでキャッシュまたは記録されないようにします。機密性の高い URL にご利用ください。
GitHub スタイルのマークダウン
X-No-Gfm
GFM (GitHub Flavored Markdown) 機能のオプトイン/アウト。
有効
arrow_drop_down
ストリーミングモード
Accept
ストリーミングモードは、対象ページが大きい場合に有効で、ページが完全にレンダリングされるまでより長く待機できます。標準モードでコンテンツが不完全になる場合は、ストリーミングモードの使用をご検討ください。open_in_newもっと詳しく知る
ブラウザのロケールをカスタマイズする
X-Locale
ページをレンダリングするためのブラウザーのロケール設定を制御します。多くの Web サイトは、ロケール設定に基づいて異なるコンテンツを提供します。open_in_newもっと詳しく知る
Robots.txtを尊重する
X-Robots-Txt
取得前に robots.txt のルールを確認します。チェックに使用するボット名を指定してください。
iframeコンテンツを含む
X-With-Iframe
埋め込まれた iframe からコンテンツを抽出します。iframe 内にコンテンツが読み込まれるページで有効にしてください。
Shadow DOMを含む
X-With-Shadow-Dom
Shadow DOMコンポーネントからコンテンツを抽出します。Webコンポーネントを使用するページに適しています。
最終 URL をベースとして使用する
X-Base
相対 URL を解決するには、元の URL ではなく、リダイレクト後の最終的なターゲット URL を使用します。
ローカル PDF/HTML ファイル
POST
ローカルの PDF および HTML ファイルをアップロードして Reader で読み取ります。pdf と html ファイルのみサポートされます。HTML の場合は、関連する CSS/JS スクリプトをより適切に解析するために参照 URL も指定してください。
upload
抽出前にJavaScriptを実行する
POST
コンテンツを抽出する前に、カスタムJavaScriptコードを実行してページを変更します。これは、インラインコードまたはスクリプトファイルを指すURLのいずれかです。open_in_newもっと詳しく知る
見出しスタイル
X-Md-Heading-Style
マークダウンのタイトル形式を設定します (Turndown に渡されます)。
ハッシュスタイル
arrow_drop_down
水平線スタイル
X-Md-Hr
マークダウンの水平罫線形式を定義します (Turndown に渡されます)。
箇条書きスタイル
X-Md-Bullet-List-Marker
箇条書きリストのマーク文字を設定します (Turndown に渡されます)。
*
arrow_drop_down
強調スタイル
X-Md-Em-Delimiter
マークダウン強調区切り文字を定義します (Turndown に渡されます)。
_
arrow_drop_down
強い強調のスタイル
X-Md-Strong-Delimiter
マークダウンの強い強調区切り文字を設定します (Turndown に渡されます)。
**
arrow_drop_down
リンクスタイル
X-Md-Link-Style
マークダウンリンク形式を決定します (Turndown に渡されます)。
インライン
arrow_drop_down
EU データレジデンシー
実験的
有効にすると、このリクエストのインフラとデータ処理は EU 内に配置されます。
curl "https://r.jina.ai/https://www.example.com"key
APIキー
visibility_off
利用可能なトークン
0
code
JinaのすべてのAPIで同じAPIキーを使用できますか?
keyboard_arrow_down
code
API キーのトークンの使用状況を表示できますか?
keyboard_arrow_down
code
API キーを忘れた場合はどうすればよいですか?
keyboard_arrow_down
code
API キーには有効期限がありますか?
keyboard_arrow_down
code
API キー間でトークン残高を転送できますか?
keyboard_arrow_down
code
API キーを破棄してもいいですか?
keyboard_arrow_down
code
一部のモデルの初回リクエストに時間がかかるのはなぜですか?
keyboard_arrow_down
code
私の API データはモデルのトレーニングに使用されましたか?
keyboard_arrow_down
code
Jina API のレート制限は何ですか?
keyboard_arrow_down
code
API にはバッチサイズの制限がありますか?
keyboard_arrow_down
code
ElasticsearchのJina APIは、Jinaモデルと同じですか?
keyboard_arrow_down
レート制限
レート制限は 2 つの方法で追跡されます:RPM (1 分あたりのリクエスト数) および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。
列
arrow_drop_down
| 製品 | API エンドポイント | 説明arrow_upward | API キーなしkey_off | 無料 API キーありkey | 有料 API キーありkey | プレミアム API キーありkey | 平均レイテンシ | トークン使用量のカウント方法 | 許可されるリクエスト | |
|---|---|---|---|---|---|---|---|---|---|---|
| Reader API | https://r.jina.ai | URL を LLM に適したテキストに変換する | 20 RPM | 500 RPM | 500 RPM | trending_up5000 RPM | 7.9s | 出力応答内のトークンの数に基づきます。 | GET/POST | |
| Reader API | https://s.jina.ai | Web を検索し、結果を LLM に適したテキストに変換する | block | 100 RPM | 100 RPM | trending_up1000 RPM | 2.5s | 各リクエストには、10,000 トークンから始まる固定数のトークンが必要です。 | GET/POST | |
| Reranker API | https://api.jina.ai/v1/rerank | クエリに基づいてドキュメントをランク付けする | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 入力サイズに依存 help | 入力リクエスト内のトークンの数に基づきます。 | POST | |
| ベクトルモデルAPI | https://api.jina.ai/v1/embeddings | テキスト/画像を固定長ベクトルに変換する | block | 100 RPM & 100,000 TPM | 500 RPM & 2,000,000 TPM | trending_up5,000 RPM & 50,000,000 TPM | ssid_chart 入力サイズに依存 help | 入力リクエスト内のトークンの数に基づきます。 | POST |
請求に関するよくある質問
attach_money
API の料金は文の数またはリクエストの数に基づいて課金されますか?
keyboard_arrow_down
attach_money
新規ユーザーは無料トライアルを利用できますか?
keyboard_arrow_down
attach_money
失敗したリクエストに対してトークンは差し引かれますか?
keyboard_arrow_down
attach_money
どのような支払い方法が利用できますか?
keyboard_arrow_down
attach_money
トークンの購入について請求書は発行されますか?
keyboard_arrow_down
attach_money
APIトークンではなく、商用ライセンスを購入するにはどうすればよいですか?
keyboard_arrow_down
attach_money
クレジットカードではなく、請求書または発注書で支払うことはできますか?
keyboard_arrow_down
attach_money
支払いは済ませましたが、残高やレート制限が変わっていません。何をチェックすれば良いでしょうか?
keyboard_arrow_down
attach_money
キャンセル、自動チャージの停止、または保存済みの支払い方法の削除方法を教えてください。
keyboard_arrow_down