自動ファインチューニング

埋め込みをどのドメインで優れたものにしたいかを教えていただくだけで、そのドメイン向けにすぐ使えるファインチューニング済みの埋め込みモデルを自動的にお届けします。

Auto Fine-Tuning とは何ですか?

要件を指定するには、一般的な説明、URL、またはクエリドキュメントの説明の 3 つの方法があります。一つ選んでください。
基底ベクトルモデルの選択
ファインチューニングにより、事前トレーニング済みのモデルを新しいデータセットでトレーニングして、特定のタスクやドメインに適応させることができます。実際には、多くのユーザーにとって効果的なトレーニングデータを見つけるのは簡単ではありません。効果的なトレーニングには、生の PDF や HTML をモデルに投げ込む以上のことが必要で、正しく行うのは困難です。Auto Fine-Tuning は、高度な LLM エージェントパイプラインを使って効果的なトレーニングデータを自動生成し、ML ワークフローの中でモデルをファインチューニングすることで、この問題を解決します。合成データ生成と AutoML の組み合わせと考えることができ、ターゲットドメインを自然言語で記述するだけで、あとはシステムにお任せいただけます。
Auto Fine-Tuning は、お望みのあらゆるドメイン向けにファインチューニングされた埋め込みを提供するという、魔法のような約束を掲げています。しかし、本当に機能するのでしょうか?これはもっともな疑問です。私たちはさまざまなドメインとベースモデルでテストして確かめました。以下の、うまくいった例 (cherry-picked) とうまくいかなかった例 (lemon-picked) の結果をご覧ください。
ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en
平均的な改善
2%

ドメインディレクティブ
微調整前後の合成検証セットのパフォーマンス
NDCG
0.505 0.532 5%
MAP
0.352 0.389 10%
MRR
0.352 0.389 10%
微調整前後の、保持されたテストセットのパフォーマンス
tollefj/norwegian-nli-triplets からの 50 個のランダムサンプルでテストされました
NDCG
0.852 0.867 2%
MAP
0.800 0.820 2%
MRR
0.800 0.820 2%
合成データの生成
合計
4648
トレーニング
4480
検証
168

ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en
平均的な改善
6%

ドメインディレクティブ
微調整前後の合成検証セットのパフォーマンス
NDCG
0.672 0.755 12%
MAP
0.567 0.675 19%
MRR
0.567 0.675 19%
微調整前後の、保持されたテストセットのパフォーマンス
mteb/askubuntudupquestions-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.698 0.722 3%
MAP
0.515 0.549 6%
MRR
0.666 0.712 7%
合成データの生成
合計
616
トレーニング
448
検証
168

ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en
平均的な改善
9%

ドメインディレクティブ
微調整前後の合成検証セットのパフォーマンス
NDCG
0.727 0.861 18%
MAP
0.640 0.814 27%
MRR
0.640 0.814 27%
微調整前後の、保持されたテストセットのパフォーマンス
mteb/scidocs-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.773 0.822 6%
MAP
0.575 0.651 13%
MRR
0.823 0.884 7%
合成データの生成
合計
616
トレーニング
448
検証
168

ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-zh
平均的な改善
1%

ドメインディレクティブ
微調整前後の合成検証セットのパフォーマンス
NDCG
0.718 0.785 9%
MAP
0.629 0.717 14%
MRR
0.629 0.717 14%
微調整前後の、保持されたテストセットのパフォーマンス
C-MTEB/CMedQAv2-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.938 0.948 1%
MAP
0.912 0.926 2%
MRR
0.920 0.933 1%
合成データの生成
合計
616
トレーニング
448
検証
168

ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en
平均的な改善
6%

ドメインディレクティブ
微調整前後の合成検証セットのパフォーマンス
NDCG
0.543 0.579 7%
MAP
0.402 0.452 12%
MRR
0.402 0.452 12%
微調整前後の、保持されたテストセットのパフォーマンス
nc33/triplet_sbert_law2 (machine-translated to dutch) からの 50 個のランダムサンプルでテストされました
NDCG
0.904 0.948 5%
MAP
0.870 0.930 7%
MRR
0.870 0.930 7%
合成データの生成
合計
9128
トレーニング
8960
検証
168

ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-code
平均的な改善
-4%

ドメインディレクティブ
微調整前後の合成検証セットのパフォーマンス
NDCG
0.671 0.640 -5%
MAP
0.569 0.525 -8%
MRR
0.569 0.525 -8%
微調整前後の、保持されたテストセットのパフォーマンス
mteb/stackoverflowdupquestions-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.640 0.621 -3%
MAP
0.530 0.505 -5%
MRR
0.555 0.532 -4%
合成データの生成
合計
616
トレーニング
448
検証
168

ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-code
平均的な改善
-4%

ドメインディレクティブ
微調整前後の合成検証セットのパフォーマンス
NDCG
0.632 0.711 13%
MAP
0.517 0.622 20%
MRR
0.517 0.622 20%
微調整前後の、保持されたテストセットのパフォーマンス
mteb/stackoverflowdupquestions-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.640 0.619 -3%
MAP
0.530 0.504 -5%
MRR
0.555 0.525 -5%
合成データの生成
合計
616
トレーニング
448
検証
168

ファインチューニング用のベースモデル
jinaai/jina-embeddings-v2-base-en
平均的な改善
1%

ドメインディレクティブ
微調整前後の合成検証セットのパフォーマンス
NDCG
0.646 0.729 13%
MAP
0.535 0.644 20%
MRR
0.535 0.644 20%
微調整前後の、保持されたテストセットのパフォーマンス
mteb/askubuntudupquestions-reranking からの 50 個のランダムサンプルでテストされました
NDCG
0.645 0.650 1%
MAP
0.452 0.462 2%
MRR
0.606 0.605 -0%
合成データの生成
合計
616
トレーニング
448
検証
168

自動ファインチューニング API

お望みのあらゆるドメイン向けにファインチューニングされた埋め込みを入手できます。


r.jina.ai を使用して URL を読み取り、その内容を取得します。
s.jina.ai でウェブを検索し、SERP を取得します
LLM から当社の API にアクセスするには、MCP サーバーとして mcp.jina.ai を追加してください


リクエスト
GET
curl "https://r.jina.ai/https://www.example.com"


レート制限
レート制限は 2 つの方法で追跡されます:RPM (1 分あたりのリクエスト数) および TPM (1 分あたりのトークン数)。制限は IP/API キーごとに適用され、RPM または TPM のしきい値のいずれかに先に達した時点でトリガーされます。リクエストヘッダーに API キーを指定すると、IP アドレスではなくキー単位でレート制限が追跡されます。
製品API エンドポイント説明API キーなし無料 API キーあり有料 API キーありプレミアム API キーあり平均レイテンシトークン使用量のカウント方法許可されるリクエスト
Reader APIhttps://r.jina.aiURL を LLM に適したテキストに変換する20 RPM500 RPM500 RPM5000 RPM7.9s出力応答内のトークンの数に基づきます。GET/POST
Reader APIhttps://s.jina.aiWeb を検索し、結果を LLM に適したテキストに変換する100 RPM100 RPM1000 RPM2.5s各リクエストには、10,000 トークンから始まる固定数のトークンが必要です。GET/POST
Reranker APIhttps://api.jina.ai/v1/rerankクエリに基づいてドキュメントをランク付けする100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
入力サイズに依存
入力リクエスト内のトークンの数に基づきます。POST
ベクトルモデルAPIhttps://api.jina.ai/v1/embeddingsテキスト/画像を固定長ベクトルに変換する100 RPM & 100,000 TPM500 RPM & 2,000,000 TPM5,000 RPM & 50,000,000 TPM
入力サイズに依存
入力リクエスト内のトークンの数に基づきます。POST
請求に関するよくある質問