Grounding は GenAI アプリケーションにとって絶対に不可欠です。
2023年以来、LLM の事実性を向上させるための多くのツール、プロンプト、RAG パイプラインを目にしてきたことでしょう。なぜでしょうか？それは、企業が LLM を何百万人ものユーザーに展開する際の主な障壁が信頼性だからです：その回答は本物なのか、それともモデルの単なる幻覚なのか？これは業界全体の課題であり、Jina AI はその解決に懸命に取り組んできました。今日、新しい Jina Reader の検索 grounding 機能により、単に https://s.jina.ai/YOUR_SEARCH_QUERY を使用するだけで、Web から最新の世界知識を検索できます。これにより、LLM の事実性を向上させ、その応答をより信頼性が高く有用なものにする一歩を踏み出すことができます。
API、デモはプロダクトページでご覧いただけます
tagLLM の事実性の問題
LLM が物事を作り出してユーザーの信頼を損なう可能性があることは、私たち全員が知っています。LLM は事実ではないことを言う（幻覚とも呼ばれる）可能性があり、特に学習時に学んでいない話題についてはその傾向が強くなります。これは、学習後に作成された新しい情報か、学習中に「周縁化」された特殊な知識のいずれかである可能性があります。
その結果、「今日の天気は？」や「今年のアカデミー賞主演女優賞は誰が受賞したの？」といった質問に対して、モデルは「わかりません」と答えるか、古い情報を提供することになります。
GPT-3.5-turboに「Jina AI はいつ設立されましたか？」と質問したところ、不正確な回答を得ました。しかし、Reader を使用して検索 grounding を行うと、同じ LLM が正確な回答を提供できました。実際、正確な日付まで特定することができました。
GPT-3.5-turboに「次の SpaceX の打ち上げはいつですか？」と質問しました（今日は2024年5月14日）。モデルは2021年の古い情報で回答しました。tagJina Reader がより良い Grounding を実現する方法
以前は、https://r.jina.ai を前に付けることで、特定の URL からテキストや画像コンテンツを LLM フレンドリーな形式で読み込み、チェック grounding や事実確認に使用することができました。4月15日の最初のリリース以来、世界中から1,800万件以上のリクエストを処理し、その人気を示しています。
本日、検索 grounding API https://s.jina.ai を導入し、さらなる進化を遂げることができました。クエリの前にこれを付けるだけで、Reader は Web を検索して上位5件の結果を取得します。各結果にはタイトル、LLM フレンドリーなマークダウン（要約ではなく全文！）、および情報源を特定できるURL が含まれています。以下に例を示します。また、ライブデモをこちらでお試しいただけます。
左：マークダウンモード（https://s.jina.ai/who+is+han+xiaoに直接アクセス）；右：JSON モード（curl https://s.jina.ai/who+is+han+xiao -H 'accept: application/json'を使用）。ところで、このような自己言及的な質問は常に良いテストケースとなります。
Reader の検索 grounding を設計する際には、3つの原則がありました：
- 事実性の向上；
- 最新情報（世界知識）へのアクセス；
- 回答とその情報源の紐付け。
s.jina.ai は非常に使いやすいだけでなく、r.jina.ai の既存の柔軟でスケーラブルなインフラストラクチャを活用することで、高度なスケーラビリティとカスタマイズ性も実現しています。リクエストヘッダーを通じて、画像キャプション、フィルターの粒度などのパラメータを設定できます。
tag総合的な Grounding ソリューションとしての Jina Reader
検索 grounding（s.jina.ai）とチェック grounding（r.jina.ai）を組み合わせることで、LLM、エージェント、RAG システムのための非常に包括的な grounding ソリューションを構築することができます。典型的な信頼性の高い RAG ワークフローでは、Jina Reader は次のように機能します：
- ユーザーが質問を入力；
s.jina.aiを使用して Web から最新情報を取得；- 前のステップの検索結果を引用して初期回答を生成；
r.jina.aiを使って自分の URL で回答の根拠を示すか、手順 3 で返されたソースからインライン URL を読み取ってより深い根拠付けを得ることができます。- 最終的な回答を生成し、根拠が不十分な可能性のある主張をユーザーに強調表示します。
tagAPI キーによる高いレート制限
ユーザーは認証なしで新しい検索根拠エンドポイントを無料で利用できます。さらに、リクエストヘッダーに Jina AI API キーを提供すると（Embedding/Reranking API で使用できるのと同じキー）、r.jina.ai では IP あたり毎分 200 リクエスト、s.jina.ai では IP あたり毎分 40 リクエストをすぐに利用できます。詳細は以下の表をご覧ください：
| エンドポイント | 説明 | API キーなしのレート制限 | API キーありのレート制限 | トークン計算方式 | 平均レイテンシー |
|---|---|---|---|---|---|
r.jina.ai | URL を読み取ってそのコンテンツを返す、根拠の確認に有用 | 20 RPM | 200 RPM | 出力トークンに基づく | 3 秒 |
s.jina.ai | ウェブ上で検索してトップ 5 の結果を返す、検索根拠に有用 | 5 RPM | 40 RPM | 5 つの検索結果すべての出力トークンに基づく | 30 秒 |
tag結論
私たちは根拠付けが GenAI アプリケーションにとって不可欠であり、根拠に基づいたソリューションの構築は誰にとっても容易であるべきだと考えています。そのため、新しい検索根拠エンドポイント s.jina.ai を導入し、開発者が簡単に世界の知識を GenAI アプリケーションに組み込めるようにしました。私たちは、開発者がユーザーの信頼を確立し、説明可能な回答を提供し、何百万ものユーザーの好奇心を刺激することを望んでいます。
