对 GenAI 应用来说，Grounding 是绝对必要的。
自 2023 年以来，您可能已经看到许多工具、提示和 RAG 流水线，都是为了提高 LLMs 的事实准确性而设计的。为什么？因为阻止企业向数百万用户部署 LLMs 的主要障碍是信任：这个回答是真实的，还是模型的幻觉？这是一个行业性的问题，Jina AI 一直在努力解决。今天，通过 Jina Reader 的新搜索 grounding 功能，您只需使用 https://s.jina.ai/YOUR_SEARCH_QUERY 就可以搜索来自网络的最新世界知识。有了这个功能，您就能更好地提高 LLMs 的事实准确性，使它们的回答更加可信和有用。
API，可在产品页面找到演示
tagLLMs 的事实准确性问题
我们都知道 LLMs 可能会编造内容并损害用户信任。LLMs 可能会说出不真实的事情（即产生幻觉），特别是在涉及训练期间未学习到的主题时。这可能是训练后产生的新信息，或者是在训练过程中被"边缘化"的小众知识。
因此，当涉及到"今天天气如何？"或"今年奥斯卡最佳女演员是谁？"这样的问题时，模型要么回答"我不知道"，要么给出过时的信息。
GPT-3.5-turbo "Jina AI 是何时成立的？"时看到，它给出了错误的答案。然而，当使用 Reader 进行搜索 grounding 时，同样的 LLM 能够提供正确的答案。事实上，它精确到了具体日期。
GPT-3.5-turbo "下一次 SpaceX 发射是什么时候？"（今天是 2024 年 5 月 14 日），模型给出了 2021 年的旧信息。tagJina Reader 如何帮助更好的 Grounding
此前，用户可以轻松地在 URL 前加上 https://r.jina.ai 来将特定 URL 的文本和图像内容读取成 LLM 友好的格式，并用于检查 grounding 和事实验证。自 4 月 15 日首次发布以来，我们已处理了超过 1800 万个来自全球的请求，这表明了其受欢迎程度。
今天我们很高兴通过引入搜索 grounding API https://s.jina.ai 进一步推进。只需在查询前加上它，Reader 就会搜索网页并检索前 5 个结果。每个结果都包含标题、LLM 友好的 markdown（完整内容！不是摘要）和URL，让你能够追溯信息来源。以下是一个例子，你也可以试试我们的在线演示。
左：Markdown 模式（直接访问 https://s.jina.ai/who+is+han+xiao）；右：JSON 模式（使用 curl https://s.jina.ai/who+is+han+xiao -H 'accept: application/json'）。顺便说一句，这样的自我问题总是一个很好的测试案例。
在设计 Reader 的搜索 grounding 时，我们遵循三个原则：
- 提高事实准确性；
- 获取最新信息，即世界知识；
- 将答案与其来源关联。
除了使用极其简单外，s.jina.ai 还具有高度的可扩展性和可定制性，因为它利用了现有的灵活且可扩展的 r.jina.ai 基础设施。您可以通过请求头设置参数来控制图像描述、过滤粒度等。
tag作为全面 Grounding 解决方案的 Jina Reader
如果我们结合搜索 grounding（s.jina.ai）和检查 grounding（r.jina.ai），我们可以为 LLMs、agents 和 RAG 系统构建一个非常全面的 grounding 解决方案。在一个典型的可信 RAG 工作流程中，Jina Reader 的工作方式如下：
- 用户输入问题；
- 使用
s.jina.ai从网络检索最新信息； - 根据上一步的搜索结果生成初始答案并附带引用；
- 使用
r.jina.ai对你自己的 URL 进行答案验证；或者从步骤 3 返回的来源中阅读内联 URL 以获得更深入的验证； - 生成最终答案，并向用户突出显示潜在的未验证声明。
tag使用 API 密钥提高速率限制
用户无需授权即可免费使用新的搜索验证端点。此外，当在请求头中提供 Jina AI API 密钥（可以使用与 Embedding/Reranking API 相同的密钥）时，您可以立即享受到 r.jina.ai 每个 IP 每分钟 200 个请求，以及 s.jina.ai 每个 IP 每分钟 40 个请求的限制。详细信息可以在下表中找到：
| 端点 | 描述 | 无 API 密钥的速率限制 | 有 API 密钥的速率限制 | 令牌计数方案 | 平均延迟 |
|---|---|---|---|---|---|
r.jina.ai | 读取 URL 返回其内容，适用于验证检查 | 20 RPM | 200 RPM | 基于输出令牌 | 3 秒 |
s.jina.ai | 在网上搜索返回前 5 个结果，适用于搜索验证 | 5 RPM | 40 RPM | 基于所有 5 个搜索结果的输出令牌 | 30 秒 |
tag结论
我们认为事实验证对于 GenAI 应用来说至关重要，构建有验证依据的解决方案应该对每个人来说都很容易。这就是为什么我们推出了新的搜索验证端点 s.jina.ai，它使开发人员能够轻松地将世界知识整合到他们的 GenAI 应用中。我们希望开发人员能够建立用户信任，提供可解释的答案，并激发数百万用户的好奇心。
