Grounding ist für GenAI-Anwendungen absolut essentiell.
Sie haben seit 2023 wahrscheinlich viele Tools, Prompts und RAG-Pipelines gesehen, die die Faktentreue von LLMs verbessern sollen. Warum? Weil die größte Hürde, die Unternehmen davon abhält, LLMs für Millionen von Nutzern einzusetzen, das Vertrauen ist: Ist die Antwort echt oder nur eine Halluzination des Modells? Dies ist ein branchenweites Problem, und Jina AI arbeitet intensiv an seiner Lösung. Mit der neuen Such-Grounding-Funktion von Jina Reader können Sie heute einfach https://s.jina.ai/YOUR_SEARCH_QUERY verwenden, um nach aktuellem Weltwissen im Web zu suchen. Damit sind Sie der Verbesserung der Faktentreue von LLMs einen Schritt näher und machen ihre Antworten vertrauenswürdiger und hilfreicher.
API, Demo finden Sie auf der Produktseite
tagDas Faktualitätsproblem von LLMs
Wir wissen alle, dass LLMs Dinge erfinden und das Vertrauen der Nutzer schädigen können. LLMs können Dinge sagen, die nicht den Tatsachen entsprechen (sogenannte Halluzinationen), besonders bei Themen, die sie während des Trainings nicht gelernt haben. Dies kann entweder neue Informationen betreffen, die seit dem Training entstanden sind, oder Nischenwissen, das während des Trainings „marginalisiert" wurde.
Folglich wird das Modell bei Fragen wie „Wie ist das Wetter heute?" oder „Wer hat dieses Jahr den Oscar für die beste Schauspielerin gewonnen?" entweder mit „Ich weiß es nicht" antworten oder veraltete Informationen liefern.
GPT-3.5-turbo fragten „Wann wurde Jina AI gegründet?" und eine falsche Antwort erhielten. Mit Reader für Such-Grounding konnte dasselbe LLM jedoch die richtige Antwort geben. Tatsächlich war es bis auf den genauen Tag präzise.
GPT-3.5-turbo „Wann wird der nächste SpaceX-Start sein?" (heute ist der 14. Mai 2024) und das Modell antwortete mit alten Informationen aus dem Jahr 2021.tagWie Jina Reader besseres Grounding ermöglicht
Bisher konnten Benutzer einfach https://r.jina.ai voranstellen, um Text- und Bildinhalte von einer bestimmten URL in ein LLM-freundliches Format zu lesen und für Check-Grounding und Faktenüberprüfung zu verwenden. Seit der ersten Veröffentlichung am 15. April haben wir weltweit über 18 Millionen Anfragen bearbeitet, was seine Popularität belegt.
Heute freuen wir uns, mit der Such-Grounding-API https://s.jina.ai einen Schritt weiterzugehen. Indem Sie sie einfach vor Ihre Anfrage stellen, durchsucht Reader das Web und liefert die Top 5 Ergebnisse. Jedes Ergebnis enthält einen Titel, LLM-freundliches Markdown (vollständiger Inhalt! kein Abstract) und eine URL, die die Quellenangabe ermöglicht. Hier ist ein Beispiel, Sie können auch gerne unsere Live-Demo hier ausprobieren.
Links: Markdown-Modus (direkt besuchen https://s.jina.ai/who+is+han+xiao); Rechts JSON-Modus (mit curl https://s.jina.ai/who+is+han+xiao -H 'accept: application/json'). Übrigens dient eine Ego-Frage wie diese immer als guter Testfall.
Bei der Entwicklung des Such-Groundings im Reader gab es drei Prinzipien:
- Verbesserung der Faktentreue;
- Zugriff auf aktuelle Informationen, d.h. Weltwissen;
- Verknüpfung einer Antwort mit ihrer Quelle.
Neben der extrem einfachen Verwendung ist s.jina.ai auch hochgradig skalierbar und anpassbar, da es die bestehende flexible und skalierbare Infrastruktur von r.jina.ai nutzt. Sie können Parameter zur Steuerung der Bildbeschreibung, Filtergranularität etc. über die Request-Header festlegen.
tagJina Reader als umfassende Grounding-Lösung
Wenn wir Such-Grounding (s.jina.ai) und Check-Grounding (r.jina.ai) kombinieren, können wir eine sehr umfassende Grounding-Lösung für LLMs, Agents und RAG-Systeme aufbauen. In einem typischen vertrauenswürdigen RAG-Workflow funktioniert Jina Reader wie folgt:
- Der Benutzer gibt eine Frage ein;
- Abrufen der neuesten Informationen aus dem Web mit
s.jina.ai; - Generieren einer ersten Antwort mit Quellenangabe zum Suchergebnis aus dem letzten Schritt;
- Verwenden von
r.jina.ai, um die Antwort mit Ihrer eigenen URL zu untermauern; oder lesen Sie die inline URLs aus der Quelle, die von Schritt 3 zurückgegeben wird, um eine tiefere Grundierung zu erhalten; - Finale Antwortgenerierung und Hervorhebung potenziell nicht untermauerter Behauptungen für den Benutzer.
tagHöhere Rate-Limits mit API-Keys
Benutzer können den neuen Search Grounding-Endpunkt kostenlos ohne Autorisierung nutzen. Wenn Sie zudem einen Jina AI API-Key im Request-Header angeben (derselbe Schlüssel kann in der Embedding/Reranking API verwendet werden), können Sie sofort 200 Anfragen pro Minute pro IP für r.jina.ai und 40 Anfragen pro Minute pro IP für s.jina.ai nutzen. Die Details finden Sie in der folgenden Tabelle:
| Endpoint | Beschreibung | Rate-Limit ohne API-Key | Rate-Limit mit API-Key | Token-Zählschema | Durchschnittliche Latenz |
|---|---|---|---|---|---|
r.jina.ai | Liest eine URL und gibt deren Inhalt zurück, nützlich zur Überprüfung der Grundierung | 20 RPM | 200 RPM | Basierend auf den Output-Tokens | 3 Sekunden |
s.jina.ai | Sucht im Web und gibt Top-5 Ergebnisse zurück, nützlich für Search Grounding | 5 RPM | 40 RPM | Basierend auf den Output-Tokens für alle 5 Suchergebnisse | 30 Sekunden |
tagFazit
Wir glauben, dass Grounding für GenAI-Anwendungen essenziell ist und das Erstellen von grundierten Lösungen für jeden einfach sein sollte. Deshalb haben wir den neuen Search Grounding-Endpunkt, s.jina.ai, eingeführt, der es Entwicklern ermöglicht, Weltwissen einfach in ihre GenAI-Anwendungen zu integrieren. Wir möchten, dass Entwickler Benutzervertrauen aufbauen, erklärbare Antworten liefern und Millionen von Nutzern inspirieren.
