Hybrid RAG: Bedeutung und genaue Worte
Hybrid kombiniert semantische und lexikalische Suche.
Was Sie lernen werden
- Erklären Sie: Suche und Ranking sind verschiedene Phasen
- Wenden Sie die Idee in einem Beispiel an: Hybrid-RAG: Bedeutung und genaue Wörter
- Erkennen Sie Einschränkungen und überprüfen Sie das Übungsergebnis
Hybrid kombiniert semantische und lexikalische Suche. Es hilft bei Abfragen, die exakte Bezeichner und Beschreibungen in natürlicher Sprache mischen.
Diese Schritte beziehen sich auf im Anwendungscode identifizierte Funktionen. Dieses Material wurde nicht in einer Live-Instanz validiert; Überprüfen Sie die Dokumentation und die Optionen in Ihrer Version.
Wie es funktioniert, Schritt für Schritt
Suche und Ranking sind verschiedene Phasen
Beim Retrieval werden Kandidaten ausgewählt und nach einer Rangfolge sortiert. top_k ist die Anzahl der angeforderten Ergebnisse; Eine Erhöhung kann zu Beweisen, aber auch zu Lärm führen. Ein Reranker untersucht die Anfrage und die Kandidaten genauer. Es kann keine Passage wiederherstellen, die in der ursprünglichen Liste fehlt. BM25 sucht nach lexikalischen Übereinstimmungen und hilft bei exakten Codes; Die Vektorsuche sucht nach semantischer Ähnlichkeit. RRF kombiniert Positionen in Ranglisten, anstatt Punkte mit inkompatiblen Einheiten zu addieren. Zusätzliche Stufen müssen ihre Qualität, Latenz und Kosten durch Tests rechtfertigen.
Koordinaten für Bedeutung
Eine Einbettung ist ein numerischer Vektor, der von einem Modell berechnet wird. Texte mit verwandten Bedeutungen liegen im Raum dieses Modells tendenziell nahe beieinander, Ähnlichkeit garantiert jedoch keine Relevanz. Abfragen und Dokumente müssen einen kompatiblen Bereich teilen: passendes Modell und passende Abmessungen. Zur Veranschaulichung dient eine zweiachsige Karte; Reale Vektoren können Hunderte oder Tausende von Dimensionen haben. Erstellen Sie den Index neu und testen Sie ihn erneut, wenn Sie das Modell oder die Abmessungen ändern. Kosinusähnlichkeit vergleicht Vektorrichtungen; es ist nicht die Wahrscheinlichkeit, dass eine Antwort wahr ist.
Definieren Sie den Erfolg vor der Optimierung
Bereiten Sie repräsentative Anfragen und erwartete Antworten oder Eigenschaften vor. Berücksichtigen Sie normale Fälle, Unklarheiten, fehlende Daten und Toolfehler. Messen Sie für RAG die Beweisgewinnung getrennt von der Antwortkorrektheit. Recall@k misst den Anteil relevanter Beweise, die in den ersten k Ergebnissen gefunden wurden; precision@k misst den Anteil der zurückgegebenen Ergebnisse, die relevant sind. Verfolgen Sie für Agenten auch Aktionen, Berechtigungen und Stopps. Ein LLM als Richter kann die Bewertung beschleunigen, muss jedoch mit Menschen verglichen werden. Ändern Sie Eingabeaufforderung, Modell und Index nicht gleichzeitig, wenn Sie verstehen möchten, was zu verbesserten Ergebnissen führt.
Detailliertes Labor
Was kombiniert RRF?
RRF bevorzugt Dokumente, die in einer oder mehreren Listen einen hohen Rang einnehmen. Es wird der Rang verwendet, anstatt davon auszugehen, dass BM25-Werte und Vektorähnlichkeit eine gemeinsame Skala haben. In der lokalen Vorlage wird die zusammengeführte Liste vor der Kontextassemblierung neu eingestuft.
Bei der Vektorsuche wird beispielsweise das Handbuch über dem Katalog platziert. BM25 platziert den LX-240-Katalog an erster Stelle. Fusion kann beide Beweisquellen beibehalten. Beim Reranking wird die Relevanz der Suchanfrage überprüft. Wenn keine der Listen erforderliche Beweise enthält, kann Fusion diese nicht erstellen.
Das erklärende Schaubild
Folgen Sie den durchgezogenen Pfeilen für den Hauptfluss. Gestrichelte blaue Pfeile liefern Daten oder Kontext; Gestrichelte rosa Pfeile zeigen Feedback oder zurückgegebene Ergebnisse an. Farben und Formen unterscheiden Modelle, Geschäfte, Entscheidungen und Ergebnisse. Semantische und BM25-Kandidatenlisten werden von RRF kombiniert und dann neu eingestuft. Die beiden Suchvorgänge ergänzen sich; Die Zeichnung impliziert keine gleichzeitige Ausführung. Der Abruf gibt Beweise zurück. Wenn ein Antwortmodell aktiviert ist, erstellt es auch eine Antwort; sichergestellte Beweise müssen noch überprüft werden. Scrollen Sie auf kleinen Bildschirmen horizontal, um das gesamte Schaubild zu verfolgen.
Ein vollständiges Beispiel
Für „Adapter für LX-240“ erfasst die Vektorsuche die Bedeutung und BM25 hilft bei der genauen Kennung. Local Hybrid wendet RRF an, ordnet es dann neu ein und generiert es.
template: Hybrid
vector_k: 15
bm25_k: 15
final_top_k: 5
Probieren Sie es selbst aus
- Konfigurieren Sie vector_k=15, bm25_k=15 und final_top_k=5; Vergleichen Sie mit Naive die genauen Bezeichner.
- Notieren Sie die Eingabe, die Quelle und das erwartete Ergebnis, bevor Sie das Experiment durchführen. Verwenden Sie im Beispiel nur die fiktiven Daten.
- Folgen Sie den Diagrammschritten. Notieren Sie bei jedem Schritt, welche Informationen empfangen und produziert werden. Verwechseln Sie Zwischenergebnisse nicht mit Endergebnissen.
- Wiederholen Sie den Vorgang, nachdem Sie erforderliche Informationen entfernt oder die Eingabe mehrdeutig gemacht haben. Prüfen Sie, ob das System eine Antwort klärt, stoppt oder erfindet.
- Vergleichen Sie mit der erklärten Lösung. Bewahren Sie die Konfiguration, das Datum, das Ergebnis und eine Erklärung für Unterschiede auf. Ändern Sie eine Sache und testen Sie es erneut.
Eine erklärte Lösung
Die rechte Passage erreicht die endgültige Liste, ohne direkt inkompatible Vektor- und BM25-Scores hinzuzufügen. Mit einer erfolgreichen Übung können Sie den Zusammenhang zwischen Input, Phasen und Ergebnis aufzeigen. Bei fehlenden Informationen ist eine vorsichtige Antwort sinnvoller als erfundene Details. Vergleichen Sie mehr als nur Stil: Überprüfen Sie auch Bedingungen, Quellen und Vorgänge.
Wann dieser Ansatz hilft und wo seine Grenzen liegen
Eine exakte lexikalische Übereinstimmung kann immer noch von der falschen Version stammen. Wählen Sie diesen Ansatz, wenn er einen gemessenen Bedarf verbessert. Behalten Sie eine einfache Ausgangsbasis bei und vergleichen Sie die Ergebnisse mit identischen Eingaben. Ein erfolgreiches Beispiel stellt nicht in jeder Situation Verlässlichkeit dar.
Überprüfen Sie Ihr Wissen
Kann ein Reranker ein nicht indiziertes Dokument reparieren?
Nein. Die Passage muss zunächst im Index und in der Kandidatenliste vorhanden sein.
Können Sie Vektoren aus verschiedenen Modellen direkt vergleichen?
Im Allgemeinen nein; Ihre Leerzeichen sind nicht automatisch kompatibel.
Zu welchem Ergebnis soll diese Übung führen?
Die rechte Passage erreicht die endgültige Liste, ohne direkt inkompatible Vektor- und BM25-Scores hinzuzufügen.
Wichtige Begriffe
- Neu einordnen: Eine sorgfältigere Neuordnung der bereits abgerufenen Kandidaten.
- Einbetten: Eine numerische Darstellung, die zum Vergleichen von Inhalten verwendet wird.
- Regresie / Regression: Eine Änderung, die einen zuvor korrekten Fall aufhebt.
Quellen und Ihr nächster Schritt
Zur Vorbereitung: R06 – RAG- und Wissensgraphen grafisch darstellen