Aktualisierungen, Löschung und Neuindizierung

Eine Aktualisierung ist erst dann abgeschlossen, wenn die Antworten die neue Version verwenden.

Was Sie lernen werden

  • Erklären Sie: Gute Dokumente kommen vor guten Antworten
  • Wenden Sie die Idee an einem Beispiel an: Aktualisierungen, Löschung und Neuindizierung
  • Erkennen Sie Einschränkungen und überprüfen Sie das Übungsergebnis

Eine Aktualisierung ist erst dann abgeschlossen, wenn die Antworten die neue Version verwenden. Eine Neuindizierung ändert die durchsuchbare Darstellung.

Diese Schritte beziehen sich auf im Anwendungscode identifizierte Funktionen. Dieses Material wurde nicht in einer Live-Instanz validiert; Überprüfen Sie die Dokumentation und die Optionen in Ihrer Version.

Wie es funktioniert, Schritt für Schritt

Gute Dokumente kommen vor guten Antworten

Bereiten Sie lesbaren Text, klare Überschriften, Tabellen mit Überschriften und Quellen ohne unnötige Duplikate vor. Chunking unterteilt ein Dokument in separat abrufbare Passagen; Überlappung bewahrt die Kontinuität zwischen Nachbarn. Ein kleiner Brocken kann Bedingungen verlieren, während ein großer Brocken Rauschen verursacht. Metadaten bewahren Quelle, Position und Version sowie den Zugriffsbereich, sofern dies durch die Implementierung erzwungen wird. Beim Hochladen wird die Datei gespeichert. Die Indizierung macht es durchsuchbar. Wenn sich eine Quelle ändert, prüfen Sie, ob alte Blöcke verschwinden und neue abgerufen werden, bevor Sie die Wissensdatenbank als aktuell erklären.

Koordinaten für Bedeutung

Eine Einbettung ist ein numerischer Vektor, der von einem Modell berechnet wird. Texte mit verwandten Bedeutungen liegen im Raum dieses Modells tendenziell nahe beieinander, Ähnlichkeit garantiert jedoch keine Relevanz. Abfragen und Dokumente müssen einen kompatiblen Bereich teilen: passendes Modell und passende Abmessungen. Zur Veranschaulichung dient eine zweiachsige Karte; Reale Vektoren können Hunderte oder Tausende von Dimensionen haben. Erstellen Sie den Index neu und testen Sie ihn erneut, wenn Sie das Modell oder die Abmessungen ändern. Kosinusähnlichkeit vergleicht Vektorrichtungen; es ist nicht die Wahrscheinlichkeit, dass eine Antwort wahr ist.

Definieren Sie den Erfolg vor der Optimierung

Bereiten Sie repräsentative Anfragen und erwartete Antworten oder Eigenschaften vor. Berücksichtigen Sie normale Fälle, Unklarheiten, fehlende Daten und Toolfehler. Messen Sie für RAG die Beweisgewinnung getrennt von der Antwortkorrektheit. Recall@k misst den Anteil relevanter Beweise, die in den ersten k Ergebnissen gefunden wurden; precision@k misst den Anteil der zurückgegebenen Ergebnisse, die relevant sind. Verfolgen Sie für Agenten auch Aktionen, Berechtigungen und Stopps. Ein LLM als Richter kann die Bewertung beschleunigen, muss jedoch mit Menschen verglichen werden. Ändern Sie Eingabeaufforderung, Modell und Index nicht gleichzeitig, wenn Sie verstehen möchten, was zu verbesserten Ergebnissen führt.

Das erklärende Schaubild

Aktualisierungen, Löschung und Neuindizierung Folgen Sie den durchgezogenen Pfeilen für den Hauptfluss. Gestrichelte blaue Pfeile liefern Daten oder Kontext; Gestrichelte rosa Pfeile zeigen Feedback oder zurückgegebene Ergebnisse an. Farben und Formen unterscheiden Modelle, Geschäfte, Entscheidungen und Ergebnisse. Verbindungen: Quelle geändert oder gelöscht → Entfernen Sie veraltete Passagen; Entfernen Sie veraltete Passagen → Aktuelle Version neu indizieren; Aktuelle Version neu indizieren → Indexierungsstatus; Indexierungsstatus → Semantische Suche; Semantische Suche → Menschliche Überprüfung; Quelle, Seite und Version → Aktuelle Version neu indizieren; Aktuelle Version neu indizieren → Vektorindex; Aktuelle Version neu indizieren → Neo4j-Wissensgraph; Repräsentative Testfragen → Semantische Suche; Originalquellen → Menschliche Überprüfung. D06 · Beziehungskarte Aktualisierungen, Löschung und Neuindizierung Eingang Quelle geändert oder gelöscht Daten Quelle, Seite und Version Speichern / Index Originalquellen Verarbeitung Entfernen Sie veraltete Passagen Verarbeitung Aktuelle Version neu indizieren Daten Indexierungsstatus Speichern / Index Vektorindex Speichern / Index Neo4j-Wissensgraph Eingang Repräsentative Testfragen Verarbeitung Semantische Suche Entscheidung/Kontrolle Menschliche Überprüfung Hauptfluss Daten und Kontext Feedback und Rückgabe

Folgen Sie den durchgezogenen Pfeilen für den Hauptfluss. Gestrichelte blaue Pfeile liefern Daten oder Kontext; Gestrichelte rosa Pfeile zeigen Feedback oder zurückgegebene Ergebnisse an. Farben und Formen unterscheiden Modelle, Geschäfte, Entscheidungen und Ergebnisse. Scrollen Sie auf kleinen Bildschirmen horizontal, um das gesamte Schaubild zu verfolgen.

Ein vollständiges Beispiel

Ändern Sie die Spanne von 14 auf 30 Tage. Entfernen Sie die alte Version, indizieren Sie die neue Quelle und führen Sie die Fragen erneut aus. Das Ändern von Einbettungen erfordert kompatible Korpus- und Abfragedarstellungen.

Probieren Sie es selbst aus

  1. Führen Sie eine Migration synthetischer Daten durch und behalten Sie den Regressionssatz bei.
  2. Notieren Sie die Eingabe, die Quelle und das erwartete Ergebnis, bevor Sie das Experiment durchführen. Verwenden Sie im Beispiel nur die fiktiven Daten.
  3. Folgen Sie den Diagrammschritten. Notieren Sie bei jedem Schritt, welche Informationen empfangen und produziert werden. Verwechseln Sie Zwischenergebnisse nicht mit Endergebnissen.
  4. Wiederholen Sie den Vorgang, nachdem Sie erforderliche Informationen entfernt oder die Eingabe mehrdeutig gemacht haben. Prüfen Sie, ob das System eine Antwort klärt, stoppt oder erfindet.
  5. Vergleichen Sie mit der erklärten Lösung. Bewahren Sie die Konfiguration, das Datum, das Ergebnis und eine Erklärung für Unterschiede auf. Ändern Sie eine Sache und testen Sie es erneut.

Eine erklärte Lösung

Passagen der alten Regel werden nicht mehr abgerufen; Antworten verweisen auf die neue Quelle. Mit einer erfolgreichen Übung können Sie den Zusammenhang zwischen Input, Phasen und Ergebnis aufzeigen. Bei fehlenden Informationen ist eine vorsichtige Antwort sinnvoller als erfundene Details. Vergleichen Sie mehr als nur Stil: Überprüfen Sie auch Bedingungen, Quellen und Vorgänge.

Wann dieser Ansatz hilft und wo seine Grenzen liegen

Mischen Sie keine inkompatiblen Vektoren in einem Index. Wählen Sie diesen Ansatz, wenn er einen gemessenen Bedarf verbessert. Behalten Sie eine einfache Ausgangsbasis bei und vergleichen Sie die Ergebnisse mit identischen Eingaben. Ein erfolgreiches Beispiel stellt nicht in jeder Situation Verlässlichkeit dar.

Überprüfen Sie Ihr Wissen

Bedeutet der abgeschlossene Upload, dass ein Dokument für RAG bereit ist?

Nein. Extraktion, Chunking und Indizierung müssen ebenfalls erfolgreich abgeschlossen werden.

Können Sie Vektoren aus verschiedenen Modellen direkt vergleichen?

Im Allgemeinen nein; Ihre Leerzeichen sind nicht automatisch kompatibel.

Zu welchem ​​Ergebnis soll diese Übung führen?

Passagen der alten Regel werden nicht mehr abgerufen; Antworten verweisen auf die neue Quelle.

Wichtige Begriffe

  • Brocken: Eine Dokumentpassage, die separat abgerufen werden kann.
  • Einbetten: Eine numerische Darstellung, die zum Vergleichen von Inhalten verwendet wird.
  • Regresie / Regression: Eine Änderung, die einen zuvor korrekten Fall aufhebt.

Quellen und Ihr nächster Schritt

Zur Vorbereitung: D05 – Warum antwortet RAG schlecht?