Ein Assistent für komplexe Dokumente

Verwenden Sie ein Korpus, um RAG-Strategien zu vergleichen. Eine Vorlagenänderung bedarf einer wohlüberlegten Begründung.

Diese Schritte beziehen sich auf im Anwendungscode identifizierte Funktionen. Dieses Material wurde nicht in einer Live-Instanz validiert; Überprüfen Sie die Dokumentation und die Optionen in Ihrer Version.

Wie es funktioniert, Schritt für Schritt

Suche und Ranking sind verschiedene Phasen

Beim Retrieval werden Kandidaten ausgewählt und nach einer Rangfolge sortiert. top_k ist die Anzahl der angeforderten Ergebnisse; Eine Erhöhung kann zu Beweisen, aber auch zu Lärm führen. Ein Reranker untersucht die Anfrage und die Kandidaten genauer. Es kann keine Passage wiederherstellen, die in der ursprünglichen Liste fehlt. BM25 sucht nach lexikalischen Übereinstimmungen und hilft bei exakten Codes; Die Vektorsuche sucht nach semantischer Ähnlichkeit. RRF kombiniert Positionen in Ranglisten, anstatt Punkte mit inkompatiblen Einheiten zu addieren. Zusätzliche Stufen müssen ihre Qualität, Latenz und Kosten durch Tests rechtfertigen.

Explizite Beziehungen zur Provenienz

Ein Diagramm enthält Entitäten und Beziehungen, z. B. Produkt → Verwendungen → Teil. Die LLM-Extraktion kann Namen verwechseln oder Beziehungen erfinden; Bewahren Sie das Dokument auf, das jede Tatsache belegt. Bounded Traversal sucht nach Verbindungen über mehrere Hops hinweg. Local Graph RAG kombiniert Neo4j-Fakten mit Vektorpassagen. Es handelt sich nicht automatisch um die Microsoft GraphRAG-Pipeline mit Community-Erkennung und -Berichten. Abhängigkeitsfragen können von einem Diagramm profitieren; Einfache FAQ-Fragen können mit der Vektorabfrage günstiger sein.

Definieren Sie den Erfolg vor der Optimierung

Bereiten Sie repräsentative Anfragen und erwartete Antworten oder Eigenschaften vor. Berücksichtigen Sie normale Fälle, Unklarheiten, fehlende Daten und Toolfehler. Messen Sie für RAG die Beweisgewinnung getrennt von der Antwortkorrektheit. Recall@k misst den Anteil relevanter Beweise, die in den ersten k Ergebnissen gefunden wurden; precision@k misst den Anteil der zurückgegebenen Ergebnisse, die relevant sind. Verfolgen Sie für Agenten auch Aktionen, Berechtigungen und Stopps. Ein LLM als Richter kann die Bewertung beschleunigen, muss jedoch mit Menschen verglichen werden. Ändern Sie Eingabeaufforderung, Modell und Index nicht gleichzeitig, wenn Sie verstehen möchten, was zu verbesserten Ergebnissen führt.

Das erklärende Schaubild

Folgen Sie den durchgezogenen Pfeilen für den Hauptfluss. Gestrichelte blaue Pfeile liefern Daten oder Kontext; Gestrichelte rosa Pfeile zeigen Feedback oder zurückgegebene Ergebnisse an. Farben und Formen unterscheiden Modelle, Geschäfte, Entscheidungen und Ergebnisse. Vergleichen Sie dieselbe Frage mit separaten multimodalen, grafischen und hybriden Konfigurationen. Ihre Antworten werden separat ausgewertet und nicht in einer neuen Vorlage zusammengeführt. Scrollen Sie auf kleinen Bildschirmen horizontal, um das gesamte Schaubild zu verfolgen.

Ein vollständiges Beispiel

Zu den Fragen gehören genaue Codes, Synonyme, Teilbeziehungen und fehlende Quellen. Testen Sie Naive, Rerank, Graph, Hybrid und Router; Fügen Sie Multimodal nur mit verifizierter Seheinnahme hinzu.

Fiktive Übungsdaten

Quelle	Zu verwendende Informationen
Katalog	LX-240 verwendet Teil P-12; P-12 verwendet Adapter A-7.
Rückgaben	Anfragen innerhalb von 14 Tagen nach Eingang; unbenutztes Produkt in Originalverpackung.
Lieferung	Schätzungsweise 2–3 Werktage nach Versand, keine Garantie.

Einsteigerfragen: „Welchen Adapter verwendet der LX-240?“, „Kann ich ein gebrauchtes Produkt zurückgeben?“ und „Wie lange dauert die Lieferung?“. Fügen Sie mehrdeutige und unbeantwortbare Fälle hinzu. Behalten Sie bei jedem Vergleich die gleiche Quelle bei.

Probieren Sie es selbst aus

1. Führen Sie identische Tests für alle Varianten durch und überprüfen Sie jedes abweichende Ergebnis.
2. Notieren Sie die Eingabe, die Quelle und das erwartete Ergebnis, bevor Sie das Experiment durchführen. Verwenden Sie im Beispiel nur die fiktiven Daten.
3. Folgen Sie den Diagrammschritten. Notieren Sie bei jedem Schritt, welche Informationen empfangen und produziert werden. Verwechseln Sie Zwischenergebnisse nicht mit Endergebnissen.
4. Wiederholen Sie den Vorgang, nachdem Sie erforderliche Informationen entfernt oder die Eingabe mehrdeutig gemacht haben. Prüfen Sie, ob das System eine Antwort klärt, stoppt oder erfindet.
5. Vergleichen Sie mit der erklärten Lösung. Bewahren Sie die Konfiguration, das Datum, das Ergebnis und eine Erklärung für Unterschiede auf. Ändern Sie eine Sache und testen Sie es erneut.

Eine erklärte Lösung

In der Tabelle werden die abgerufenen Beweise, die Richtigkeit, die Zeit, der Verbrauch und die Route des Routers, einschließlich der direkten, aufgezeichnet. Mit einer erfolgreichen Übung können Sie den Zusammenhang zwischen Input, Phasen und Ergebnis aufzeigen. Bei fehlenden Informationen ist eine vorsichtige Antwort sinnvoller als erfundene Details. Vergleichen Sie mehr als nur Stil: Überprüfen Sie auch Bedingungen, Quellen und Vorgänge.

Wann dieser Ansatz hilft und wo seine Grenzen liegen

Unterschiedliche Quellen oder Fragestellungen machen den Vergleich ungültig. Wählen Sie diesen Ansatz, wenn er einen gemessenen Bedarf verbessert. Behalten Sie eine einfache Ausgangsbasis bei und vergleichen Sie die Ergebnisse mit identischen Eingaben. Ein erfolgreiches Beispiel stellt nicht in jeder Situation Verlässlichkeit dar.

Überprüfen Sie Ihr Wissen

Kann ein Reranker ein nicht indiziertes Dokument reparieren?

Nein. Die Passage muss zunächst im Index und in der Kandidatenliste vorhanden sein.

Beweist eine KI-extrahierte Kante, dass die Beziehung wahr ist?

Nein. Überprüfen Sie die Quelle und die Identität der Entitäten.

Zu welchem ​​Ergebnis soll diese Übung führen?

In der Tabelle werden die abgerufenen Beweise, die Richtigkeit, die Zeit, der Verbrauch und die Route des Routers, einschließlich der direkten, aufgezeichnet.

Wichtige Begriffe

• Neu einordnen: Eine sorgfältigere Neuordnung der bereits abgerufenen Kandidaten.
• Hop: Eine Beziehung in einem Diagramm kreuzen.
• Regresie / Regression: Eine Änderung, die einen zuvor korrekten Fall aufhebt.

Quellen und Ihr nächster Schritt

• Lewis et al. — Retrieval-Augmented Generation
• Microsoft GraphRAG — Abfrageübersicht
• LangGraph — Workflows und Agenten

Zur Vorbereitung: R04 – RAG neu einordnen: Bessere Beweise zuerst · R05 – Multimodales RAG: Dokumente enthalten auch Bilder · R06 – RAG- und Wissensgraphen grafisch darstellen · R07 – Hybrid-RAG: Bedeutung und genaue Worte · R08 – Router-RAG und Auswahl Ihrer Abrufstrategie · E02 – RAG Schritt für Schritt bewerten