Upload, indexare fast și batch

Fișierul încărcat nu este încă o sursă căutabilă.

Ce vei învăța

  • Explici: documentul bun precede răspunsul bun
  • Aplici ideea într-un exemplu: Upload, indexare fast și batch
  • Recunoști limitele și verifici rezultatul exercițiului

Fișierul încărcat nu este încă o sursă căutabilă. Urmărește procesarea până la starea finală și tratează separat întârzierile și eșecurile.

Pașii se referă la funcționalități identificate în codul aplicației. Validarea pe o instanță live nu a fost efectuată pentru acest material; verifică documentația și opțiunile din versiunea ta.

Cum funcționează, pas cu pas

Documentul bun precede răspunsul bun

Pregătește texte lizibile, titluri clare, tabele cu antete și surse fără duplicări inutile. Chunking împarte documentul în fragmente care pot fi recuperate separat; overlap păstrează continuitatea dintre fragmente vecine. Un segment prea scurt pierde condițiile, iar unul prea mare introduce zgomot. Metadatele păstrează sursa, poziția și versiunea, precum și domeniul de acces unde implementarea îl aplică. Upload-ul salvează fișierul, indexarea îl face căutabil. Dacă sursa se schimbă, verifică dispariția segmentelor vechi și reapariția celor noi înainte de a anunța că baza este actualizată.

Erorile au nevoie de trasee explicite

Un timeout nu este același lucru cu o eroare de permisiune. Reîncearcă doar erorile tranzitorii, cu un număr limitat de încercări și pauze crescătoare. O operație cu efecte poate fi executată înainte ca răspunsul să se piardă; repetarea fără cheie de idempotency poate dubla efectul. Streaming arată progresul, dar nu garantează finalizarea. Checkpoint-urile pot permite reluarea etapelor eșuate, în limitele runtime-ului. Păstrează identificatorul rulării, etapa, durata și eroarea, eliminând secretele din logs. Măsoară și cel mai lent traseu, nu doar media.

Costul aparține întregului traseu

Numără apelurile de model, tokenii de intrare și ieșire, embeddings, reranking, vision și uneltele. Reasoning poate consuma tokeni facturați fără un răspuns vizibil la fel de lung. Costul indexării și costul conversației sunt diferite. Folosește tarifele curente, nu o cifră permanentă din curs. Estimarea simplă este tokeni/1.000.000 × tarif, plus operații suplimentare; creditele aplicației pot folosi propria conversie. Compară costul per sarcină reușită, nu doar per apel. Parallel poate reduce latența, dar crește consumul total. Bugetul trebuie să aibă o condiție de oprire verificată.

Harta vizuală

Upload, indexare fast și batch Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Relații: Documente sursă → Încarcă și stochează fișierele; Încarcă și stochează fișierele → Alege acțiunea următoare; Indexare rapidă → Starea indexării; Indexare batch → Starea indexării; Starea indexării → Teste în Playground; Teste în Playground → Verificare umană; Sursă, pagină și versiune → Încarcă și stochează fișierele; Alege acțiunea următoare → Indexare rapidă (Cale rapidă); Alege acțiunea următoare → Indexare batch (Indexare completă); Indexare rapidă → Index vectorial; Indexare batch → Index vectorial; Indexare batch → Graf de cunoștințe Neo4j; Întrebări de test reprezentative → Teste în Playground. D02 · Hartă de relații Upload, indexare fast și batch Intrare Documente sursă Procesare Încarcă și stochează fișierele Date Sursă, pagină și versiune Decizie / control Alege acțiunea următoare Procesare Indexare rapidă Procesare Indexare batch Date Starea indexării Stocare / index Index vectorial Stocare / index Graf de cunoștințe Neo4j Intrare Întrebări de test reprezentative Procesare Teste în Playground Decizie / control Verificare umană Cale rapidă Indexare completă Flux principal Date și context Feedback și revenire

Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Pe ecrane mici, derulează orizontal pentru a urmări întreaga diagramă.

Un exemplu complet

În RAG încarci politica. Fast pornește procesarea obișnuită; batch poate amâna operații prin provider. Verifici notificările și starea documentului înainte să testezi o întrebare.

Încearcă tu

  1. Încarcă un document sintetic și urmărește upload, procesare și testarea întrebării.
  2. Notează intrarea, sursa și rezultatul așteptat înainte să rulezi experimentul. Folosește doar datele fictive din exemplu.
  3. Urmărește etapele din diagramă. La fiecare pas scrie ce informație primește și ce produce; nu confunda rezultatul intermediar cu rezultatul final.
  4. Repetă cazul după eliminarea unei informații necesare sau după o intrare ambiguă. Verifică dacă sistemul cere clarificare, se oprește sau inventează.
  5. Compară cu soluția comentată. Păstrează configurația, data, rezultatul și o explicație pentru orice diferență. Schimbă un singur lucru și retestează.

Soluție comentată

Documentul este căutabil numai după procesare reușită; la eroare păstrezi etapa și mesajul pentru diagnostic. Pentru a considera exercițiul reușit, poți arăta legătura dintre intrare, etapele parcurse și rezultat. Dacă lipsesc date, un răspuns prudent este mai util decât o completare inventată. Nu compara doar stilul: verifică și condițiile, sursele și operațiile efectuate.

Când merită și ce poate merge prost

Limitele de format și mărime se verifică în versiunea curentă. Alege această abordare când îmbunătățește o nevoie măsurată. Păstrează o variantă simplă ca referință și compară rezultatele pe aceleași intrări. Un singur exemplu reușit nu stabilește fiabilitatea în toate situațiile.

Verifică ce ai înțeles

Upload terminat înseamnă document gata pentru RAG?

Nu. Extragerea, segmentarea și indexarea trebuie să se termine cu succes.

Un timeout dovedește că operația nu s-a executat?

Nu. Verifică starea înainte de reluarea unei acțiuni cu efecte.

Ce rezultat trebuie să obții în acest exercițiu?

Documentul este căutabil numai după procesare reușită; la eroare păstrezi etapa și mesajul pentru diagnostic.

Cuvinte de ținut minte

  • Chunk: Fragment de document care poate fi căutat separat.
  • Idempotency: Repetarea controlată fără duplicarea efectului.
  • Latență / Latency: Timpul până la rezultatul util.

Surse și următorul pas

Pentru pregătire: D01 — Pregătirea documentelor pentru AI