Il parco giochi come laboratorio
Il parco giochi rende visibili i passaggi della conversazione.
Cosa imparerai
- Spiegare: un ciclo agente limitato
- Applica l'idea in un esempio: il parco giochi come laboratorio
- Riconoscere i limiti e verificare il risultato dell'esercizio
Il parco giochi rende visibili i passaggi della conversazione. Usalo per confronti controllati piuttosto che solo per dimostrazioni di successo.
Questi passaggi si riferiscono alle funzionalità identificate nel codice dell'applicazione. Questo materiale non è stato convalidato su un'istanza live; controlla la documentazione e le opzioni nella tua versione.
Come funziona, passo dopo passo
Un ciclo agente limitato
Un agente combina un modello con strumenti, un obiettivo e uno stato. Osserva la richiesta, sceglie un passo, riceve un risultato e decide se proseguire. Un chatbot può generare solo testo; un agente può richiedere un'azione esterna. Le definizioni commerciali variano, quindi controlla il controllo effettivo. Definisci il successo e l'arresto: un risultato verificato, un numero massimo di passi, errori ripetuti o un budget esaurito. Utilizza funzionalità limitate e autorizzazioni minime. Autonomia utile significa libertà entro i confini imposti dal software.
Definire il successo prima di ottimizzare
Preparare richieste rappresentative e risposte o proprietà previste. Includere casi ordinari, ambiguità, dati mancanti ed errori dello strumento. Per RAG, misurare il recupero delle prove separatamente dalla correttezza della risposta. Recall@k misura la quota di prove rilevanti trovate nei primi k risultati; Precision@k misura la quota di risultati restituiti che sono rilevanti. Per gli agenti, monitora anche azioni, autorizzazioni e arresti. Un LLM come giudice può accelerare la valutazione ma necessita di una calibrazione rispetto agli esseri umani. Non modificare prompt, modello e indice contemporaneamente se vuoi capire quali risultati migliorati.
Gli errori necessitano di percorsi espliciti
Un timeout è diverso da un errore di autorizzazione. Riprova solo errori temporanei, con tentativi limitati e ritardi crescenti. Un'operazione con effetti collaterali può essere eseguita prima che la sua risposta venga persa; riprovare senza una chiave di idempotenza può duplicare l'effetto. Lo streaming mostra l'avanzamento ma non garantisce il completamento. I checkpoint possono consentire la ripresa delle fasi non riuscite entro i limiti di runtime. Memorizza l'identificatore dell'esecuzione, la fase, la durata e l'errore rimuovendo i segreti dai log. Misura i percorsi lenti e le medie.
Lo schema esplicativo
Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.
Un esempio completo
Scegli un agente o un flusso di lavoro, invia una domanda e controlla lo streaming e i passaggi. Per i file, controlla il caricamento. Utilizza nuove conversazioni nei confronti in modo che la storia non cambi il test.
Provalo tu stesso
- Esegui la stessa domanda con due configurazioni e registra le differenze.
- Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
- Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
- Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
- Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.
Una soluzione spiegata
Il rapporto include richiesta, obiettivo, fasi e risultati, non solo il testo finale. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.
Quando è utile e quali sono i suoi limiti
Un allegato di conversazione non diventa automaticamente dati RAG permanenti. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.
Verifica ciò che hai imparato
Una maggiore autonomia dà sempre un risultato migliore?
No. Aumenta anche lo spazio per errori, costi e azioni non necessarie.
Un buon punteggio di stile dimostra il successo dell'agente?
No. L'agente potrebbe scrivere magnificamente dopo aver utilizzato lo strumento o i dati sbagliati.
Quale risultato dovrebbe produrre questo esercizio?
Il rapporto include richiesta, obiettivo, fasi e risultati, non solo il testo finale.
Termini da ricordare
- Agente: un sistema in grado di scegliere passaggi e utilizzare strumenti per raggiungere un obiettivo.
- Regresia/Regressione: una modifica che interrompe un caso precedentemente corretto.
- Idempotenza: Ripetizione controllata senza duplicare un effetto.
Fonti e il prossimo passo
Per preparare: U01: una mappa dell'applicazione