Osservabilità e debugging
L’osservabilità collega i risultati con i passaggi che li producono.
Cosa imparerai
- Spiegare: gli errori necessitano di percorsi espliciti
- Applica l'idea in un esempio: osservabilità e debug
- Riconoscere i limiti e verificare il risultato dell'esercizio
L’osservabilità collega i risultati con i passaggi che li producono. I dati diagnostici dovrebbero aiutare senza svelare segreti.
Puoi seguire questo corso senza un account o una programmazione. Gli esempi utilizzano dati sintetici e i risultati dell’intelligenza artificiale devono essere verificati.
Come funziona, passo dopo passo
Gli errori necessitano di percorsi espliciti
Un timeout è diverso da un errore di autorizzazione. Riprova solo errori temporanei, con tentativi limitati e ritardi crescenti. Un'operazione con effetti collaterali può essere eseguita prima che la sua risposta venga persa; riprovare senza una chiave di idempotenza può duplicare l'effetto. Lo streaming mostra l'avanzamento ma non garantisce il completamento. I checkpoint possono consentire la ripresa delle fasi non riuscite entro i limiti di runtime. Memorizza l'identificatore dell'esecuzione, la fase, la durata e l'errore rimuovendo i segreti dai log. Misura i percorsi lenti e le medie.
Definire il successo prima di ottimizzare
Preparare richieste rappresentative e risposte o proprietà previste. Includere casi ordinari, ambiguità, dati mancanti ed errori dello strumento. Per RAG, misurare il recupero delle prove separatamente dalla correttezza della risposta. Recall@k misura la quota di prove rilevanti trovate nei primi k risultati; Precision@k misura la quota di risultati restituiti che sono rilevanti. Per gli agenti, monitora anche azioni, autorizzazioni e arresti. Un LLM come giudice può accelerare la valutazione ma necessita di una calibrazione rispetto agli esseri umani. Non modificare prompt, modello e indice contemporaneamente se vuoi capire quali risultati migliorati.
Controllare l'accesso prima dell'uso
Le autorizzazioni devono essere applicate dai server e dal livello dati. Non lasciare che sia il modello a decidere se un utente può vedere un documento. Filtra le fonti prima che entrino nel contesto, non dopo aver generato la risposta. Utilizza credenziali di accesso minimo, tienile lontane da prompt, screenshot e codice del browser e ruota le chiavi esposte. Una lista consentita di domini widget non sostituisce l'autenticazione API. L'autenticazione ti identifica; l'autorizzazione determina le operazioni e i dati che puoi utilizzare. Prova anche l'accesso negato.
Lo schema esplicativo
Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.
Un esempio completo
Una risposta lenta ha recupero 0,2 s, riclassificazione 0,4 s e strumento esterno 8 s. Un identificatore di esecuzione collega le fasi; vengono registrate le versioni del prompt e del modello.
Provalo tu stesso
- Costruisci una sequenza temporale con fase, durata, risultato e identificatore di esecuzione.
- Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
- Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
- Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
- Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.
Una soluzione spiegata
Identificare lo strumento come origine della latenza e conservare il contesto dell'errore senza credenziali. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.
Quando è utile e quali sono i suoi limiti
Gli strumenti di traccia esterni non sono considerati controlli dell'interfaccia utente. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.
Verifica ciò che hai imparato
Un timeout dimostra che l'operazione non è stata eseguita?
No. Controlla lo stato prima di ritentare un'azione con effetti collaterali.
Un buon punteggio di stile dimostra il successo dell'agente?
No. L'agente potrebbe scrivere magnificamente dopo aver utilizzato lo strumento o i dati sbagliati.
Quale risultato dovrebbe produrre questo esercizio?
Identificare lo strumento come origine della latenza e conservare il contesto dell'errore senza credenziali.
Termini da ricordare
- Idempotenza: Ripetizione controllata senza duplicare un effetto.
- Regresia/Regressione: una modifica che interrompe un caso precedentemente corretto.
- Autorizzare/Autorizzazione: verifica del diritto di accesso a un'operazione o risorsa.
Fonti e il prossimo passo
Per preparare: E03 — Valutazione di agenti e team