Conversas e feedback
As conversas mostram onde um sistema ajuda e falha.
O que você aprenderá
- Explique: defina o sucesso antes de otimizar
- Aplique a ideia em um exemplo: Conversas e feedback
- Reconheça as limitações e verifique o resultado do exercício
As conversas mostram onde um sistema ajuda e falha. Transforme o feedback em uma causa e um teste.
Estas etapas referem-se aos recursos identificados no código do aplicativo. Este material não foi validado em uma instância ativa; verifique a documentação e as opções da sua versão.
Como funciona, passo a passo
Defina o sucesso antes de otimizar
Prepare solicitações representativas e respostas ou propriedades esperadas. Inclui casos comuns, ambiguidade, dados faltantes e erros de ferramentas. Para RAG, meça a recuperação de evidências separadamente da correção da resposta. Recall@k mede a parcela de evidências relevantes encontradas nos primeiros k resultados; Precision@k mede a parcela de resultados retornados que são relevantes. Para agentes, rastreie também ações, permissões e paradas. Um LLM como juiz pode acelerar a avaliação, mas precisa de calibração em humanos. Não altere prompt, modelo e índice simultaneamente se quiser entender o que melhorou os resultados.
Fluência e verdade são verificadas separadamente
Uma alucinação é um conteúdo não suportado ou incorreto apresentado como resposta. Pode surgir de falta de informação, ambiguidade ou padrões combinados incorretamente. Peça provas e verifique o documento original, data, unidades e condições. Uma citação real ainda pode não apoiar a afirmação. Use fontes atuais para fatos atuais, uma calculadora para aritmética e “não é possível determinar” quando faltam evidências. Não trate a confiança expressa em prosa como uma probabilidade calibrada.
Erros precisam de caminhos explícitos
Um tempo limite é diferente de um erro de permissão. Tente novamente apenas erros transitórios, com tentativas limitadas e atrasos crescentes. Uma operação com efeitos colaterais pode ser executada antes que sua resposta seja perdida; tentar novamente sem uma chave de idempotência pode duplicar o efeito. O streaming mostra o progresso, mas não garante a conclusão. Os pontos de verificação podem permitir que estágios com falha sejam retomados dentro dos limites de tempo de execução. Armazene o identificador de execução, estágio, duração e erro enquanto remove segredos dos logs. Meça caminhos lentos, bem como médias.
O esquema explicativo
Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. Em telas pequenas, role na horizontal para acompanhar o esquema completo.
Um exemplo completo
“Resposta inútil” pode significar um prazo errado, linguagem técnica ou uma ferramenta indisponível. Leia a conversa, identifique a causa e adicione um caso de regressão.
Experimente você mesmo
- Revise dez conversas fictícias e falhas de grupo por causa.
- Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
- Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
- Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
- Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.
Uma solução explicada
Cada observação tem uma causa, uma mudança proposta e uma verificação de acompanhamento. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.
Quando esta abordagem ajuda e quais são seus limites
O feedback positivo não é um rótulo de verdade garantido. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.
Verifique o que aprendeu
Uma boa pontuação de estilo prova o sucesso do agente?
Não. O agente pode escrever lindamente depois de usar a ferramenta ou os dados errados.
Um link em uma resposta é suficiente?
Não; deve apoiar a reivindicação específica e adequar-se ao tempo e às circunstâncias.
Que resultado este exercício deve produzir?
Cada observação tem uma causa, uma mudança proposta e uma verificação de acompanhamento.
Termos para lembrar
- Regressão / Regressão: uma alteração que quebra um caso anteriormente correto.
- Aterramento: Fundamentar uma resposta em evidências verificáveis.
- Idempotência: Repetição controlada sem duplicar um efeito.
Fontes e sua próxima etapa
Para preparar: U03 – Parar, Reiniciar e Reiniciar