Playground como laboratório
O Playground torna visíveis as etapas da conversa.
O que você aprenderá
- Explique: um loop de agente limitado
- Aplique a ideia em um exemplo: Playground como laboratório
- Reconheça as limitações e verifique o resultado do exercício
O Playground torna visíveis as etapas da conversa. Use-o para comparações controladas, em vez de apenas demonstrações bem-sucedidas.
Estas etapas referem-se aos recursos identificados no código do aplicativo. Este material não foi validado em uma instância ativa; verifique a documentação e as opções da sua versão.
Como funciona, passo a passo
Um loop de agente limitado
Um agente combina um modelo com ferramentas, um objetivo e um estado. Ele observa a solicitação, escolhe uma etapa, recebe o resultado e decide se continua. Um chatbot só pode gerar texto; um agente pode solicitar uma ação externa. As definições comerciais variam, portanto inspecione o controle real. Defina sucesso e parada: um resultado verificado, uma contagem máxima de passos, erros repetidos ou um orçamento esgotado. Use recursos restritos e permissões mínimas. Autonomia útil significa liberdade dentro dos limites impostos pelo software.
Defina o sucesso antes de otimizar
Prepare solicitações representativas e respostas ou propriedades esperadas. Inclui casos comuns, ambiguidade, dados faltantes e erros de ferramentas. Para RAG, meça a recuperação de evidências separadamente da correção da resposta. Recall@k mede a parcela de evidências relevantes encontradas nos primeiros k resultados; Precision@k mede a parcela de resultados retornados que são relevantes. Para agentes, rastreie também ações, permissões e paradas. Um LLM como juiz pode acelerar a avaliação, mas precisa de calibração em humanos. Não altere prompt, modelo e índice simultaneamente se quiser entender o que melhorou os resultados.
Erros precisam de caminhos explícitos
Um tempo limite é diferente de um erro de permissão. Tente novamente apenas erros transitórios, com tentativas limitadas e atrasos crescentes. Uma operação com efeitos colaterais pode ser executada antes que sua resposta seja perdida; tentar novamente sem uma chave de idempotência pode duplicar o efeito. O streaming mostra o progresso, mas não garante a conclusão. Os pontos de verificação podem permitir que estágios com falha sejam retomados dentro dos limites de tempo de execução. Armazene o identificador de execução, estágio, duração e erro enquanto remove segredos dos logs. Meça caminhos lentos, bem como médias.
O esquema explicativo
Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. Em telas pequenas, role na horizontal para acompanhar o esquema completo.
Um exemplo completo
Escolha um agente ou fluxo de trabalho, envie uma pergunta e inspecione o streaming e as etapas. Para arquivos, verifique upload. Use conversas recentes nas comparações para que o histórico não altere o teste.
Experimente você mesmo
- Execute a mesma pergunta com duas configurações e registre as diferenças.
- Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
- Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
- Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
- Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.
Uma solução explicada
O relatório inclui solicitação, meta, etapas e resultados, e não apenas o texto final. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.
Quando esta abordagem ajuda e quais são seus limites
Um anexo de conversa não se torna automaticamente um dado RAG permanente. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.
Verifique o que aprendeu
Mais autonomia sempre dá um resultado melhor?
Não. Também aumenta a margem para erros, custos e ações desnecessárias.
Uma boa pontuação de estilo prova o sucesso do agente?
Não. O agente pode escrever lindamente depois de usar a ferramenta ou os dados errados.
Que resultado este exercício deve produzir?
O relatório inclui solicitação, meta, etapas e resultados, e não apenas o texto final.
Termos para lembrar
- Agente: Um sistema que pode escolher etapas e usar ferramentas para atingir um objetivo.
- Regressão / Regressão: uma alteração que quebra um caso anteriormente correto.
- Idempotência: Repetição controlada sem duplicar um efeito.
Fontes e sua próxima etapa
Para preparar: U01 — Um mapa do aplicativo