Avaliando agentes e equipes
Um agente pode escrever uma boa resposta após uma ação errada.
O que você aprenderá
- Explique: defina o sucesso antes de otimizar
- Aplique a ideia em um exemplo: Avaliando agentes e equipes
- Reconheça as limitações e verifique o resultado do exercício
Um agente pode escrever uma boa resposta após uma ação errada. Avalie todo o caminho.
Você pode seguir este curso sem conta ou programação. Os exemplos usam dados sintéticos e os resultados da IA precisam ser verificados.
Como funciona, passo a passo
Defina o sucesso antes de otimizar
Prepare solicitações representativas e respostas ou propriedades esperadas. Inclui casos comuns, ambiguidade, dados faltantes e erros de ferramentas. Para RAG, meça a recuperação de evidências separadamente da correção da resposta. Recall@k mede a parcela de evidências relevantes encontradas nos primeiros k resultados; Precision@k mede a parcela de resultados retornados que são relevantes. Para agentes, rastreie também ações, permissões e paradas. Um LLM como juiz pode acelerar a avaliação, mas precisa de calibração em humanos. Não altere prompt, modelo e índice simultaneamente se quiser entender o que melhorou os resultados.
O modelo propõe, a ferramenta executa
A chamada da ferramenta produz uma solicitação de chamada com nome e argumentos. A aplicação valida o esquema, as permissões e os limites antes da execução. O resultado retorna ao contexto para a próxima etapa. Por exemplo, get_product_stock pega um SKU e retorna uma quantidade; sua descrição deverá explicar que não reserva produtos. Distinguir resultados vazios, erros de validação, falta de acesso e tempos limite. JSON válido não prova que os argumentos estão corretos ou que a ação está autorizada. Para efeitos externos, considere também a execução duplicada.
Um fluxo de trabalho tem estrutura explícita
Um nó é um estágio, uma aresta é uma transição e o estado carrega resultados entre os estágios. Um fluxo de trabalho possui um caminho definido pelo aplicativo, embora o modelo possa escolher algumas ramificações. Os sistemas agênicos incluem fluxos de trabalho e agentes de ação dinâmica. Nymrio oferece ReAct, Reflexão, Sequencial, Orquestrador, Roteador, Paralelo e Planejar e Executar. Cada um muda de coordenação; isso não torna automaticamente um modelo um especialista. Mais agentes significam mais chamadas e contratos entre funções. Comece com a solução mais simples que passa nos testes.
O esquema explicativo
Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. Em telas pequenas, role na horizontal para acompanhar o esquema completo.
Um exemplo completo
Um agente informa a quantidade certa, mas consultou outro SKU. Uma equipe cita a política, mas omite a discordância dos trabalhadores. Ambos são fracassos, apesar do texto final convincente.
Experimente você mesmo
- Compare dois traços e marque o primeiro desvio da meta.
- Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
- Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
- Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
- Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.
Uma solução explicada
Verifique argumentos, funções, operações, fontes e paradas e, em seguida, a qualidade do texto. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.
Quando esta abordagem ajuda e quais são seus limites
O LLM como juiz pode ser tendencioso e precisa de calibração humana. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.
Verifique o que aprendeu
Uma boa pontuação de estilo prova o sucesso do agente?
Não. O agente pode escrever lindamente depois de usar a ferramenta ou os dados errados.
Quem executa uma chamada proposta pelo modelo?
O aplicativo ou serviço de host após a validação. O modelo não obtém automaticamente acesso irrestrito.
Que resultado este exercício deve produzir?
Verifique argumentos, funções, operações, fontes e paradas e, em seguida, a qualidade do texto.
Termos para lembrar
- Regressão / Regressão: uma alteração que quebra um caso anteriormente correto.
- Chamada de ferramenta: uma solicitação estruturada para usar um recurso externo.
- Acenar: Um estágio em um gráfico de execução.
Fontes e sua próxima etapa
Para preparar: E02 — Avaliando o RAG etapa por etapa