Como medir se a IA é útil

A utilidade é medida nos resultados do usuário. Defina critérios antes de ver as respostas, em vez de alterar as regras posteriormente.

Você pode seguir este curso sem conta ou programação. Os exemplos usam dados sintéticos e os resultados da IA ​​precisam ser verificados.

Como funciona, passo a passo

Defina o sucesso antes de otimizar

Prepare solicitações representativas e respostas ou propriedades esperadas. Inclui casos comuns, ambiguidade, dados faltantes e erros de ferramentas. Para RAG, meça a recuperação de evidências separadamente da correção da resposta. Recall@k mede a parcela de evidências relevantes encontradas nos primeiros k resultados; Precision@k mede a parcela de resultados retornados que são relevantes. Para agentes, rastreie também ações, permissões e paradas. Um LLM como juiz pode acelerar a avaliação, mas precisa de calibração em humanos. Não altere prompt, modelo e índice simultaneamente se quiser entender o que melhorou os resultados.

Fluência e verdade são verificadas separadamente

Uma alucinação é um conteúdo não suportado ou incorreto apresentado como resposta. Pode surgir de falta de informação, ambiguidade ou padrões combinados incorretamente. Peça provas e verifique o documento original, data, unidades e condições. Uma citação real ainda pode não apoiar a afirmação. Use fontes atuais para fatos atuais, uma calculadora para aritmética e “não é possível determinar” quando faltam evidências. Não trate a confiança expressa em prosa como uma probabilidade calibrada.

O custo pertence a todo o caminho

Conte chamadas de modelo, tokens de entrada e saída, incorporações, reclassificação, visão e ferramentas. O raciocínio pode consumir tokens faturáveis ​​sem uma resposta visível igualmente longa. Os custos de indexação e os custos de conversação são diferentes. Use os preços atuais em vez de um número permanente de um curso. Uma estimativa simples é tokens/1.000.000 × preço mais operações adicionais; os créditos do aplicativo podem ter sua própria conversão. Compare o custo por tarefa bem-sucedida, não apenas por chamada. A execução paralela pode reduzir a latência e aumentar o consumo total. Um orçamento precisa de uma condição de parada verificada.

O esquema explicativo

Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. Em telas pequenas, role na horizontal para acompanhar o esquema completo.

Um exemplo completo

Para FAQ pontuam prazo correto, condições preservadas, clareza e ausência de reivindicações inventadas. A prosa elegante com prazo errado falha no critério crítico.

Experimente você mesmo

1. Crie uma rubrica para 20 solicitações e especifique quais falhas bloqueiam a inicialização.
2. Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
3. Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
4. Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
5. Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.

Uma solução explicada

A rubrica separa os critérios exigidos das preferências de estilo e permite comparações repetíveis. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.

Quando esta abordagem ajuda e quais são seus limites

Uma média pode esconder uma falha rara, mas importante. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.

Verifique o que aprendeu

Uma boa pontuação de estilo prova o sucesso do agente?

Não. O agente pode escrever lindamente depois de usar a ferramenta ou os dados errados.

Um link em uma resposta é suficiente?

Não; deve apoiar a reivindicação específica e adequar-se ao tempo e às circunstâncias.

Que resultado este exercício deve produzir?

A rubrica separa os critérios exigidos das preferências de estilo e permite comparações repetíveis.

Termos para lembrar

• Regressão / Regressão: uma alteração que quebra um caso anteriormente correto.
• Aterramento: Fundamentar uma resposta em evidências verificáveis.
• Latență / Latência: Tempo até um resultado útil.

Fontes e sua próxima etapa

• LangGraph — Fluxos de trabalho e agentes
• Hugging Face — LLM Course
• OpenRouter — Tokens de raciocínio

Para preparar: U02 — Playground como laboratório · D04 — Boas perguntas para testar RAG