Avaliando RAG etapa por etapa

Separe as evidências recuperadas de como o modelo as utiliza. Caso contrário, você poderá otimizar o estágio errado.

Você pode seguir este curso sem conta ou programação. Os exemplos usam dados sintéticos e os resultados da IA ​​precisam ser verificados.

Como funciona, passo a passo

Defina o sucesso antes de otimizar

Prepare solicitações representativas e respostas ou propriedades esperadas. Inclui casos comuns, ambiguidade, dados faltantes e erros de ferramentas. Para RAG, meça a recuperação de evidências separadamente da correção da resposta. Recall@k mede a parcela de evidências relevantes encontradas nos primeiros k resultados; Precision@k mede a parcela de resultados retornados que são relevantes. Para agentes, rastreie também ações, permissões e paradas. Um LLM como juiz pode acelerar a avaliação, mas precisa de calibração em humanos. Não altere prompt, modelo e índice simultaneamente se quiser entender o que melhorou os resultados.

Pesquisa e classificação são etapas diferentes

A recuperação seleciona os candidatos e os ordena. top_k é o número de resultados solicitados; aumentá-lo pode trazer evidências, mas também ruído. Um reclassificador examina a consulta e os candidatos mais de perto. Não é possível recuperar uma passagem que falta na lista inicial. O BM25 procura correspondências lexicais e ajuda com códigos exatos; a pesquisa vetorial procura semelhança semântica. O RRF combina posições em listas classificadas em vez de adicionar pontuações com unidades incompatíveis. Estágios extras devem justificar sua qualidade, latência e custo por meio de testes.

Fluência e verdade são verificadas separadamente

Uma alucinação é um conteúdo não suportado ou incorreto apresentado como resposta. Pode surgir de falta de informação, ambiguidade ou padrões combinados incorretamente. Peça provas e verifique o documento original, data, unidades e condições. Uma citação real ainda pode não apoiar a afirmação. Use fontes atuais para fatos atuais, uma calculadora para aritmética e “não é possível determinar” quando faltam evidências. Não trate a confiança expressa em prosa como uma probabilidade calibrada.

O esquema explicativo

Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. Em telas pequenas, role na horizontal para acompanhar o esquema completo.

Um exemplo completo

Recupere uma das duas passagens relevantes em quatro resultados: recall=1/2 e precisão=1/4 para esse caso. A resposta ainda pode omitir uma condição da passagem recuperada.

Experimente você mesmo

1. Rotule as passagens relevantes para cinco perguntas e compare a recuperação com a geração.
2. Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
3. Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
4. Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
5. Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.

Uma solução explicada

Relate a cobertura de evidências, a relevância dos resultados e o suporte da reivindicação final separadamente. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.

Quando esta abordagem ajuda e quais são seus limites

Uma pontuação vetorial alta não substitui a rotulagem de relevância. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.

Verifique o que aprendeu

Uma boa pontuação de estilo prova o sucesso do agente?

Não. O agente pode escrever lindamente depois de usar a ferramenta ou os dados errados.

Um reclassificador pode consertar um documento não indexado?

Não. A passagem deve primeiro existir no índice e na lista de candidatos.

Que resultado este exercício deve produzir?

Relate a cobertura de evidências, a relevância dos resultados e o suporte da reivindicação final separadamente.

Termos para lembrar

• Regressão / Regressão: uma alteração que quebra um caso anteriormente correto.
• Reclassificar: Uma reordenação mais cuidadosa dos candidatos já recuperados.
• Aterramento: Fundamentar uma resposta em evidências verificáveis.

Fontes e sua próxima etapa

• LangGraph — Fluxos de trabalho e agentes
• Lewis et al. — Retrieval-Augmented Generation
• Hugging Face — LLM Course

Para preparar: E01 — Como medir se a IA é útil