Boas perguntas para testar RAG

As perguntas do teste mapeiam necessidades reais. Um bom conjunto também inclui perguntas que os documentos não conseguem responder.

Você pode seguir este curso sem conta ou programação. Os exemplos usam dados sintéticos e os resultados da IA ​​precisam ser verificados.

Como funciona, passo a passo

Defina o sucesso antes de otimizar

Prepare solicitações representativas e respostas ou propriedades esperadas. Inclui casos comuns, ambiguidade, dados faltantes e erros de ferramentas. Para RAG, meça a recuperação de evidências separadamente da correção da resposta. Recall@k mede a parcela de evidências relevantes encontradas nos primeiros k resultados; Precision@k mede a parcela de resultados retornados que são relevantes. Para agentes, rastreie também ações, permissões e paradas. Um LLM como juiz pode acelerar a avaliação, mas precisa de calibração em humanos. Não altere prompt, modelo e índice simultaneamente se quiser entender o que melhorou os resultados.

RAG acessa evidências, não treina novamente

RAG significa geração aumentada de recuperação: a recuperação fornece passagens relevantes antes que o modelo responda. A ingestão prepara documentos, enquanto a execução da consulta pesquisa o índice e cria contexto. Um modelo de incorporação representa o texto numericamente; o modelo de resposta escreve a resposta. Reclassificadores, visão, gráficos e modelos de roteador têm funções diferentes quando necessário. RAG ajuda com informações privadas ou em mudança, mas não garante a verdade. Use uma API autorizada para saldos, inventário exato ou permissões; um documento antigo não é uma fonte confiável para o estado atual.

Fluência e verdade são verificadas separadamente

Uma alucinação é um conteúdo não suportado ou incorreto apresentado como resposta. Pode surgir de falta de informação, ambiguidade ou padrões combinados incorretamente. Peça provas e verifique o documento original, data, unidades e condições. Uma citação real ainda pode não apoiar a afirmação. Use fontes atuais para fatos atuais, uma calculadora para aritmética e “não é possível determinar” quando faltam evidências. Não trate a confiança expressa em prosa como uma probabilidade calibrada.

O esquema explicativo

Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. Em telas pequenas, role na horizontal para acompanhar o esquema completo.

Um exemplo completo

Crie quatro perguntas sobre prazos, códigos exatos, relacionamentos, ambigüidade e dados ausentes. Registre evidências e comportamento esperado para cada um.

Experimente você mesmo

1. Complete 20 linhas com pergunta, fonte, resposta esperada e categoria.
2. Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
3. Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
4. Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
5. Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.

Uma solução explicada

Você tem 20 casos incluindo “informação indisponível”; o conteúdo inventado não conta como integralidade. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.

Quando esta abordagem ajuda e quais são seus limites

As perguntas textuais do documento são muito fáceis como único teste. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.

Verifique o que aprendeu

Uma boa pontuação de estilo prova o sucesso do agente?

Não. O agente pode escrever lindamente depois de usar a ferramenta ou os dados errados.

O RAG altera os parâmetros do LLM?

Não. Ele fornece contexto de tempo de solicitação; alterações de parâmetros pertencem ao treinamento.

Que resultado este exercício deve produzir?

Você tem 20 casos incluindo “informação indisponível”; o conteúdo inventado não conta como integralidade.

Termos para lembrar

• Regressão / Regressão: uma alteração que quebra um caso anteriormente correto.
• Recuperação: Encontrar informações relevantes em fontes acessíveis.
• Aterramento: Fundamentar uma resposta em evidências verificáveis.

Fontes e sua próxima etapa

• LangGraph — Fluxos de trabalho e agentes
• Lewis et al. — Retrieval-Augmented Generation
• Hugging Face — LLM Course

Para preparar: D03 — Chunking e metadados