Por que o RAG responde mal?
Repare o estágio com falha.
O que você aprenderá
- Explique: bons documentos vêm antes de boas respostas
- Aplique a ideia em um exemplo: Por que o RAG responde mal?
- Reconheça as limitações e verifique o resultado do exercício
Repare o estágio com falha. Mudanças imediatas não ajudam quando as evidências necessárias nunca chegam ao contexto.
Você pode seguir este curso sem conta ou programação. Os exemplos usam dados sintéticos e os resultados da IA precisam ser verificados.
Como funciona, passo a passo
Bons documentos vêm antes de boas respostas
Prepare texto legível, títulos claros, tabelas com cabeçalhos e fontes sem duplicatas desnecessárias. A fragmentação divide um documento em passagens recuperáveis separadamente; a sobreposição preserva a continuidade entre vizinhos. Um pedaço pequeno pode perder condições, enquanto um pedaço grande introduz ruído. Os metadados preservam a origem, a posição e a versão, além do escopo de acesso quando aplicado pela implementação. Upload armazena o arquivo; a indexação o torna pesquisável. Quando uma fonte muda, verifique se os pedaços antigos desaparecem e os novos são recuperados antes de declarar a base de conhecimento atual.
Pesquisa e classificação são etapas diferentes
A recuperação seleciona os candidatos e os ordena. top_k é o número de resultados solicitados; aumentá-lo pode trazer evidências, mas também ruído. Um reclassificador examina a consulta e os candidatos mais de perto. Não é possível recuperar uma passagem que falta na lista inicial. O BM25 procura correspondências lexicais e ajuda com códigos exatos; a pesquisa vetorial procura semelhança semântica. O RRF combina posições em listas classificadas em vez de adicionar pontuações com unidades incompatíveis. Estágios extras devem justificar sua qualidade, latência e custo por meio de testes.
Fluência e verdade são verificadas separadamente
Uma alucinação é um conteúdo não suportado ou incorreto apresentado como resposta. Pode surgir de falta de informação, ambiguidade ou padrões combinados incorretamente. Peça provas e verifique o documento original, data, unidades e condições. Uma citação real ainda pode não apoiar a afirmação. Use fontes atuais para fatos atuais, uma calculadora para aritmética e “não é possível determinar” quando faltam evidências. Não trate a confiança expressa em prosa como uma probabilidade calibrada.
O esquema explicativo
Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. Em telas pequenas, role na horizontal para acompanhar o esquema completo.
Um exemplo completo
O texto está no PDF? Foi extraído? O pedaço existe? Tornou-se candidato? Está no contexto? A resposta usa isso corretamente? Essas verificações separam seis causas.
Experimente você mesmo
- Diagnosticar extração vazia, classificação baixa, condições truncadas, fontes obsoletas e reivindicações inventadas.
- Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
- Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
- Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
- Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.
Uma solução explicada
Identifique o primeiro estágio com dados ausentes ou incorretos e teste uma alteração direcionada. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.
Quando esta abordagem ajuda e quais são seus limites
Aumentar top_k não pode corrigir a extração vazia. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.
Verifique o que aprendeu
O upload concluído significa que um documento está pronto para RAG?
Não. A extração, fragmentação e indexação também devem ser concluídas com êxito.
Um reclassificador pode consertar um documento não indexado?
Não. A passagem deve primeiro existir no índice e na lista de candidatos.
Que resultado este exercício deve produzir?
Identifique o primeiro estágio com dados ausentes ou incorretos e teste uma alteração direcionada.
Termos para lembrar
- Pedaço: uma passagem de documento que pode ser recuperada separadamente.
- Reclassificar: Uma reordenação mais cuidadosa dos candidatos já recuperados.
- Aterramento: Fundamentar uma resposta em evidências verificáveis.
Fontes e sua próxima etapa
Para preparar: D04 — Boas perguntas para testar RAG