Atualizações, exclusão e reindexação

Uma atualização fica incompleta até que as respostas usem a nova versão.

O que você aprenderá

  • Explique: bons documentos vêm antes de boas respostas
  • Aplique a ideia em um exemplo: Atualizações, exclusão e reindexação
  • Reconheça as limitações e verifique o resultado do exercício

Uma atualização fica incompleta até que as respostas usem a nova versão. A reindexação altera a representação pesquisável.

Estas etapas referem-se aos recursos identificados no código do aplicativo. Este material não foi validado em uma instância ativa; verifique a documentação e as opções da sua versão.

Como funciona, passo a passo

Bons documentos vêm antes de boas respostas

Prepare texto legível, títulos claros, tabelas com cabeçalhos e fontes sem duplicatas desnecessárias. A fragmentação divide um documento em passagens recuperáveis ​​separadamente; a sobreposição preserva a continuidade entre vizinhos. Um pedaço pequeno pode perder condições, enquanto um pedaço grande introduz ruído. Os metadados preservam a origem, a posição e a versão, além do escopo de acesso quando aplicado pela implementação. Upload armazena o arquivo; a indexação o torna pesquisável. Quando uma fonte muda, verifique se os pedaços antigos desaparecem e os novos são recuperados antes de declarar a base de conhecimento atual.

Coordenadas para significado

Uma incorporação é um vetor numérico calculado por um modelo. Textos com significados relacionados tendem a ficar próximos uns dos outros no espaço desse modelo, mas a similaridade não garante relevância. Consultas e documentos devem compartilhar um espaço compatível: modelo e dimensões correspondentes. Um mapa de dois eixos é ilustrativo; vetores reais podem ter centenas ou milhares de dimensões. Recrie e teste novamente o índice ao alterar o modelo ou as dimensões. A similaridade de cossenos compara as direções dos vetores; não é a probabilidade de uma resposta ser verdadeira.

Defina o sucesso antes de otimizar

Prepare solicitações representativas e respostas ou propriedades esperadas. Inclui casos comuns, ambiguidade, dados faltantes e erros de ferramentas. Para RAG, meça a recuperação de evidências separadamente da correção da resposta. Recall@k mede a parcela de evidências relevantes encontradas nos primeiros k resultados; Precision@k mede a parcela de resultados retornados que são relevantes. Para agentes, rastreie também ações, permissões e paradas. Um LLM como juiz pode acelerar a avaliação, mas precisa de calibração em humanos. Não altere prompt, modelo e índice simultaneamente se quiser entender o que melhorou os resultados.

O esquema explicativo

Atualizações, exclusão e reindexação Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. Conexões: Fonte alterada ou excluída → Remova passagens obsoletas; Remova passagens obsoletas → Reindexar a versão atual; Reindexar a versão atual → Status de indexação; Status de indexação → Pesquisa semântica; Pesquisa semântica → Verificação humana; Fonte, página e versão → Reindexar a versão atual; Reindexar a versão atual → Índice vetorial; Reindexar a versão atual → Gráfico de conhecimento Neo4j; Perguntas representativas do teste → Pesquisa semântica; Fontes originais → Verificação humana. D06 · Mapa de relacionamento Atualizações, exclusão e reindexação Entrada Fonte alterada ou excluída Dadas Fonte, página e versão Armazenar / indexar Fontes originais Processamento Remova passagens obsoletas Processamento Reindexar a versão atual Dadas Status de indexação Armazenar / indexar Índice vetorial Armazenar / indexar Gráfico de conhecimento Neo4j Entrada Perguntas representativas do teste Processamento Pesquisa semântica Decisão/controle Verificação humana Fluxo principal Dados e contexto Feedback e retorno

Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. Em telas pequenas, role na horizontal para acompanhar o esquema completo.

Um exemplo completo

Mude a fixação de 14 para 30 dias. Remova a versão antiga, indexe a nova fonte e execute novamente as perguntas. A alteração de embeddings requer corpus compatível e representações de consulta.

Experimente você mesmo

  1. Execute uma migração de dados sintéticos e retenha o conjunto de regressão.
  2. Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
  3. Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
  4. Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
  5. Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.

Uma solução explicada

Passagens de regras antigas não são mais recuperadas; as respostas fazem referência à nova fonte. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.

Quando esta abordagem ajuda e quais são seus limites

Não misture vetores incompatíveis em um índice. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.

Verifique o que aprendeu

O upload concluído significa que um documento está pronto para RAG?

Não. A extração, fragmentação e indexação também devem ser concluídas com êxito.

Você pode comparar diretamente vetores de diferentes modelos?

Geralmente não; seus espaços não são automaticamente compatíveis.

Que resultado este exercício deve produzir?

Passagens de regras antigas não são mais recuperadas; as respostas fazem referência à nova fonte.

Termos para lembrar

  • Pedaço: uma passagem de documento que pode ser recuperada separadamente.
  • Incorporação: uma representação numérica usada para comparar conteúdo.
  • Regressão / Regressão: uma alteração que quebra um caso anteriormente correto.

Fontes e sua próxima etapa

Para preparar: D05 — Por que o RAG responde mal?