Reclassificar RAG: melhores evidências primeiro

A reclassificação adiciona uma seleção mais cuidadosa após a recuperação. Ajuda quando existem boas evidências, mas a classificação é muito baixa.

Estas etapas referem-se aos recursos identificados no código do aplicativo. Este material não foi validado em uma instância ativa; verifique a documentação e as opções da sua versão.

Como funciona, passo a passo

Pesquisa e classificação são etapas diferentes

A recuperação seleciona os candidatos e os ordena. top_k é o número de resultados solicitados; aumentá-lo pode trazer evidências, mas também ruído. Um reclassificador examina a consulta e os candidatos mais de perto. Não é possível recuperar uma passagem que falta na lista inicial. O BM25 procura correspondências lexicais e ajuda com códigos exatos; a pesquisa vetorial procura semelhança semântica. O RRF combina posições em listas classificadas em vez de adicionar pontuações com unidades incompatíveis. Estágios extras devem justificar sua qualidade, latência e custo por meio de testes.

RAG acessa evidências, não treina novamente

RAG significa geração aumentada de recuperação: a recuperação fornece passagens relevantes antes que o modelo responda. A ingestão prepara documentos, enquanto a execução da consulta pesquisa o índice e cria contexto. Um modelo de incorporação representa o texto numericamente; o modelo de resposta escreve a resposta. Reclassificadores, visão, gráficos e modelos de roteador têm funções diferentes quando necessário. RAG ajuda com informações privadas ou em mudança, mas não garante a verdade. Use uma API autorizada para saldos, inventário exato ou permissões; um documento antigo não é uma fonte confiável para o estado atual.

O custo pertence a todo o caminho

Conte chamadas de modelo, tokens de entrada e saída, incorporações, reclassificação, visão e ferramentas. O raciocínio pode consumir tokens faturáveis ​​sem uma resposta visível igualmente longa. Os custos de indexação e os custos de conversação são diferentes. Use os preços atuais em vez de um número permanente de um curso. Uma estimativa simples é tokens/1.000.000 × preço mais operações adicionais; os créditos do aplicativo podem ter sua própria conversão. Compare o custo por tarefa bem-sucedida, não apenas por chamada. A execução paralela pode reduzir a latência e aumentar o consumo total. Um orçamento precisa de uma condição de parada verificada.

Laboratório detalhado

Interpretar listas iniciais e finais

initial_top_k determina a contagem de candidatos recuperados; final_top_k determina quantos restam após a reclassificação. Verifique o reclassificador selecionado e seu custo. O texto de entrega pode estar semanticamente próximo de uma pergunta de retorno sem ser uma evidência apropriada.

Compare execuções usando corpus, consulta e modelo de resposta idênticos. Se a passagem relevante estiver ausente de ambas as listas iniciais, a reclassificação não poderá resolver a causa. Se estiver presente e melhor classificado, verifique também a resposta final: uma lista melhor não garante que todas as condições sejam utilizadas.

O esquema explicativo

Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. A recuperação retorna evidências. Se um modelo de resposta estiver habilitado, ele também compõe uma resposta; as evidências recuperadas ainda precisam ser verificadas. Em telas pequenas, role na horizontal para acompanhar o esquema completo.

Um exemplo completo

A política de retorno é a oitava candidata. initial_top_k=15 inclui; final_top_k=5 mantém as passagens reclassificadas mais relevantes. Com apenas quatro candidatos iniciais, estaria ausente.

template: Rerank
initial_top_k: 15
final_top_k: 5

Experimente você mesmo

1. Configure um reclassificador, initial_top_k=15 e final_top_k=5 como um experimento, não como configurações universais.
2. Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
3. Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
4. Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
5. Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.

Uma solução explicada

Evidências corretas são incluídas e melhor ordenadas; compare qualidade e custo com o Naive. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.

Quando esta abordagem ajuda e quais são seus limites

A reclassificação não pode corrigir fontes não indexadas ou não autorizadas. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.

Verifique o que aprendeu

Um reclassificador pode consertar um documento não indexado?

Não. A passagem deve primeiro existir no índice e na lista de candidatos.

O RAG altera os parâmetros do LLM?

Não. Ele fornece contexto de tempo de solicitação; alterações de parâmetros pertencem ao treinamento.

Que resultado este exercício deve produzir?

Evidências corretas são incluídas e melhor ordenadas; compare qualidade e custo com o Naive.

Termos para lembrar

• Reclassificar: Uma reordenação mais cuidadosa dos candidatos já recuperados.
• Recuperação: Encontrar informações relevantes em fontes acessíveis.
• Latență / Latência: Tempo até um resultado útil.

Fontes e sua próxima etapa

• Lewis et al. — Retrieval-Augmented Generation
• OpenRouter — Tokens de raciocínio

Para preparar: R03 — Naive RAG: sua linha de base