Hybrid RAG: significado e palavras exatas
Híbrido combina pesquisa semântica e lexical.
O que você aprenderá
- Explique: pesquisa e classificação são etapas diferentes
- Aplique a ideia em um exemplo: RAG Híbrido: significado e palavras exatas
- Reconheça as limitações e verifique o resultado do exercício
Híbrido combina pesquisa semântica e lexical. Ajuda nas consultas que combinam identificadores exatos e descrições em linguagem natural.
Estas etapas referem-se aos recursos identificados no código do aplicativo. Este material não foi validado em uma instância ativa; verifique a documentação e as opções da sua versão.
Como funciona, passo a passo
Pesquisa e classificação são etapas diferentes
A recuperação seleciona os candidatos e os ordena. top_k é o número de resultados solicitados; aumentá-lo pode trazer evidências, mas também ruído. Um reclassificador examina a consulta e os candidatos mais de perto. Não é possível recuperar uma passagem que falta na lista inicial. O BM25 procura correspondências lexicais e ajuda com códigos exatos; a pesquisa vetorial procura semelhança semântica. O RRF combina posições em listas classificadas em vez de adicionar pontuações com unidades incompatíveis. Estágios extras devem justificar sua qualidade, latência e custo por meio de testes.
Coordenadas para significado
Uma incorporação é um vetor numérico calculado por um modelo. Textos com significados relacionados tendem a ficar próximos uns dos outros no espaço desse modelo, mas a similaridade não garante relevância. Consultas e documentos devem compartilhar um espaço compatível: modelo e dimensões correspondentes. Um mapa de dois eixos é ilustrativo; vetores reais podem ter centenas ou milhares de dimensões. Recrie e teste novamente o índice ao alterar o modelo ou as dimensões. A similaridade de cossenos compara as direções dos vetores; não é a probabilidade de uma resposta ser verdadeira.
Defina o sucesso antes de otimizar
Prepare solicitações representativas e respostas ou propriedades esperadas. Inclui casos comuns, ambiguidade, dados faltantes e erros de ferramentas. Para RAG, meça a recuperação de evidências separadamente da correção da resposta. Recall@k mede a parcela de evidências relevantes encontradas nos primeiros k resultados; Precision@k mede a parcela de resultados retornados que são relevantes. Para agentes, rastreie também ações, permissões e paradas. Um LLM como juiz pode acelerar a avaliação, mas precisa de calibração em humanos. Não altere prompt, modelo e índice simultaneamente se quiser entender o que melhorou os resultados.
Laboratório detalhado
O que o RRF combina?
O RRF favorece documentos com classificação elevada em uma ou mais listas. Ele usa classificação em vez de assumir que as pontuações do BM25 e a similaridade vetorial compartilham uma escala. No modelo local, a lista fundida é reclassificada antes da montagem do contexto.
Por exemplo, a pesquisa vetorial coloca o manual acima do catálogo; BM25 coloca o catálogo LX-240 em primeiro lugar. A fusão pode reter ambas as fontes de evidências. A reclassificação verifica a relevância da consulta. Se nenhuma das listas contiver as evidências necessárias, a fusão não poderá criá-las.
O esquema explicativo
Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. As listas de candidatos semânticos e BM25 são combinadas por RRF e depois reclassificadas. As duas pesquisas são complementares; o sorteio não implica execução simultânea. A recuperação retorna evidências. Se um modelo de resposta estiver habilitado, ele também compõe uma resposta; as evidências recuperadas ainda precisam ser verificadas. Em telas pequenas, role na horizontal para acompanhar o esquema completo.
Um exemplo completo
Para “adaptador para LX-240”, a pesquisa vetorial captura o significado e o BM25 ajuda com o identificador exato. O Híbrido Local aplica RRF, depois reclassifica e gera.
template: Hybrid
vector_k: 15
bm25_k: 15
final_top_k: 5
Experimente você mesmo
- Configure vector_k=15, bm25_k=15 e final_top_k=5; compare com Naive em identificadores exatos.
- Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
- Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
- Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
- Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.
Uma solução explicada
A passagem certa chega à lista final sem adicionar diretamente vetores incompatíveis e pontuações BM25. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.
Quando esta abordagem ajuda e quais são seus limites
Uma correspondência lexical exata ainda pode vir da versão errada. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.
Verifique o que aprendeu
Um reclassificador pode consertar um documento não indexado?
Não. A passagem deve primeiro existir no índice e na lista de candidatos.
Você pode comparar diretamente vetores de diferentes modelos?
Geralmente não; seus espaços não são automaticamente compatíveis.
Que resultado este exercício deve produzir?
A passagem certa chega à lista final sem adicionar diretamente vetores incompatíveis e pontuações BM25.
Termos para lembrar
- Reclassificar: Uma reordenação mais cuidadosa dos candidatos já recuperados.
- Incorporação: uma representação numérica usada para comparar conteúdo.
- Regressão / Regressão: uma alteração que quebra um caso anteriormente correto.
Fontes e sua próxima etapa
Para preparar: R06 — Gráfico RAG e gráficos de conhecimento