Incorporações e pesquisa vetorial

Os embeddings permitem a pesquisa por significado mesmo quando a pergunta difere do texto do documento. Vetores são coordenadas específicas do modelo.

Você pode seguir este curso sem conta ou programação. Os exemplos usam dados sintéticos e os resultados da IA ​​precisam ser verificados.

Como funciona, passo a passo

Coordenadas para significado

Uma incorporação é um vetor numérico calculado por um modelo. Textos com significados relacionados tendem a ficar próximos uns dos outros no espaço desse modelo, mas a similaridade não garante relevância. Consultas e documentos devem compartilhar um espaço compatível: modelo e dimensões correspondentes. Um mapa de dois eixos é ilustrativo; vetores reais podem ter centenas ou milhares de dimensões. Recrie e teste novamente o índice ao alterar o modelo ou as dimensões. A similaridade de cossenos compara as direções dos vetores; não é a probabilidade de uma resposta ser verdadeira.

Pesquisa e classificação são etapas diferentes

A recuperação seleciona os candidatos e os ordena. top_k é o número de resultados solicitados; aumentá-lo pode trazer evidências, mas também ruído. Um reclassificador examina a consulta e os candidatos mais de perto. Não é possível recuperar uma passagem que falta na lista inicial. O BM25 procura correspondências lexicais e ajuda com códigos exatos; a pesquisa vetorial procura semelhança semântica. O RRF combina posições em listas classificadas em vez de adicionar pontuações com unidades incompatíveis. Estágios extras devem justificar sua qualidade, latência e custo por meio de testes.

Bons documentos vêm antes de boas respostas

Prepare texto legível, títulos claros, tabelas com cabeçalhos e fontes sem duplicatas desnecessárias. A fragmentação divide um documento em passagens recuperáveis ​​separadamente; a sobreposição preserva a continuidade entre vizinhos. Um pedaço pequeno pode perder condições, enquanto um pedaço grande introduz ruído. Os metadados preservam a origem, a posição e a versão, além do escopo de acesso quando aplicado pela implementação. Upload armazena o arquivo; a indexação o torna pesquisável. Quando uma fonte muda, verifique se os pedaços antigos desaparecem e os novos são recuperados antes de declarar a base de conhecimento atual.

O esquema explicativo

Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. A recuperação retorna evidências. Se um modelo de resposta estiver habilitado, ele também compõe uma resposta; as evidências recuperadas ainda precisam ser verificadas. Em telas pequenas, role na horizontal para acompanhar o esquema completo.

Um exemplo completo

“Quando meu pacote chega?” pode encontrar “A entrega leva de 2 a 3 dias”. O “Código LX-240” também possui um componente de correspondência exata que a pesquisa lexical pode ajudar.

Experimente você mesmo

1. Compare duas perguntas equivalentes e uma com um código exato diferente.
2. Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
3. Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
4. Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
5. Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.

Uma solução explicada

Identificar a passagem relevante e verificar as suas condições; semelhança não é probabilidade de verdade. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.

Quando esta abordagem ajuda e quais são seus limites

Dimensões iguais não garantem espaços vetoriais compatíveis. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.

Verifique o que aprendeu

Você pode comparar diretamente vetores de diferentes modelos?

Geralmente não; seus espaços não são automaticamente compatíveis.

Um reclassificador pode consertar um documento não indexado?

Não. A passagem deve primeiro existir no índice e na lista de candidatos.

Que resultado este exercício deve produzir?

Identificar a passagem relevante e verificar as suas condições; semelhança não é probabilidade de verdade.

Termos para lembrar

• Incorporação: uma representação numérica usada para comparar conteúdo.
• Reclassificar: Uma reordenação mais cuidadosa dos candidatos já recuperados.
• Pedaço: uma passagem de documento que pode ser recuperada separadamente.

Fontes e sua próxima etapa

• Lewis et al. — Retrieval-Augmented Generation

Para preparar: R01 — O que é RAG e por que é útil?