Incrustaciones y búsqueda de vectores.
Las incrustaciones permiten la búsqueda por significado incluso cuando la pregunta difiere del texto del documento.
lo que aprenderás
- Explique: coordenadas para el significado.
- Aplica la idea en un ejemplo: incrustaciones y búsqueda vectorial.
- Reconocer las limitaciones y verificar el resultado del ejercicio.
Las incrustaciones permiten la búsqueda por significado incluso cuando la pregunta difiere del texto del documento. Los vectores son coordenadas específicas del modelo.
Puedes seguir este curso sin cuenta ni programación. Los ejemplos utilizan datos sintéticos y es necesario comprobar los resultados de la IA.
Cómo funciona, paso a paso
Coordenadas de significado
Una incrustación es un vector numérico calculado por un modelo. Los textos con significados relacionados tienden a estar cerca unos de otros en el espacio de ese modelo, pero la similitud no garantiza la relevancia. Consultas y documentos deben compartir un espacio compatible: modelo y dimensiones coincidentes. Un mapa de dos ejes es ilustrativo; Los vectores reales pueden tener cientos o miles de dimensiones. Reconstruya y vuelva a probar el índice al cambiar el modelo o las dimensiones. La similitud del coseno compara las direcciones de los vectores; no es la probabilidad de que una respuesta sea verdadera.
La búsqueda y el ranking son etapas diferentes
La recuperación selecciona candidatos y los ordena por clasificación. top_k es el número de resultados solicitados; aumentarlo puede traer evidencia pero también ruido. Un reclasificador examina la consulta y los candidatos más de cerca. No puede recuperar un pasaje que falta en la lista inicial. BM25 busca coincidencias léxicas y ayuda con códigos exactos; La búsqueda de vectores busca similitudes semánticas. RRF combina posiciones en listas clasificadas en lugar de sumar puntuaciones con unidades incompatibles. Las etapas adicionales deben justificar su calidad, latencia y costo mediante pruebas.
Los buenos documentos vienen antes que las buenas respuestas
Prepare texto legible, títulos claros, tablas con encabezados y fuentes sin duplicados innecesarios. La fragmentación divide un documento en pasajes recuperables por separado; La superposición preserva la continuidad entre los vecinos. Un trozo pequeño puede perder condiciones, mientras que uno grande introduce ruido. Los metadatos conservan la fuente, la posición y la versión, además del alcance del acceso cuando lo exija la implementación. Cargar almacena el archivo; la indexación hace que se pueda buscar. Cuando una fuente cambia, verifique que los fragmentos antiguos desaparezcan y se recuperen los nuevos antes de declarar actual la base de conocimientos.
El esquema explicativo
Siga las flechas sólidas para el flujo principal. Las flechas azules discontinuas proporcionan datos o contexto; Las flechas discontinuas de color rosa muestran comentarios o resultados devueltos. Colores y formas distinguen modelos, tiendas, decisiones y resultados. La recuperación devuelve evidencia. Si un modelo de respuesta está habilitado, también redacta una respuesta; La evidencia recuperada aún necesita ser revisada. En pantallas pequeñas, desplázate horizontalmente para seguir todo el esquema.
Un ejemplo completo
"¿Cuándo llega mi paquete?" Puede encontrar "La entrega demora entre 2 y 3 días". El “Código LX-240” también tiene un componente de coincidencia exacta que la búsqueda léxica puede ayudar.
Pruébalo tú mismo
- Compara dos preguntas equivalentes y una con código exacto diferente.
- Registre la entrada, la fuente y el resultado esperado antes de ejecutar el experimento. Utilice únicamente los datos ficticios del ejemplo.
- Siga las etapas del diagrama. En cada paso registre qué información se recibe y se produce; No confunda el resultado intermedio con el resultado final.
- Repita después de eliminar la información necesaria o hacer que la entrada sea ambigua. Compruebe si el sistema aclara, detiene o inventa una respuesta.
- Comparar con la solución explicada. Conserve la configuración, fecha, resultado y una explicación de las diferencias. Cambie una cosa y vuelva a probar.
Una solución explicada
Identificar el pasaje relevante y verificar sus condiciones; la similitud no es probabilidad de verdad. Un ejercicio exitoso le permite mostrar la conexión entre los aportes, las etapas y el resultado. Cuando falta información, una respuesta cautelosa es más útil que detalles inventados. Compare más que estilo: compruebe también las condiciones, las fuentes y las operaciones.
Cuándo resulta útil y cuáles son sus límites
Dimensiones iguales no garantizan espacios vectoriales compatibles. Elija este enfoque cuando mejore una necesidad medida. Mantenga una línea de base simple y compare los resultados utilizando insumos idénticos. Un ejemplo exitoso no establece confiabilidad en todas las situaciones.
Comprueba lo que has aprendido
¿Puedes comparar directamente vectores de diferentes modelos?
Generalmente no; sus espacios no son automáticamente compatibles.
¿Puede un reclasificador corregir un documento no indexado?
No. El pasaje primero debe existir en el índice y en la lista de candidatos.
¿Qué resultado debería producir este ejercicio?
Identificar el pasaje relevante y verificar sus condiciones; la similitud no es probabilidad de verdad.
Términos que conviene recordar
- incrustar: Una representación numérica utilizada para comparar contenido.
- Reclasificar: Una reordenación más cuidadosa de los candidatos ya recuperados.
- Pedazo: Un pasaje de documento que se puede recuperar por separado.
Fuentes y su próximo paso
Para preparar: R01 — ¿Qué es RAG y para qué sirve?