Fragmentación y metadatos
La fragmentación determina cuánto contexto se recupera en un pasaje.
lo que aprenderás
- Explique: los buenos documentos vienen antes que las buenas respuestas
- Aplique la idea en un ejemplo: fragmentación y metadatos
- Reconocer las limitaciones y verificar el resultado del ejercicio.
La fragmentación determina cuánto contexto se recupera en un pasaje. Los metadatos nos dicen de dónde provienen y si están actualizados.
Este es un laboratorio conceptual o externo. No asume que la aplicación expone todos los controles descritos.
Cómo funciona, paso a paso
Los buenos documentos vienen antes que las buenas respuestas
Prepare texto legible, títulos claros, tablas con encabezados y fuentes sin duplicados innecesarios. La fragmentación divide un documento en pasajes recuperables por separado; La superposición preserva la continuidad entre los vecinos. Un trozo pequeño puede perder condiciones, mientras que uno grande introduce ruido. Los metadatos conservan la fuente, la posición y la versión, además del alcance del acceso cuando lo exija la implementación. Cargar almacena el archivo; la indexación hace que se pueda buscar. Cuando una fuente cambia, verifique que los fragmentos antiguos desaparezcan y se recuperen los nuevos antes de declarar actual la base de conocimientos.
Coordenadas de significado
Una incrustación es un vector numérico calculado por un modelo. Los textos con significados relacionados tienden a estar cerca unos de otros en el espacio de ese modelo, pero la similitud no garantiza la relevancia. Consultas y documentos deben compartir un espacio compatible: modelo y dimensiones coincidentes. Un mapa de dos ejes es ilustrativo; Los vectores reales pueden tener cientos o miles de dimensiones. Reconstruya y vuelva a probar el índice al cambiar el modelo o las dimensiones. La similitud del coseno compara las direcciones de los vectores; no es la probabilidad de que una respuesta sea verdadera.
Defina el éxito antes de optimizar
Preparar solicitudes representativas y respuestas o propiedades esperadas. Incluya casos comunes, ambigüedad, datos faltantes y errores de herramientas. Para RAG, mida la recuperación de evidencia por separado de la corrección de las respuestas. Recall@k mide la proporción de evidencia relevante encontrada en los primeros k resultados; precision@k mide la proporción de resultados devueltos que son relevantes. Para los agentes, también realice un seguimiento de las acciones, los permisos y las detenciones. Un LLM como juez puede acelerar la evaluación, pero necesita una calibración con respecto a los humanos. No cambie el indicador, el modelo y el índice simultáneamente si desea comprender qué mejoró los resultados.
El esquema explicativo
Siga las flechas sólidas para el flujo principal. Las flechas azules discontinuas proporcionan datos o contexto; Las flechas discontinuas de color rosa muestran comentarios o resultados devueltos. Colores y formas distinguen modelos, tiendas, decisiones y resultados. En pantallas pequeñas, desplázate horizontalmente para seguir todo el esquema.
Un ejemplo completo
Separar “14 días” de “únicamente sin usar” pierde la condición. Mantenga juntas las reglas y las excepciones; conservar los encabezados de las tablas en las representaciones extraídas.
Pruébalo tú mismo
- Divida la política en dos sentidos y compare la información perdida en los límites.
- Registre la entrada, la fuente y el resultado esperado antes de ejecutar el experimento. Utilice únicamente los datos ficticios del ejemplo.
- Siga las etapas del diagrama. En cada paso registre qué información se recibe y se produce; No confunda el resultado intermedio con el resultado final.
- Repita después de eliminar la información necesaria o hacer que la entrada sea ambigua. Compruebe si el sistema aclara, detiene o inventa una respuesta.
- Comparar con la solución explicada. Conserve la configuración, fecha, resultado y una explicación de las diferencias. Cambie una cosa y vuelva a probar.
Una solución explicada
El pasaje relevante conserva la fecha límite y la condición, además del identificador de la fuente. Un ejercicio exitoso le permite mostrar la conexión entre los aportes, las etapas y el resultado. Cuando falta información, una respuesta cautelosa es más útil que detalles inventados. Compare más que estilo: compruebe también las condiciones, las fuentes y las operaciones.
Cuándo resulta útil y cuáles son sus límites
No asuma que existe un control de interfaz de usuario de tamaño parcial a menos que esté expuesto. Elija este enfoque cuando mejore una necesidad medida. Mantenga una línea de base simple y compare los resultados utilizando insumos idénticos. Un ejemplo exitoso no establece confiabilidad en todas las situaciones.
Comprueba lo que has aprendido
¿La carga completa significa que un documento está listo para RAG?
No. La extracción, la fragmentación y la indexación también deben completarse correctamente.
¿Puedes comparar directamente vectores de diferentes modelos?
Generalmente no; sus espacios no son automáticamente compatibles.
¿Qué resultado debería producir este ejercicio?
El pasaje relevante conserva la fecha límite y la condición, además del identificador de la fuente.
Términos que conviene recordar
- Pedazo: Un pasaje de documento que se puede recuperar por separado.
- incrustar: Una representación numérica utilizada para comparar contenido.
- Regresión / Regresión: Un cambio que rompe un caso previamente correcto.
Fuentes y su próximo paso
Para preparar: D02: carga, indexación rápida e indexación por lotes