Evaluación de agentes y equipos
Un agente puede escribir una buena respuesta después de una acción incorrecta.
lo que aprenderás
- Explique: defina el éxito antes de optimizar
- Aplicar la idea en un ejemplo: Evaluación de agentes y equipos
- Reconocer las limitaciones y verificar el resultado del ejercicio.
Un agente puede escribir una buena respuesta después de una acción incorrecta. Evaluar todo el camino.
Puedes seguir este curso sin cuenta ni programación. Los ejemplos utilizan datos sintéticos y es necesario comprobar los resultados de la IA.
Cómo funciona, paso a paso
Defina el éxito antes de optimizar
Preparar solicitudes representativas y respuestas o propiedades esperadas. Incluya casos comunes, ambigüedad, datos faltantes y errores de herramientas. Para RAG, mida la recuperación de evidencia por separado de la corrección de las respuestas. Recall@k mide la proporción de evidencia relevante encontrada en los primeros k resultados; precision@k mide la proporción de resultados devueltos que son relevantes. Para los agentes, también realice un seguimiento de las acciones, los permisos y las detenciones. Un LLM como juez puede acelerar la evaluación, pero necesita una calibración con respecto a los humanos. No cambie el indicador, el modelo y el índice simultáneamente si desea comprender qué mejoró los resultados.
El modelo propone, la herramienta ejecuta
La llamada a herramientas produce una solicitud de llamada con un nombre y argumentos. La aplicación valida el esquema, permisos y límites antes de la ejecución. El resultado vuelve al contexto para el siguiente paso. Por ejemplo, get_product_stock toma un SKU y devuelve una cantidad; su descripción debe explicar que no reserva productos. Distinga resultados vacíos, errores de validación, accesos faltantes y tiempos de espera. Un JSON válido no prueba que los argumentos sean correctos ni que la acción esté autorizada. Para efectos externos, considere también la ejecución duplicada.
Un flujo de trabajo tiene una estructura explícita
Un nodo es una etapa, una arista es una transición y el estado transporta resultados entre etapas. Un flujo de trabajo tiene una ruta definida por la aplicación, aunque el modelo puede elegir algunas ramas. Los sistemas agentes incluyen tanto flujos de trabajo como agentes que actúan dinámicamente. Nymrio ofrece ReAct, Reflection, Sequential, Orchestrator, Router, Parallel y Plan-and-Execute. Cada uno cambia de coordinación; no convierte automáticamente a un modelo en un experto. Más agentes significan más llamadas y contratos entre roles. Comience con la solución más simple que pase sus pruebas.
El esquema explicativo
Siga las flechas sólidas para el flujo principal. Las flechas azules discontinuas proporcionan datos o contexto; Las flechas discontinuas de color rosa muestran comentarios o resultados devueltos. Colores y formas distinguen modelos, tiendas, decisiones y resultados. En pantallas pequeñas, desplázate horizontalmente para seguir todo el esquema.
Un ejemplo completo
Un agente informa la cantidad correcta pero consultó otro SKU. Un equipo cita una política pero omite el desacuerdo de los trabajadores. Ambos son fracasos a pesar del convincente texto final.
Pruébalo tú mismo
- Compara dos trazas y marca la primera desviación de la meta.
- Registre la entrada, la fuente y el resultado esperado antes de ejecutar el experimento. Utilice únicamente los datos ficticios del ejemplo.
- Siga las etapas del diagrama. En cada paso registre qué información se recibe y se produce; No confunda el resultado intermedio con el resultado final.
- Repita después de eliminar la información necesaria o hacer que la entrada sea ambigua. Compruebe si el sistema aclara, detiene o inventa una respuesta.
- Comparar con la solución explicada. Conserve la configuración, fecha, resultado y una explicación de las diferencias. Cambie una cosa y vuelva a probar.
Una solución explicada
Verifique argumentos, roles, operaciones, fuentes y detenciones, luego la calidad del texto. Un ejercicio exitoso le permite mostrar la conexión entre los aportes, las etapas y el resultado. Cuando falta información, una respuesta cautelosa es más útil que detalles inventados. Compare más que estilo: compruebe también las condiciones, las fuentes y las operaciones.
Cuándo resulta útil y cuáles son sus límites
LLM como juez puede estar sesgado y necesita calibración humana. Elija este enfoque cuando mejore una necesidad medida. Mantenga una línea de base simple y compare los resultados utilizando insumos idénticos. Un ejemplo exitoso no establece confiabilidad en todas las situaciones.
Comprueba lo que has aprendido
¿Un buen puntaje de estilo demuestra el éxito del agente?
No. El agente puede escribir maravillosamente después de utilizar la herramienta o los datos incorrectos.
¿Quién ejecuta una llamada propuesta por el modelo?
La aplicación o servicio de alojamiento después de la validación. El modelo no obtiene automáticamente acceso ilimitado.
¿Qué resultado debería producir este ejercicio?
Verifique argumentos, roles, operaciones, fuentes y detenciones, luego la calidad del texto.
Términos que conviene recordar
- Regresión / Regresión: Un cambio que rompe un caso previamente correcto.
- Llamada de herramientas: una solicitud estructurada para utilizar una capacidad externa.
- Asentir: Una etapa en un gráfico de ejecución.
Fuentes y su próximo paso
Para preparar: E02 — Evaluación de RAG etapa por etapa