Autonomía limitada e intervención humana

Un agente útil no necesita derechos ilimitados.

lo que aprenderás

  • Explique: un bucle de agente acotado
  • Aplique la idea en un ejemplo: autonomía limitada e intervención humana
  • Reconocer las limitaciones y verificar el resultado del ejercicio.

Un agente útil no necesita derechos ilimitados. Permita la lectura y la redacción manteniendo el control sobre las acciones consecuentes.

Este es un laboratorio conceptual o externo. No asume que la aplicación expone todos los controles descritos.

Cómo funciona, paso a paso

Un bucle de agente acotado

Un agente combina un modelo con herramientas, una meta y un estado. Observa la solicitud, elige un paso, recibe un resultado y decide si continúa. Un chatbot sólo puede generar texto; un agente puede solicitar una acción externa. Las definiciones comerciales varían, así que inspeccione el control real. Defina éxito y parada: un resultado verificado, un recuento máximo de pasos, errores repetidos o un presupuesto agotado. Utilice capacidades limitadas y permisos mínimos. Autonomía útil significa libertad dentro de los límites impuestos por el software.

Comprobar el acceso antes de su uso.

Los servidores y la capa de datos deben hacer cumplir los permisos. No permita que el modelo decida si un usuario puede ver un documento. Filtre las fuentes antes de que entren en contexto, no después de generar la respuesta. Utilice credenciales de acceso mínimo, manténgalas alejadas de mensajes, capturas de pantalla y códigos del navegador, y rote las claves expuestas. Una lista de dominios permitidos de widget no reemplaza la autenticación API. La autenticación le identifica; La autorización determina las operaciones y los datos que puede utilizar. Pruebe también el acceso denegado.

Los errores necesitan rutas explícitas

Un tiempo de espera difiere de un error de permiso. Reintente solo errores transitorios, con intentos limitados y retrasos crecientes. Una operación con efectos secundarios puede ejecutarse antes de que se pierda su respuesta; volver a intentarlo sin una clave de idempotencia puede duplicar el efecto. La transmisión muestra el progreso pero no garantiza su finalización. Los puntos de control pueden permitir que las etapas fallidas se reanuden dentro de los límites de tiempo de ejecución. Almacene el identificador de ejecución, la etapa, la duración y el error mientras elimina los secretos de los registros. Mida trayectorias lentas y promedios.

El esquema explicativo

Autonomía limitada e intervención humana Siga las flechas sólidas para el flujo principal. Las flechas azules discontinuas proporcionan datos o contexto; Las flechas discontinuas de color rosa muestran comentarios o resultados devueltos. Colores y formas distinguen modelos, tiendas, decisiones y resultados. La aprobación humana es un control de integración conceptual, no una consecuencia incorporada de solicitar aprobación en un mensaje. Conexiones: Solicitud de usuario → Agente / LLM; Agente / LLM → Elige la siguiente acción; El humano aprueba la acción. → Acción exterior; Acción exterior → Resultado a verificar; Resultado a verificar → Verificación humana; Herramientas MCP/RAG → Resultado a verificar; Permisos de acceso → Elige la siguiente acción; Límites de pasos e iteraciones → Elige la siguiente acción; Elige la siguiente acción → Herramientas MCP/RAG (Dentro del alcance permitido); Elige la siguiente acción → El humano aprueba la acción. (Acción consecuencial); El humano aprueba la acción. → Rechazar o detener (Denegada); Verificación humana → Agente / LLM. A06 · mapa de relaciones Autonomía limitada e intervención humana Aporte Solicitud de usuario Decisión/control Permisos de acceso Decisión/control Límites de pasos e iteraciones Modelo/agente de IA Agente / LLM Decisión/control Elige la siguiente acción Decisión/control El humano aprueba la acción. Herramienta / servicio Herramientas MCP/RAG Producción Rechazar o detener Herramienta / servicio Acción exterior Producción Resultado a verificar Decisión/control Verificación humana Dentro del alcance permitido Acción consecuencial Denegada Flujo principal Datos y contexto Comentarios y devolución

Siga las flechas sólidas para el flujo principal. Las flechas azules discontinuas proporcionan datos o contexto; Las flechas discontinuas de color rosa muestran comentarios o resultados devueltos. Colores y formas distinguen modelos, tiendas, decisiones y resultados. La aprobación humana es un control de integración conceptual, no una consecuencia incorporada de solicitar aprobación en un mensaje. En pantallas pequeñas, desplázate horizontalmente para seguir todo el esquema.

Un ejemplo completo

El agente propone una devolución después de comprobar la política. Su propuesta incluye orden, motivo y condiciones. Un reembolso es una operación separada que requiere autorización y verificación.

Pruébalo tú mismo

  1. Clasificar las operaciones en lectura, redacción, cambio reversible y efecto irreversible.
  2. Registre la entrada, la fuente y el resultado esperado antes de ejecutar el experimento. Utilice únicamente los datos ficticios del ejemplo.
  3. Siga las etapas del diagrama. En cada paso registre qué información se recibe y se produce; No confunda el resultado intermedio con el resultado final.
  4. Repita después de eliminar la información necesaria o hacer que la entrada sea ambigua. Compruebe si el sistema aclara, detiene o inventa una respuesta.
  5. Comparar con la solución explicada. Conserve la configuración, fecha, resultado y una explicación de las diferencias. Cambie una cosa y vuelva a probar.

Una solución explicada

Obtiene una propuesta verificable sin transacciones automáticas ni memoria persistente asumida. Un ejercicio exitoso le permite mostrar la conexión entre los aportes, las etapas y el resultado. Cuando falta información, una respuesta cautelosa es más útil que detalles inventados. Compare más que estilo: compruebe también las condiciones, las fuentes y las operaciones.

Cuándo resulta útil y cuáles son sus límites

Un control de aprobación conceptual no establece su presencia en la interfaz de usuario. Elija este enfoque cuando mejore una necesidad medida. Mantenga una línea de base simple y compare los resultados utilizando insumos idénticos. Un ejemplo exitoso no establece confiabilidad en todas las situaciones.

Comprueba lo que has aprendido

¿Más autonomía siempre da mejor resultado?

No. También aumenta el margen de error, costes y acciones innecesarias.

¿Por qué eliminar una fuente privada después de responder es demasiado tarde?

Los datos ya han entrado en el contexto del modelo y pueden divulgarse.

¿Qué resultado debería producir este ejercicio?

Obtiene una propuesta verificable sin transacciones automáticas ni memoria persistente asumida.

Términos que conviene recordar

  • Agente: Un sistema que puede elegir pasos y utilizar herramientas para lograr un objetivo.
  • Autorizar / Autorización: Comprobar el derecho de acceso a una operación o recurso.
  • Idempotencia: Repetición controlada sin duplicar un efecto.

Fuentes y su próximo paso

Para preparar: A05: búsqueda web y ejecución de código