Aprendizaje por refuerzo, robótica e investigaciones actuales.

La investigación en IA explora agentes de aprendizaje, modelos ambientales y combinaciones de reglas y aprendizaje. Separar demostraciones de hipótesis.

Este es un laboratorio conceptual o externo. No asume que la aplicación expone todos los controles descritos.

Cómo funciona, paso a paso

Aprender de las acciones y las recompensas.

En el aprendizaje por refuerzo un agente observa un entorno, selecciona acciones y recibe recompensas. Una política describe la selección de acciones; el objetivo es el desempeño acumulativo en lugar de la recompensa inmediata únicamente. Una recompensa mal diseñada puede fomentar un comportamiento no deseado. Los robots añaden sensores, actuadores y limitaciones físicas. Un modelo mundial intenta modelar cómo cambia el medio ambiente, pero las predicciones necesitan validación. La retroalimentación humana puede ayudar a adaptar el comportamiento sin garantizar la seguridad. Un agente de LLM que utiliza herramientas no recibe capacitación en línea automáticamente con RL.

Cómo el aprendizaje cambia un modelo

Los datos de entrenamiento son el conjunto de ejemplos utilizados para ajustar los parámetros del modelo. El aprendizaje supervisado incluye un objetivo, como "spam". El aprendizaje no supervisado encuentra estructuras, como grupos de clientes. El aprendizaje autosupervisado crea objetivos a partir de datos, por ejemplo, predecir el siguiente texto. La validación ayuda a elegir la configuración; el conjunto de prueba permanece separado hasta la evaluación final. Un modelo que memoriza ejemplos y falla con datos nuevos está sobreajustado. Una división adecuada evita que la información del conjunto de prueba se filtre en el entrenamiento.

Defina el éxito antes de optimizar

Preparar solicitudes representativas y respuestas o propiedades esperadas. Incluya casos comunes, ambigüedad, datos faltantes y errores de herramientas. Para RAG, mida la recuperación de evidencia por separado de la corrección de las respuestas. Recall@k mide la proporción de evidencia relevante encontrada en los primeros k resultados; precision@k mide la proporción de resultados devueltos que son relevantes. Para los agentes, también realice un seguimiento de las acciones, los permisos y las detenciones. Un LLM como juez puede acelerar la evaluación, pero necesita una calibración con respecto a los humanos. No cambie el indicador, el modelo y el índice simultáneamente si desea comprender qué mejoró los resultados.

El esquema explicativo

Siga las flechas sólidas para el flujo principal. Las flechas azules discontinuas proporcionan datos o contexto; Las flechas discontinuas de color rosa muestran comentarios o resultados devueltos. Colores y formas distinguen modelos, tiendas, decisiones y resultados. El aprendizaje por refuerzo y la robótica son temas externos; El entrenamiento impulsado por recompensas es distinto de la inferencia ordinaria de agentes. En pantallas pequeñas, desplázate horizontalmente para seguir todo el esquema.

Un ejemplo completo

En un laberinto, recompensar la salida difiere de recompensar el movimiento. Un modelo mundial puede predecir transiciones, mientras que las reglas simbólicas prohíben las zonas. La robótica añade límites físicos.

Pruébalo tú mismo

1. Diseña recompensas en laberintos e identifica una forma de explotarlas.
2. Registre la entrada, la fuente y el resultado esperado antes de ejecutar el experimento. Utilice únicamente los datos ficticios del ejemplo.
3. Siga las etapas del diagrama. En cada paso registre qué información se recibe y se produce; No confunda el resultado intermedio con el resultado final.
4. Repita después de eliminar la información necesaria o hacer que la entrada sea ambigua. Compruebe si el sistema aclara, detiene o inventa una respuesta.
5. Comparar con la solución explicada. Conserve la configuración, fecha, resultado y una explicación de las diferencias. Cambie una cosa y vuelva a probar.

Una solución explicada

La política sigue el objetivo diseñado y se prueba en nuevas situaciones; el desempeño de referencia no establece el AGI. Un ejercicio exitoso le permite mostrar la conexión entre los aportes, las etapas y el resultado. Cuando falta información, una respuesta cautelosa es más útil que detalles inventados. Compare más que estilo: compruebe también las condiciones, las fuentes y las operaciones.

Cuándo resulta útil y cuáles son sus límites

Los sistemas neurosimbólicos, los modelos mundiales y el AGI no son sinónimos. Elija este enfoque cuando mejore una necesidad medida. Mantenga una línea de base simple y compare los resultados utilizando insumos idénticos. Un ejemplo exitoso no establece confiabilidad en todas las situaciones.

Comprueba lo que has aprendido

¿Todos los agentes que utilizan herramientas aprenden con RL durante una conversación?

No. El uso de un modelo entrenado y el reentrenamiento son procesos distintos.

¿Por qué no evaluar sólo los datos de entrenamiento?

Queremos desempeño en situaciones nuevas, no prueba de memorización.

¿Qué resultado debería producir este ejercicio?

La política sigue el objetivo diseñado y se prueba en nuevas situaciones; el desempeño de referencia no establece el AGI.

Términos que conviene recordar

• Política: Una regla aprendida para seleccionar acciones.
• Sobreajuste: El modelo se ajusta demasiado a los ejemplos que ha visto.
• Regresión / Regresión: Un cambio que rompe un caso previamente correcto.

Fuentes y su próximo paso

• Hugging Face — Deep RL course
• scikit-learn — Guía del usuario
• LangGraph — Flujos de trabajo y agentes

Para preparar: X04 — Adaptación y servicio de modelos