¿Qué es un LLM y cómo responde?
Un LLM crea respuestas token por token.
lo que aprenderás
- Explica: de las fichas a una respuesta
- Aplica la idea en un ejemplo: ¿Qué es un LLM y cómo responde?
- Reconocer las limitaciones y verificar el resultado del ejercicio.
Un LLM crea respuestas token por token. Podemos entenderlo sin fórmulas avanzadas siguiendo lo que recibe y genera.
Puedes seguir este curso sin cuenta ni programación. Los ejemplos utilizan datos sintéticos y es necesario comprobar los resultados de la IA.
Cómo funciona, paso a paso
De los tokens a la respuesta
Un token es una unidad de texto: a veces una palabra, a veces un fragmento de palabra o puntuación. El modelo procesa tokens de contexto y estima una distribución sobre el siguiente token. La selección se repite hasta detenerse. El mecanismo de atención de los Transformers combina información sobre las relaciones entre tokens; no es atención humana. El entrenamiento cambia los parámetros, mientras que la inferencia utiliza el modelo entrenado. Una respuesta puede parecer coherente sin ser cierta: generar texto no verifica los hechos de forma independiente.
El contexto es el banco de trabajo
El contexto incluye instrucciones, la solicitud actual, historial relevante, documentos recuperados y resultados de herramientas. La ventana contextual tiene capacidad limitada; reserve espacio para la respuesta también. Más texto no mejora automáticamente la precisión. La información irrelevante y las contradicciones pueden ocultar pruebas importantes. Resumir cuidadosamente el historial de la conversación y preservar el origen de los hechos. El estado describe la ejecución actual, un punto de control guarda un punto reanudable y la memoria persistente retiene información entre ejecuciones. Se trata de diferentes mecanismos gestionados por la aplicación.
La fluidez y la verdad se verifican por separado.
Una alucinación es un contenido incorrecto o sin fundamento presentado como respuesta. Puede surgir por falta de información, ambigüedad o patrones combinados incorrectamente. Solicite evidencia y verifique el documento original, fecha, unidades y condiciones. Es posible que una cita real aún no respalde el reclamo. Utilice fuentes actuales para hechos actuales, una calculadora para aritmética y “no pueda determinar” cuando faltan pruebas. No trate la confianza expresada en prosa como una probabilidad calibrada.
El esquema explicativo
Siga las flechas sólidas para el flujo principal. Las flechas azules discontinuas proporcionan datos o contexto; Las flechas discontinuas de color rosa muestran comentarios o resultados devueltos. Colores y formas distinguen modelos, tiendas, decisiones y resultados. En pantallas pequeñas, desplázate horizontalmente para seguir todo el esquema.
Un ejemplo completo
“Resumir la política en dos frases” se divide en tokens. El modelo considera la instrucción y la política, genera tokens posteriores y se detiene. No busca documentos automáticamente a menos que la aplicación proporcione recuperación.
Pruébalo tú mismo
- Escriba un párrafo de política, solicite dos resúmenes y luego elimine la política.
- Registre la entrada, la fuente y el resultado esperado antes de ejecutar el experimento. Utilice únicamente los datos ficticios del ejemplo.
- Siga las etapas del diagrama. En cada paso registre qué información se recibe y se produce; No confunda el resultado intermedio con el resultado final.
- Repita después de eliminar la información necesaria o hacer que la entrada sea ambigua. Compruebe si el sistema aclara, detiene o inventa una respuesta.
- Comparar con la solución explicada. Conserve la configuración, fecha, resultado y una explicación de las diferencias. Cambie una cosa y vuelva a probar.
Una solución explicada
El resumen conserva el plazo y las condiciones. Si no se proporciona ninguna política, el modelo debe reconocer esa ausencia. Un ejercicio exitoso le permite mostrar la conexión entre los aportes, las etapas y el resultado. Cuando falta información, una respuesta cautelosa es más útil que detalles inventados. Compare más que estilo: compruebe también las condiciones, las fuentes y las operaciones.
Cuándo resulta útil y cuáles son sus límites
"Lo más probable" no significa "verdadero". Elija este enfoque cuando mejore una necesidad medida. Mantenga una línea de base simple y compare los resultados utilizando insumos idénticos. Un ejemplo exitoso no establece confiabilidad en todas las situaciones.
Comprueba lo que has aprendido
¿Una ficha es siempre una palabra?
No; La tokenización depende del modelo y el idioma. Utilice el tokenizador adecuado.
¿Es la memoria de usuario permanente de un punto de control?
No. Guardar una ejecución no implica conservar las preferencias en todas las conversaciones.
¿Qué resultado debería producir este ejercicio?
El resumen conserva el plazo y las condiciones. Si no se proporciona ninguna política, el modelo debe reconocer esa ausencia.
Términos que conviene recordar
- Token: Unidad utilizada por el modelo para límites de texto y contexto.
- Control: Estado guardado utilizado para reanudar una ejecución.
- Toma de tierra: Fundamentar una respuesta en evidencia verificable.
Fuentes y su próximo paso
Para preparar: F02 - ¿Cómo aprende una máquina?