O que é um LLM e como ele responde?
Um LLM constrói respostas token por token.
O que você aprenderá
- Explique: dos tokens a uma resposta
- Aplique a ideia em um exemplo: O que é um LLM e como ele responde?
- Reconheça as limitações e verifique o resultado do exercício
Um LLM constrói respostas token por token. Podemos compreendê-lo sem fórmulas avançadas, seguindo o que ele recebe e gera.
Você pode seguir este curso sem conta ou programação. Os exemplos usam dados sintéticos e os resultados da IA precisam ser verificados.
Como funciona, passo a passo
Dos tokens à resposta
Um token é uma unidade de texto: às vezes uma palavra, às vezes um fragmento de palavra ou pontuação. O modelo processa tokens de contexto e estima uma distribuição no próximo token. A seleção se repete até parar. O mecanismo de atenção dos Transformers combina informações sobre relacionamentos entre tokens; não é atenção humana. O treinamento altera os parâmetros, enquanto a inferência usa o modelo treinado. Uma resposta pode parecer coerente sem ser verdadeira: a geração de texto não verifica os fatos de forma independente.
O contexto é a bancada
O contexto inclui instruções, a solicitação atual, histórico relevante, documentos recuperados e resultados da ferramenta. A janela de contexto tem capacidade limitada; reserve espaço para a resposta também. Mais texto não melhora automaticamente a precisão. Informações irrelevantes e contradições podem ocultar provas importantes. Resuma o histórico da conversa com cuidado e preserve a origem dos fatos. O estado descreve a execução atual, um ponto de verificação salva um ponto recuperável e a memória persistente retém informações entre as execuções. São diferentes mecanismos gerenciados pelo aplicativo.
Fluência e verdade são verificadas separadamente
Uma alucinação é um conteúdo não suportado ou incorreto apresentado como resposta. Pode surgir de falta de informação, ambiguidade ou padrões combinados incorretamente. Peça provas e verifique o documento original, data, unidades e condições. Uma citação real ainda pode não apoiar a afirmação. Use fontes atuais para fatos atuais, uma calculadora para aritmética e “não é possível determinar” quando faltam evidências. Não trate a confiança expressa em prosa como uma probabilidade calibrada.
O esquema explicativo
Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. Em telas pequenas, role na horizontal para acompanhar o esquema completo.
Um exemplo completo
“Resuma a política em duas frases” torna-se um símbolo. O modelo considera a instrução e a política, gera tokens e paradas subsequentes. Ele não pesquisa documentos automaticamente, a menos que o aplicativo forneça a recuperação.
Experimente você mesmo
- Escreva um parágrafo sobre a política, solicite dois resumos e remova a política.
- Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
- Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
- Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
- Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.
Uma solução explicada
O resumo preserva o prazo e as condições. Se nenhuma política for fornecida, o modelo deverá reconhecer essa ausência. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.
Quando esta abordagem ajuda e quais são seus limites
“Muito provavelmente” não significa “verdadeiro”. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.
Verifique o que aprendeu
Um token é sempre uma palavra?
Não; a tokenização depende do modelo e do idioma. Use o tokenizador apropriado.
Um ponto de verificação é uma memória de usuário permanente?
Não. Salvar uma corrida não implica manter preferências entre conversas.
Que resultado este exercício deve produzir?
O resumo preserva o prazo e as condições. Se nenhuma política for fornecida, o modelo deverá reconhecer essa ausência.
Termos para lembrar
- Token: uma unidade usada pelo modelo para limites de texto e contexto.
- Ponto de verificação: estado salvo usado para retomar uma execução.
- Aterramento: Fundamentar uma resposta em evidências verificáveis.
Fontes e sua próxima etapa
Para preparar: F02 — Como uma máquina aprende?