Otimização e operações

Otimize uma necessidade observada: latência, custo ou falhas. Configurações mais complicadas não são automaticamente mais robustas.

Este é um laboratório conceitual ou externo. Não pressupõe que o aplicativo exponha todos os controles descritos.

Como funciona, passo a passo

Erros precisam de caminhos explícitos

Um tempo limite é diferente de um erro de permissão. Tente novamente apenas erros transitórios, com tentativas limitadas e atrasos crescentes. Uma operação com efeitos colaterais pode ser executada antes que sua resposta seja perdida; tentar novamente sem uma chave de idempotência pode duplicar o efeito. O streaming mostra o progresso, mas não garante a conclusão. Os pontos de verificação podem permitir que estágios com falha sejam retomados dentro dos limites de tempo de execução. Armazene o identificador de execução, estágio, duração e erro enquanto remove segredos dos logs. Meça caminhos lentos, bem como médias.

O custo pertence a todo o caminho

Conte chamadas de modelo, tokens de entrada e saída, incorporações, reclassificação, visão e ferramentas. O raciocínio pode consumir tokens faturáveis ​​sem uma resposta visível igualmente longa. Os custos de indexação e os custos de conversação são diferentes. Use os preços atuais em vez de um número permanente de um curso. Uma estimativa simples é tokens/1.000.000 × preço mais operações adicionais; os créditos do aplicativo podem ter sua própria conversão. Compare o custo por tarefa bem-sucedida, não apenas por chamada. A execução paralela pode reduzir a latência e aumentar o consumo total. Um orçamento precisa de uma condição de parada verificada.

Defina o sucesso antes de otimizar

Prepare solicitações representativas e respostas ou propriedades esperadas. Inclui casos comuns, ambiguidade, dados faltantes e erros de ferramentas. Para RAG, meça a recuperação de evidências separadamente da correção da resposta. Recall@k mede a parcela de evidências relevantes encontradas nos primeiros k resultados; Precision@k mede a parcela de resultados retornados que são relevantes. Para agentes, rastreie também ações, permissões e paradas. Um LLM como juiz pode acelerar a avaliação, mas precisa de calibração em humanos. Não altere prompt, modelo e índice simultaneamente se quiser entender o que melhorou os resultados.

O esquema explicativo

Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. Em telas pequenas, role na horizontal para acompanhar o esquema completo.

Um exemplo completo

Um cache de política pode reduzir a latência, mas o estoque ao vivo precisa de uma expiração rápida. A nova tentativa ajuda o tempo limite transitório, não uma chave inválida. O substituto deve preservar as condições e o acesso.

Experimente você mesmo

1. Nova tentativa limitada de design, expiração de cache e fallback conceitual.
2. Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
3. Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
4. Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
5. Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.

Uma solução explicada

Meça o antes e o depois, inclua falhas e verifique regressões. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.

Quando esta abordagem ajuda e quais são seus limites

Não presuma que o produto expõe todas essas opções em sua interface. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.

Verifique o que aprendeu

O tempo limite prova que a operação não foi executada?

Não. Verifique o estado antes de tentar novamente uma ação com efeitos colaterais.

Mais chamadas simultâneas são automaticamente mais baratas?

Não. O tempo decorrido e o consumo total são quantidades diferentes.

Que resultado este exercício deve produzir?

Meça o antes e o depois, inclua falhas e verifique regressões.

Termos para lembrar

• Idempotência: Repetição controlada sem duplicar um efeito.
• Latență / Latência: Tempo até um resultado útil.
• Regressão / Regressão: uma alteração que quebra um caso anteriormente correto.

Fontes e sua próxima etapa

• LangGraph — Fluxos de trabalho e agentes
• OpenRouter — Tokens de raciocínio

Para preparar: E05 — Tokens, créditos, orçamentos e custo total