Tokens, créditos, orçamentos e custo total

O preço de uma chamada não é o custo de uma tarefa completa. Conte indexação, conversação e ferramentas separadamente.

Você pode seguir este curso sem conta ou programação. Os exemplos usam dados sintéticos e os resultados da IA ​​precisam ser verificados.

Como funciona, passo a passo

O custo pertence a todo o caminho

Conte chamadas de modelo, tokens de entrada e saída, incorporações, reclassificação, visão e ferramentas. O raciocínio pode consumir tokens faturáveis ​​sem uma resposta visível igualmente longa. Os custos de indexação e os custos de conversação são diferentes. Use os preços atuais em vez de um número permanente de um curso. Uma estimativa simples é tokens/1.000.000 × preço mais operações adicionais; os créditos do aplicativo podem ter sua própria conversão. Compare o custo por tarefa bem-sucedida, não apenas por chamada. A execução paralela pode reduzir a latência e aumentar o consumo total. Um orçamento precisa de uma condição de parada verificada.

Escolha por tarefa e recursos

Verifique o idioma, o contexto, a chamada da ferramenta, a saída estruturada e as modalidades de entrada suportadas. Compare modelos em solicitações idênticas usando a mesma rubrica e um orçamento realista. Amostragem de mudanças de temperatura, não verdade. O esforço de raciocínio aloca esforço para modelos compatíveis e pode aumentar o tempo e o custo; os valores aceitos variam. Os modelos locais oferecem controle de infraestrutura, mas exigem recursos e manutenção. Os pesos abertos não garantem licença irrestrita ou código de treinamento completo. Catálogos e preços mudam; leia o cartão do modelo atual.

Defina o sucesso antes de otimizar

Prepare solicitações representativas e respostas ou propriedades esperadas. Inclui casos comuns, ambiguidade, dados faltantes e erros de ferramentas. Para RAG, meça a recuperação de evidências separadamente da correção da resposta. Recall@k mede a parcela de evidências relevantes encontradas nos primeiros k resultados; Precision@k mede a parcela de resultados retornados que são relevantes. Para agentes, rastreie também ações, permissões e paradas. Um LLM como juiz pode acelerar a avaliação, mas precisa de calibração em humanos. Não altere prompt, modelo e índice simultaneamente se quiser entender o que melhorou os resultados.

O esquema explicativo

Siga as setas sólidas para o fluxo principal. As setas azuis tracejadas fornecem dados ou contexto; setas rosa tracejadas mostram feedback ou retorno de resultados. Cores e formas distinguem modelos, lojas, decisões e resultados. Em telas pequenas, role na horizontal para acompanhar o esquema completo.

Um exemplo completo

Usando preços fictícios de 2 por milhão de insumos e 10 produtos, 10.000 insumos e 1.000 produtos custam 0,03 unidades monetárias antes das ferramentas. Estes são valores de exercício, não preços correntes.

Experimente você mesmo

1. Estime três chamadas e uma execução de indexação e, em seguida, o custo por tarefa bem-sucedida.
2. Registre a entrada, a fonte e o resultado esperado antes de executar o experimento. Use apenas os dados fictícios do exemplo.
3. Siga as etapas do diagrama. A cada passo registre quais informações são recebidas e produzidas; não confunda o resultado intermediário com o resultado final.
4. Repita após remover as informações necessárias ou tornar a entrada ambígua. Verifique se o sistema esclarece, interrompe ou inventa uma resposta.
5. Compare com a solução explicada. Guarde a configuração, data, resultado e explicação das diferenças. Mude uma coisa e teste novamente.

Uma solução explicada

Calcule 0,02 + 0,01 e adicione o consumo extra separadamente; compare com o uso real da organização. Um exercício bem-sucedido permite mostrar a conexão entre entradas, etapas e resultados. Quando falta informação, uma resposta cautelosa é mais útil do que detalhes inventados. Compare mais do que estilo: verifique também as condições, fontes e operações.

Quando esta abordagem ajuda e quais são seus limites

Os créditos do aplicativo e a moeda do provedor podem ter conversões diferentes. Escolha esta abordagem quando ela melhorar uma necessidade medida. Mantenha uma linha de base simples e compare os resultados usando dados idênticos. Um exemplo de sucesso não estabelece confiabilidade em todas as situações.

Verifique o que aprendeu

Mais chamadas simultâneas são automaticamente mais baratas?

Não. O tempo decorrido e o consumo total são quantidades diferentes.

A temperatura zero garante correção?

Não. Pode reduzir a variação, mas uma resposta estável ainda pode estar errada.

Que resultado este exercício deve produzir?

Calcule 0,02 + 0,01 e adicione o consumo extra separadamente; compare com o uso real da organização.

Termos para lembrar

• Latență / Latência: Tempo até um resultado útil.
• Esforço de raciocínio: Uma configuração dependente do modelo que controla o esforço de raciocínio.
• Regressão / Regressão: uma alteração que quebra um caso anteriormente correto.

Fontes e sua próxima etapa

• OpenRouter — Tokens de raciocínio
• Hugging Face — LLM Course
• LangGraph — Fluxos de trabalho e agentes

Para preparar: E04 — Observabilidade e depuração