Tokens, credits, budgetten en totale kosten
De prijs van een gesprek is niet de prijs van een volledige taak.
Wat je gaat leren
- Leg uit: de kosten behoren tot het hele pad
- Pas het idee toe in een voorbeeld: tokens, credits, budgetten en totale kosten
- Herken beperkingen en verifieer het resultaat van de oefening
De prijs van een gesprek is niet de prijs van een volledige taak. Tel indexering, conversatie en tools apart.
Je kunt deze cursus volgen zonder account of programmering. Voorbeelden maken gebruik van synthetische gegevens en AI-resultaten moeten worden gecontroleerd.
Hoe het werkt, stap voor stap
De kosten behoren tot het hele traject
Tel modelaanroepen, invoer- en uitvoertokens, inbedding, herrangschikking, visie en tools. Redeneren kan factureerbare tokens verbruiken zonder een even lange zichtbare reactie. Indexeringskosten en gesprekskosten verschillen. Gebruik actuele prijzen in plaats van een vast nummer van een cursus. Een eenvoudige schatting is tokens/1.000.000 × prijs plus extra bewerkingen; aanvraagkredieten kunnen hun eigen conversie hebben. Vergelijk de kosten per succesvolle taak, niet alleen per gesprek. Parallelle uitvoering kan de latentie verminderen en tegelijkertijd het totale verbruik verhogen. Een budget heeft een geverifieerde stopvoorwaarde nodig.
Kies op taak en mogelijkheden
Controleer taal, context, tooloproep, gestructureerde uitvoer en ondersteunde invoermodaliteiten. Vergelijk modellen op identieke aanvragen met dezelfde rubriek en een realistisch budget. Temperatuur verandert bemonstering, niet de waarheid. Redeneringsinspanningen verdelen de inspanningen voor compatibele modellen en kunnen de tijd en kosten verhogen; geaccepteerde waarden variëren. Lokale modellen bieden controle over de infrastructuur, maar vereisen middelen en onderhoud. Open gewichten garanderen geen onbeperkte licentie of volledige trainingscode. Catalogi en prijzen veranderen; lees de huidige modelkaart.
Definieer succes voordat u gaat optimaliseren
Bereid representatieve verzoeken en verwachte antwoorden of eigenschappen voor. Inclusief gewone gevallen, dubbelzinnigheid, ontbrekende gegevens en gereedschapsfouten. Meet voor RAG het ophalen van bewijsmateriaal afzonderlijk van de correctheid van het antwoord. Recall@k meet het aandeel relevant bewijsmateriaal gevonden in de eerste k-resultaten; Precision@k meet het aandeel geretourneerde resultaten dat relevant is. Voor agenten: houd ook acties, machtigingen en stoppen bij. Een LLM-als-rechter kan de evaluatie versnellen, maar moet worden gekalibreerd ten opzichte van mensen. Wijzig de prompt, het model en de index niet tegelijkertijd als u wilt begrijpen wat de resultaten verbeterden.
Het verklarende schema
Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Scrol op kleine schermen horizontaal om het hele schema te volgen.
Een compleet voorbeeld
Gebruikmakend van fictieve prijzen van 2 per miljoen input en 10 output, kosten 10.000 input en 1.000 output 0,03 monetaire eenheden vóór gereedschap. Dit zijn oefenwaarden, geen huidige prijzen.
Probeer het zelf
- Maak een schatting van drie oproepen en één indexeringsrun en bereken vervolgens de kosten per succesvolle taak.
- Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
- Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
- Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een antwoord verduidelijkt, stopt of verzint.
- Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.
Een uitgelegde oplossing
Bereken 0,02 + 0,01 en tel het extra verbruik apart op; te vergelijken met het daadwerkelijke gebruik in de organisatie. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.
Wanneer deze aanpak helpt en wat de beperkingen zijn
Applicatiekredieten en aanbiedervaluta kunnen verschillende conversies hebben. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.
Controleer wat je hebt geleerd
Zijn meer gelijktijdige gesprekken automatisch goedkoper?
Nee. Verstreken tijd en totaal verbruik zijn verschillende grootheden.
Garandeert nultemperatuur de juistheid?
Nee. Het kan de variatie verminderen, maar een stabiel antwoord kan nog steeds fout zijn.
Welk resultaat moet deze oefening opleveren?
Bereken 0,02 + 0,01 en tel het extra verbruik apart op; te vergelijken met het daadwerkelijke gebruik in de organisatie.
Begrippen om te onthouden
- Latentie / Latentie: Tijd tot een bruikbaar resultaat.
- Redenerende inspanning: Een modelafhankelijke instelling die de redeneerinspanning controleert.
- Regressie / regressie: Een wijziging die een voorheen correcte casus doorbreekt.
Bronnen en uw volgende stap
Ter voorbereiding: E04 — Waarneembaarheid en foutopsporing