Versterkend leren, robotica en huidig ​​onderzoek

AI-onderzoek onderzoekt leermiddelen, omgevingsmodellen en combinaties van regels en leren. Scheid demonstraties van hypothesen.

Dit is een conceptueel of extern laboratorium. Er wordt niet van uitgegaan dat de toepassing elk beschreven besturingselement blootlegt.

Hoe het werkt, stap voor stap

Leren van acties en beloningen

Bij versterkend leren observeert een agent een omgeving, selecteert acties en ontvangt beloningen. Een beleid beschrijft actieselectie; het doel is cumulatieve prestaties in plaats van alleen een onmiddellijke beloning. Een slecht ontworpen beloning kan ongewenst gedrag aanmoedigen. Robots voegen sensoren, actuatoren en fysieke beperkingen toe. Een wereldmodel probeert te modelleren hoe de omgeving verandert, maar voorspellingen hebben validatie nodig. Menselijke feedback kan helpen gedrag aan te passen zonder de veiligheid te garanderen. Een LLM-agent die tools gebruikt, wordt niet automatisch online getraind met RL.

Hoe leren een model verandert

Trainingsgegevens zijn de reeks voorbeelden die worden gebruikt om modelparameters aan te passen. Begeleid leren omvat een doel, zoals 'spam'. Onbegeleid leren vindt structuur, zoals klantgroepen. Zelfgesuperviseerd leren creëert doelen uit gegevens, bijvoorbeeld het voorspellen van de volgende tekst. Validatie helpt bij het kiezen van instellingen; de testset blijft gescheiden tot de eindevaluatie. Een model dat voorbeelden onthoudt en faalt op het gebied van nieuwe gegevens is overfitting. Een goede splitsing voorkomt dat informatie uit de testset naar de training lekt.

Definieer succes voordat u gaat optimaliseren

Bereid representatieve verzoeken en verwachte antwoorden of eigenschappen voor. Inclusief gewone gevallen, dubbelzinnigheid, ontbrekende gegevens en gereedschapsfouten. Meet voor RAG het ophalen van bewijsmateriaal afzonderlijk van de correctheid van het antwoord. Recall@k meet het aandeel relevant bewijsmateriaal gevonden in de eerste k-resultaten; Precision@k meet het aandeel geretourneerde resultaten dat relevant is. Voor agenten: houd ook acties, machtigingen en stoppen bij. Een LLM-als-rechter kan de evaluatie versnellen, maar moet worden gekalibreerd ten opzichte van mensen. Wijzig de prompt, het model en de index niet tegelijkertijd als u wilt begrijpen wat de resultaten verbeterden.

Het verklarende schema

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Versterkend leren en robotica zijn externe onderwerpen; beloningsgestuurde training verschilt van gewone agent-inferentie. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

In een doolhof verschilt het belonen van de uitgang van het belonen van beweging. Een wereldmodel kan transities voorspellen, terwijl symbolische regels zones verbieden. Robotica voegt fysieke grenzen toe.

Probeer het zelf

1. Ontwerp doolhofbeloningen en identificeer een manier om ze te exploiteren.
2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

Het beleid volgt de ontworpen doelstelling en wordt getoetst in nieuwe situaties; benchmarkprestaties vormen geen AGI. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Neuro-symbolische systemen, wereldmodellen en AGI zijn geen synoniemen. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Leert elke toolgebruikende agent met RL tijdens een gesprek?

Nee. Het gebruik van een getraind model en herscholing zijn verschillende processen.

Waarom evalueren we niet alleen op basis van trainingsgegevens?

We willen prestaties in nieuwe situaties, geen bewijs van memoriseren.

Welk resultaat moet deze oefening opleveren?

Het beleid volgt de ontworpen doelstelling en wordt getoetst in nieuwe situaties; benchmarkprestaties vormen geen AGI.

Begrippen om te onthouden

• Beleid: een aangeleerde regel voor het selecteren van acties.
• Overfitting: Het model past te goed bij de voorbeelden die het heeft gezien.
• Regressie / regressie: Een wijziging die een voorheen correcte casus doorbreekt.

Bronnen en uw volgende stap

• Hugging Face — Deep RL course
• scikit-learn — User guide
• LangGraph — Workflows en agenten

Ter voorbereiding: X04 — Modellen aanpassen en bedienen