Reinforcement learning
També disponible en: English · Castellano
El bucle
L’agent observa l’estat, tria una acció amb la seva policy, i l’entorn respon amb un estat nou i una recompensa (reward). Objectiu: una policy que maximitzi la recompensa total.
Com ensinistrar un gos amb premis: ningú no li explica com, només si ho ha fet bé.
Per què en simulació
Ràpida, en paral·lel (milers de còpies en una GPU), segura i gratuïta de reiniciar. Un robot real es trenca i només funciona en temps real. Algorisme típic: PPO. Eines: Isaac Lab / Isaac Gym.
Del simulador al robot (sim-to-real)
La física simulada mai no és idèntica a la real. S’aleatoritza (masses, fricció, retards…: domain randomization) perquè la policy aguanti les diferències.
A la demo
Prem Train. La generació 0 falla; unes generacions després, el pèndol es manté en equilibri. La demo fa servir un mètode evolutiu senzill, no PPO, però la idea és la mateixa: provar, puntuar i quedar-se amb el millor.
Preguntes típiques
RL o imitation? L’RL funciona bé quan hi ha una recompensa clara (locomoció: avançar sense caure); l’imitation, quan és més fàcil ensenyar que descriure (manipulació).
Demo interactiva
Conceptes relacionats
Imitation learning
Una persona teleopera el robot, es graven parells observació-acció i s’entrena una policy perquè els copiï. Falla en estats que no ha vist mai; s’arregla amb demos més variades i predient diverses accions seguides.
Models vision-language-action (VLA)
Un VLA parteix d’un model que ja relaciona imatges i text i hi afegeix una sortida d’accions: rep càmeres, una instrucció i l’estat del robot, i retorna un fragment de moviments.