Models vision-language-action (VLA)
També disponible en: English · Castellano
La idea
Un VLM (vision-language model) ja relaciona imatges amb text. Un VLA hi afegeix una sortida: accions del robot.
- Entra: imatges de les càmeres, una instrucció («fica el cub a la capsa») i l’estat del robot.
- Surt: un chunk d’objectius d’articulacions, que s’executa mentre es calcula el següent.
Com s’entrena
Es parteix d’un model entrenat amb moltíssimes imatges i text i s’ajusta (fine-tuning) amb demostracions de robot. Models per buscar: OpenVLA, pi0, SmolVLA, GR00T.
El que no substitueix
Per sota hi continuen el control de baix nivell i la cinemàtica. El model decideix objectius; alguna cosa ha de portar-hi les articulacions.
Sobre la demo
És una il·lustració del flux de dades, no un model real.
Demo interactiva
Conceptes relacionats
Imitation learning
Una persona teleopera el robot, es graven parells observació-acció i s’entrena una policy perquè els copiï. Falla en estats que no ha vist mai; s’arregla amb demos més variades i predient diverses accions seguides.
Reinforcement learning
Ningú no diu al robot com fer-ho, només si ho ha fet bé: l’agent prova accions, rep una recompensa i aprèn una policy que la maximitza. En simulació se n’entrenen milers de còpies alhora.