FlashDexRetarget: Én policy for tusen håndbevegelser – og 100 ganger mindre GPU-tid

Flaskehalsen er data

Det er relativt enkelt å filme mennesker som plukker opp en kopp, skrur av et lokk eller vrir på en kube. Det finnes store, åpne datasett fulle av slike opptak, med både hånden og gjenstanden registrert i 3D. Men en robothånd er ikke en menneskehånd. Fingrene er lengre eller kortere, leddene sitter andre steder, og noen hender har færre fingre. En bevegelse som fungerer for et menneske, kan få robotfingrene til å gå gjennom gjenstanden eller miste taket.

Å oversette bevegelsen slik at den fungerer fysisk for roboten, kalles retargeting. Det er ikke bare å kopiere vinkler. Robothånden må faktisk klare å holde og flytte gjenstanden i en fysikksimulering, ellers er dataene ubrukelige. Vi har tidligere skrevet om hvordan Alibaba løste datainnsamlingen med et eksoskjelett. FlashDexRetarget angriper problemet fra den andre enden: hvordan gjøre eksisterende menneskeopptak om til robotdata, raskt og i stor skala.

Én modell i stedet for tusen

Tidligere metoder optimaliserer hver demonstrasjon for seg. Har du 1 000 opptak, kjører du 1 000 separate optimaliseringer. Det skalerer dårlig, og kostnaden vokser i takt med datasettet.

FlashDexRetarget trener i stedet én forsterkningslæringspolicy på alle bevegelsene samtidig. Policyen får beskjed om hvilken referansebevegelse den skal følge, og lærer å spore den i simuleringen. Fordi den lærer av alle bevegelsene på én gang, kan det den lærer av ett grep hjelpe på et annet. Forfatterne bruker en egen variant av algoritmen SAC, med separate nettverk for venstre og høyre hånd, og legger til geometrisk veiledning slik at kontaktpunktene mellom fingrene og gjenstanden stemmer med det mennesket gjorde.

Tallene

På en testsamling med 50 bevegelser fra datasettene TACO, OakInk2 og HOT3D lykkes FlashDexRetarget med 90 prosent av bevegelsene. Det tok omtrent 30 GPU-timer. Den beste tidligere metoden, CHORD, klarte 46 prosent og brukte rundt 3 000 GPU-timer. Det er 44 prosentpoeng bedre og omtrent hundre ganger mindre regnekraft.

Forfatterne har også testet med opptil 1 000 bevegelser, og med to ulike robothender, XHand og Sharpa Wave. Ifølge papiret er bevegelsene også spilt av på ekte robothender, ikke bare i simulering. Papiret er en preprint og er ikke fagfellevurdert, og vi har ikke funnet uavhengige forsøk på å gjenskape resultatene.

Kan du kjøre det selv?

Koden er åpen under MIT-lisens og bygger på Nvidias Isaac Sim og Isaac Lab. Men det er ikke noe for en vanlig gaming-PC. Treningen krever rundt 110 GB GPU-minne. Flytter du minnebufferen over til vanlig RAM, holder det med omtrent 16 GB på grafikkortet, men da trenger du rundt 100 GB RAM i stedet.

Et RTX 3090 eller 4090 med 24 GB har altså nok GPU-minne i det billigste oppsettet, men de fleste hjemmemaskiner mangler RAM-en. Du må også registrere deg separat for å laste ned MANO, håndmodellen som brukes til å lese menneskeopptakene, og selve bevegelsesdatasettene lastes ned fra sine egne kilder.

Hvorfor dette er verdt å følge

Robotikk har lenge vært bremset av mangel på treningsdata, og det er spesielt tydelig for hender. En robotarm med en enkel gripeklo er lett å trene. En hånd med fem fingre som skal kunne gjøre det mennesker gjør, er noe helt annet. Vi har skrevet om hvordan Skild AI lot en robot spille fotball mot seg selv i tilsvarende 140 år i simulering, og om robotmodeller som Isaac 0.5. FlashDexRetarget gjør at mer av det materialet kan komme fra helt vanlige opptak av mennesker.

Det er samme mønster som i AI ellers: Det som endrer feltet, er ofte ikke en smartere modell, men en billigere måte å lage treningsdata på.

Ressurser

• FlashDexRetarget på arXiv – papiret
• Koden på GitHub – offisiell implementasjon, MIT-lisens
• Prosjektsiden – videoer av robothendene
• MANO – håndmodellen som brukes til å lese menneskeopptakene