Skild AI lærte en robot fotball med 140 år selvspill – med ett eneste mål: å score
Robotselskapet Skild AI lot fotballmodellen sin spille mot seg selv i over et århundre med simulert tid. Dribling, takling og å skjerme ballen kom av seg selv. Men demoen viser mindre enn tallet antyder.
AlphaGo-oppskriften, nå med bein
Da DeepMinds AlphaGo slo verdensmesteren i Go i 2016, var en del av hemmeligheten selvspill: Modellen spilte millioner av partier mot seg selv, og hver gang den ble bedre, ble motstanderen det også. Etterfølgeren AlphaGo Zero lærte spillet helt fra bunnen av på denne måten.
Skild AI viser selv til AlphaGo som inspirasjon. Det Pittsburgh-baserte selskapet, ledet av Deepak Pathak, har overført den samme ideen til en fysisk robot. Utgangspunktet var S1, selskapets grunnmodell for roboter, som er forhåndstrent på data fra mennesker. I NVIDIAs simulator Isaac Sim fikk den deretter spille fotball mot tidligere versjoner av seg selv – med én eneste belønning: score mål.
Resultatet fikk kallenavnet «Messinator», og ble vist fram i Argentina-drakt på en ekte humanoid robot, en Unitree G1.
Hva «140 år» betyr
Tallet høres voldsomt ut, men det er samlet erfaring, ikke ventetid. Treningen kjørte i tusenvis av parallelle simuleringer samtidig, slik at over et århundre med fotball ble presset inn i langt kortere tid i virkeligheten. Hvor lang tid det faktisk tok, eller hvor mye regnekraft som gikk med, har Skild ikke oppgitt.
Ifølge Skild kunne modellen så vidt gå de første simulerte månedene. Etter hvert lærte den å reise seg etter fall. Så dukket ferdighetene opp: dribling forbi forsvarere, skjerming av ballen og takling. Ingen skrev egne belønninger for disse – de oppsto fordi de hjalp modellen å score. Den ferdige oppførselen ble overført til den fysiske roboten, som har spilt mot både mennesker og andre roboter.
Det demoen ikke viser
Råteksten vi fikk inn kalte dette «nye standarder for AI i sport». Så langt er vi ikke. Skild har ikke publisert treningstid, regnekraft eller antall parallelle kamper, og det finnes ingen målinger av hvor godt roboten faktisk spiller. Humanoids Daily påpeker også at S1 er forhåndstrent på menneskelige data, så det er ikke helt riktig å si at roboten lærte fotball uten menneskelig hjelp. Det er selvspillet som kom etterpå som var uten veiledning.
Robotfotball med forsterkningslæring er heller ikke nytt. Google DeepMind viste små humanoider som spilte én mot én med samme type overføring fra simulator til virkelighet allerede for et par år siden. Det nye hos Skild er at selvspill brukes som et ettertreningssteg på en generell robotmodell, ikke på en modell laget bare for fotball.
Hvorfor det likevel er interessant
Fotball er en god testbane: balanse, fart, ballkontroll og en motstander som reagerer på det du gjør. Skild sier de vil bruke samme metode på hverdagsoppgaver og etter hvert sosial oppførsel – å bevege seg trygt blant mennesker, for eksempel. Det er der verdien eventuelt ligger, men de har foreløpig ikke vist noe av det.
For oss som følger robotikk, er det mest interessante at metoden kan gi roboter ferdigheter ingen har programmert. Kombinert med billige plattformer som Unitree G1 og den raske utviklingen vi så på World Robot Conference, kan selvspill bli en snarvei til mer allsidige roboter. Men foreløpig er det en imponerende demo, ikke et bevis.
Ressurser
- Skild AI: Physical Self-Play – selskapets egen beskrivelse
- Humanoids Daily: S1 lærer fotball gjennom 140 år selvspill – kritisk gjennomgang og forbehold
- Interesting Engineering: Skild AI's robot brain taught itself football – video av roboten
