LingBot-World 2.0: Åpen verdensmodell du kan gå rundt i – i en time – men ikke på hjemme-PC-en ennå
Ant Groups robotselskap Robbyant har sluppet en verdensmodell der du styrer med tastaturet, kan skrive inn hendelser underveis, og der verden holder seg sammenhengende i over en time. Vektene ligger åpent. Men tallene i overskriftene krever utstyr de fleste av oss ikke har.
Hva det er
LingBot-World 2.0, også kalt «Infinity», er en interaktiv verdensmodell. Du gir den et startbilde, og så genererer den en video av verden fortløpende mens du beveger deg rundt med tastaturet og bytter perspektiv. I motsetning til mange tidligere modeller, der bildet etter noen minutter begynner å flyte ut – teksturer blir uskarpe og geometrien faller sammen – skal LingBot holde seg stabil i over en time.
Hemmeligheten er at modellen er trent til å forutsi verden i riktig tidsrekkefølge, bilde for bilde, slik at små feil ikke hoper seg opp på samme måte. Robbyant sier selv at generering i prinsippet kan fortsette i det uendelige.
Du kan skrive inn hendelser
Råteksten vi fikk inn nevnte at du kan bruke prompter til å legge til hendelser. Det er en av de mer interessante delene. Systemet har to roller: En «Pilot» – selve videomodellen – som simulerer bevegelse og fysikk, og en «Director» – en språkmodell som ser på bildet – som håndterer det overordnede. Du kan for eksempel endre tid på døgnet eller vær, legge inn nye ting i scenen, eller skrive en hendelse som skal skje. Director-modellen kan også foreslå hendelser selv, slik at verden utvikler seg uten at du gjør noe.
Det likner tankegangen vi så hos JING og DAO tidligere denne måneden: å skille simuleringen av verden fra det du ser.
Hva som er sluppet – og hva som ikke er det
Den første 14B-modellen kom i juli. 4. september ble resten sluppet på Hugging Face, blant annet en mindre variant på 1,3 milliarder parametere. Alt ligger under lisensen CC BY-NC-SA 4.0, som betyr at det er gratis til forskning og hobbybruk, men ikke kommersielt.
Overskriften fra lanseringen var 720p ved 60 bilder i sekundet i sanntid. Men som MarkTechPost påpekte, krever det et produksjonsoppsett med optimaliserte motorer og en ekstra oppskaleringsmodell som ikke er en del av den åpne utgivelsen. Det offisielle skriptet for 14B-modellen kjører i 480×832 piksler fordelt på åtte grafikkort.
Vil du bare prøve, kan du gjøre det i nettleseren via Reactor-plattformen, der Robbyant selv kjører modellen.
Kan den kjøres hjemme?
Delvis. En utvikler har optimalisert den lille 1,3B-modellen og fått den til å gå i rundt 16 bilder i sekundet på ett RTX 5090. Men den bruker opptil 26–31 GB grafikkminne, så selv et RTX 3090 eller 4090 med 24 GB er i minste laget uten videre triksing. Det er altså fortsatt et prosjekt for dem med det aller nyeste utstyret.
Pass på falske nettsider
Søker du etter LingBot-World, finner du en rekke nettsteder med navnet i domenet – med endelser som .org, .net, .com, .pro og .online. Vi har ikke funnet noe som tyder på at noen av dem er offisielle. Hold deg til Robbyants egne sider på GitHub og Hugging Face, og ikke last ned noe eller oppgi betalingsinformasjon på de andre.
Hvorfor det betyr noe
Verdensmodeller er et av de raskest voksende feltene i AI akkurat nå, og vi har skrevet om flere, som SolarWM. Det som skiller LingBot-World 2.0, er kombinasjonen av lang stabilitet, styring i sanntid, hendelser via tekst – og at vektene faktisk er åpne. For spillutvikling og robottrening i simulerte miljøer er det et viktig steg. For oss hjemme er det foreløpig noe å se på og prøve i nettleseren, mens vi venter på at maskinvarekravene kommer ned.
Ressurser
- LingBot-World 2.0 på GitHub – kode og instruksjoner
- LingBot-World 2.0 på Hugging Face – modellvekter
- Forskningsartikkelen på arXiv – teknisk bakgrunn
- MarkTechPost: Meet LingBot-World-Infinity – gjennomgang med forbehold
- lingbot-world-v2-realtime – fellesskapets optimalisering for ett RTX 5090