JING og DAO: Verdensmodellen som fortsetter uten deg – men bare halvparten er åpen

Fra neste bilde til verden bak bildet

De fleste verdensmodeller vi har skrevet om – fra MiniMax H3 til Evoke – handler i bunn og grunn om å generere neste bilde. Du beveger deg, modellen gjetter hva du burde se. Snur du deg bort, finnes det ingenting der lenger.

XGEN Labs deler problemet i to. JING (镜, «speil») genererer det én enkelt observatør ser og hører fra førstepersonsperspektiv, basert på handlingene dine og det du har sett så langt. DAO (道, «veien») er en slags spillmotor som holder rede på hele den delte verdenen: hvor ting er, hvilke regler som gjelder, og hva andre aktører gjør. DAO gir JING bare det observatøren faktisk kan oppfatte.

Poenget er at verden fortsetter mens du er borte. Autonome agenter forfølger sine egne mål i DAO-verdenen, og når du kommer tilbake, har ting skjedd. Det langsiktige målet kaller XGEN for OASIS – en vedvarende delt verden der valg har varige konsekvenser.

Hva som faktisk er sluppet

Her må råteksten vi fikk inn korrigeres på ett viktig punkt. Det er bare JING som er tilgjengelig, og bare i en tidlig versjon.

Modellen JING-Flash-v1 ligger på Hugging Face og GitHub med inferenskode og eksempler. Den bygger på MiniMax H3 og bruker MiniMax H3s community-lisens. Det er en firetrinns «bidireksjonal» modell, altså ikke den kausale varianten som trengs for ekte sanntidsinteraksjon. Den kausale modellen og den tekniske rapporten er merket «kommer snart».

Maskinvarekravet er det som stopper de fleste av oss. XGEN har validert oppsettet på seks H100-kort: ett for tekstencoderen, ett for video- og lyd-VAE-ene og fire for selve diffusjonsmodellen. Det er ikke noe du kjører på en hjemmeserver, selv ikke med et par kraftige forbrukerkort.

DAO, motoren som gjør verden vedvarende, er ikke sluppet. Den nevnes ikke på verken Hugging Face eller GitHub.

Ikke «ubegrenset» ennå

Råteksten påsto at systemet kan generere verdener i «ubegrenset varighet». Det sier ikke XGEN selv. Tvert imot er de uvanlig ærlige om begrensningene: Rask bevegelse og brå kameraskift gjør styringen mindre presis, og lange økter kan gi drift i detaljer, romlige forhold og sammenheng. Sanntidsbruk krever lavere forsinkelse, bedre bildekvalitet og mer pålitelig interaksjon enn de har i dag.

Det er en forskningsforhåndsvisning, og den bør leses som det.

Hvorfor det likevel er verdt å følge med på

Ideen om å skille verdensmodellen fra det observatøren ser, er det mest interessante her. Det er slik spillmotorer alltid har fungert – verden simuleres ett sted, grafikken tegnes et annet – og det løser et grunnleggende problem med rene videogeneratorer: at ingenting finnes utenfor kameraet. Vi har sett lignende tanker hos SolarWM og Happy Oyster, men XGEN går lenger i å la agenter leve videre på egen hånd.

Kommer DAO ut åpent, og blir JING lettere å kjøre, kan dette bli et byggesett for alt fra spill til agentsimuleringer. Inntil da er det mest noe å se på – i XGENs eget galleri.

Ressurser

• XGEN Labs: Generative World Simulation – forskningssiden med demoer og begrensninger
• XGEN-JING på GitHub – inferenskode og eksempler
• XGEN-JING på Hugging Face – modellvekter og lisens
• XGEN-galleriet – eksempler på genererte opplevelser