Kimi K3.1 Pro: Nesten like god som Opus 5.5 i terminalen – og med vilje dårligere til å hacke

Samme modell, mye mer etterarbeid

Kimi K3.1 Pro kom i Kimis app og API 23. oktober. Det er ikke en ny arkitektur, men en videretrent utgave av Kimi K3, som vi skrev om i august. Moonshot beskriver den som sin kraftigste åpne modell i «3T-klassen», og ifølge lanseringsinnlegget på X har den 2,8 billioner parametere totalt, hvorav 104 milliarder er aktive per token. Kontekstvinduet er på én million tokens, og modellen tar også bilder.

Ved siden av kommer en Highspeed-variant som Moonshot sier er to til tre ganger raskere. Begge ligger i API-et som kimi-k3.1-pro og kimi-k3.1-pro-highspeed.

Hva tallene faktisk sier

I Moonshots eget blogginnlegg får K3.1 Pro 65,7 prosent på Terminal-Bench 4.0. Claude Opus 5.5 får 66,4 og GPT-6 Astra 58,2. Det er Moonshots egne målinger, så de bør leses med litt skepsis.

Den uavhengige testen er derfor mer interessant. Vals.ai kjørte modellen gjennom Moonshots API og fikk 63,6 prosent, med en feilmargin på knapt to prosentpoeng. Det holder til tredjeplass av over 50 modeller. Opus 5.5 får 65,2 prosent i samme oppsett. Avstanden til toppen er altså liten, og den holder seg også når det er andre enn produsenten selv som måler.

Én ting er verdt å vite: Terminal-Bench-resultater varierer mye med hvilket agentrammeverk modellen kjøres i. Små forskjeller mellom laboratorier sier derfor mindre enn de ser ut til.

Moonshot trekker også fram 3D-modellering i Blender og CAD, spillutvikling i Unreal, Unity og Godot, og færre hallusinasjoner. På sin egen hallusinasjonstest, med verktøy tilgjengelig, oppgir de 8,3 prosent feil påstander mot 15,0 for Opus 5.5. GPT-6 Astra gjør det best med 5,5. Dette er også en test Moonshot har laget selv.

Hackeferdighetene som ble tatt bort

Den mest uvanlige delen av lanseringen handler ikke om hva modellen kan, men om hva den med vilje ikke skal kunne. Før den åpne utgivelsen fjernet Moonshot cybersikkerhetsrelatert data fra både treningen og forsterkningslæringen, mens vanlige kodeoppgaver ble beholdt.

Moonshot har også publisert effekten. På en intern test av sårbarhetsutnyttelse løste en ufiltrert versjon av modellen 90,5 prosent av oppgavene. Den ferdige K3.1 Pro løser 81,0 prosent, mens forgjengeren K3 lå på 33,3. Modellen er altså fortsatt langt sterkere enn K3 på dette området, men Moonshot sier målet er at åpne vekter ikke skal flytte grensen for hva som er mulig. De skal ligge bak lukkede toppmodeller som har vært ute i minst tre måneder.

Det er et sjeldent konkret innblikk i hvordan et laboratorium tenker om risiko ved åpne vekter. Det er også verdt å notere at tallene kommer fra Moonshot selv, og at ingen utenforstående har kunnet etterprøve dem ennå.

Kan du kjøre den selv?

Ikke hjemme. Med 2,8 billioner parametere trenger selv en kraftig kvantisert versjon langt over en terabyte minne. Dette er en modell for datasentre, skyleverandører og de mest ihuga entusiastene med serverhyller. Vil du vite hva din egen maskin klarer, har vi en guide til å sjekke det.

Åpne vekter betyr likevel mye selv om du aldri laster dem ned. Andre leverandører kan tilby modellen billigere enn Moonshot, bedrifter kan kjøre den på egen infrastruktur uten å sende data ut, og forskere kan finjustere og granske den. Lisensen til K3 var en tilpasset MIT-variant: gratis å bruke og endre, men med krav om avtale for store API-tilbydere og synlig kreditering i produkter med over 100 millioner brukere. Det er rimelig å vente noe tilsvarende for K3.1.

Vil du prøve modellen uten å vente på vektene, går det an via Kimi-plattformen eller i terminalen med Kimi Code.

Ressurser

• Kimi K3.1 Pro – Moonshots blogginnlegg – benchmarktall og detaljer om cyberfiltreringen
• Vals.ai: Kimi K3.1 Pro – uavhengig måling på Terminal-Bench 4.0
• Moonshot AI på Hugging Face – her skal vektene publiseres
• Kimi K3-lisensen – vilkårene for forgjengeren
• Kimi-plattformen – API og priser