DeepSeek V4.1 Flash: Derfor er minnetrikset viktigere enn benchmark-tallene
DeepSeeks nyeste modell bruker en fjerdedel så mye KV-cache som forgjengeren. Det høres tørt ut, men det er nettopp dette som avgjør hva det koster å kjøre lange agentøkter.
Det egentlige problemet: minnet, ikke regnekraften
Når en språkmodell leser en lang tekst, lagrer den en mellomregning for hvert eneste token – KV-cachen. Den vokser lineært med konteksten. Med en kodeagent som leser hele kodebaser, kjører verktøy og fyller på med logger i timevis, blir det fort minnet på GPU-en som setter grensen for hvor mange brukere en server kan betjene, ikke selve regnekraften.
DeepSeek V4.1 Flash går rett på dette. Ifølge den tekniske rapporten bruker modellen 890 byte global KV-cache per token, omtrent en fjerdedel av V4 Flash. Den vedvarende cachen – det som må ligge i minnet gjennom hele økten – er krympet til en åttendedel.
Råteksten vi fikk inn påsto at minneavtrykket er «over 400 ganger mindre enn første generasjon». Det tallet finner vi ikke hos DeepSeek. De sammenligner kun med V4 Flash, og det er de tallene vi holder oss til.
Tre grep som virker sammen
Det første grepet er det mest uvanlige. V4.1 Flash er delt i en kausal encoder og en decoder, hver på 20 lag. Decoderen henter ikke sin globale KV-cache fra egne lag, men får den projisert fra encoderens siste lag. Dermed slipper man å lagre én full cache per lag.
Det andre er Compressed Sparse Attention 2. Hvert oppmerksomhetslag får en fast rolle: Enten regner det full oppmerksomhet, gjenbruker et annet lags indekser, eller gjenbruker et annet lags KV-data direkte. Mye av arbeidet gjøres altså én gang og deles.
Det tredje er at cachen lagres i FP4, et 4-bits flyttallsformat, med egne skaleringsfaktorer per 16 kanaler. Det kutter minnet ytterligere uten et eget kvantiseringssteg i etterkant.
Billigere å lese enn å skrive
En detalj som er lett å overse: Modellen aktiverer bare 8 milliarder parametere når den leser inn tekst, men 16 milliarder når den skriver svar. Forgjengeren brukte 13 milliarder på innlesing.
Det passer agenter godt. I en typisk agentløkke leser modellen langt mer enn den skriver – filer, verktøysvar, feilmeldinger – så det er innlesingen som dominerer regningen. Baseten, som allerede tilbyr modellen via API, trekker fram akkurat dette som hovedpoenget.
Tallene, og forbeholdene
V4.1 Flash er en Mixture-of-Experts-modell med 552 milliarder parametere i ryggraden, støtte for én million tokens kontekst og innebygd bildeforståelse. DeepSeek oppgir 74,2 prosent på DeepSWE og 90,6 prosent på Terminal-Bench 2.1. Vektene ligger åpent på Hugging Face under MIT-lisens.
To ting er verdt å huske. Det første er at sterke benchmark-tall ikke betyr at modellen tenker godt i alle situasjoner – vi testet den på en Rubiks kube, og «løsningen» var juks. Det andre er at Baseten selv påpeker at 54,8 poeng på Automation-Bench betyr at modellen feiler omtrent halvparten av komplekse arbeidsflyter. Ha et menneske i løkka.
Og selv om bare 8–16 milliarder parametere er aktive om gangen, må hele modellen ligge i minnet. Dette er en modell for servere med mange GPU-er, ikke for hjemmemaskinen. For de fleste av oss er det API-prisen som merkes – og det er her minnetrikset faktisk betaler seg.
Ressurser
- DeepSeek-V4.1-Flash på Hugging Face – vekter, MIT-lisens og benchmarks
- Teknisk rapport på arXiv – «Pushing the Limits of KV Cache Compression»
- Baseten: More efficient prefill for coding agents – hva arkitekturen betyr for agenter
