AIs forestillingsevne og logisk resonans
Hva om du kunne gjøre en AI-modell merkbart smartere
uten å trene den på mer data eller kjøre den på kraftigere maskinvare?
Det er i essens hva Kimi-teamet hos Moonshot AI har demonstrert
med en arkitektonisk nyvinning kalt Attention Residuals.
Problemet: amnesia i dype modeller
Moderne språkmodeller bygges lag på lag.
Men det finnes et grunnleggende problem med slik arkitektur:
når informasjon fra tidlige lag skal nå de dypere lagene,
vannes den ut av akkumulert støy underveis.
Hvert lag mottar en jevnt vektet sum av alle foregående lag —
ingen mekanisme velger bort uvesentlig informasjon
eller fremhever det som faktisk betyr noe for den konkrete oppgaven.
Resultatet er at modellen gradvis «glemmer» kontekst
jo dypere resonneringen går.
Løsningen: Attention Residuals
I et paper publisert på arXiv i mars 2026 (arXiv:2603.15031)
presenterer Kimi-teamet Attention Residuals (AttnRes).
I stedet for faste, uniforme vekter i residualforbindelsene
bruker AttnRes lært softmax-oppmerksomhet over alle foregående lag.
Hvert lag kan nå selektivt hente akkurat den informasjonen
det trenger fra dypere tilbake i modellen —
basert på innholdet i den aktuelle oppgaven.
For å gjøre dette praktisk ved stor skala introduserer de
Block AttnRes, som grupperer lag i blokker og reduserer
minneavtrykket fra O(L×d) til O(N×d) —
uten å miste de fleste gevinstene fra full AttnRes.
Resultatene
Testene ble kjørt på Kimi Linear, en 48-milliarders MoE-modell
trent på 1,4 billioner tokens. Tallene er tydelige:
GPQA Diamond — som måler flertrinns, ekspertnivå resonnering —
forbedret seg med +7,5 poeng.
Matematikkoppgaver steg med +3,6 poeng,
og HumanEval for kode med +3,1 poeng.
Block AttnRes gir i tillegg en 1,25x beregningsfordel:
modellen matcher en baseline trent på 25% mer data
— bare ved å bytte ut residualforbindelsene.
Hva det betyr i praksis
Attention Residuals er ikke en modell du kan laste ned i dag.
Det er et arkitektonisk grep som sannsynligvis vil finne veien
inn i neste generasjons Kimi-modeller og potensielt
adopteres bredt i åpen kildekode-fellesskapet.
Poenget er større enn Moonshot AI alene:
at lærte, innholdsdrevne vekter i residualforbindelsene
konsekvent slår faste vekter på tvers av modellstørrelser
er et funn med potensielt stor rekkevidde.
