Peppen som nästan flyttade in i telefonen
Vad det var
Anders bygger Yatzy Crown, ett yatzyspel för mobilen. Efter varje parti skriver appen en kort kommentar om hur det gick: en mening eller två som lyfter fram något verkligt ur partiet. Vi kallar den peppen.
Peppen skrivs av Gemini, Googles stora språkmodell, i molnet. Under elva dagar i oktober försökte vi lära en liten, öppen språkmodell att skriva samma sorts pepp direkt i telefonen. Det lyckades, på engelska och på svenska. Ändå pausade vi projektet, och slutet av den här sidan förklarar varför.
| Din poäng | 209 |
| Motståndarens poäng | 130 |
| Marginal | 79 |
| Bästa ruta | Yatzy 50 |
| Ditt snitt hittills | 171 |
| Jämfört med ditt snitt | över |
| Bonus, marginal | −1 |
Varför vi byggde den
Utan nät. Yatzy spelas på tåget och i sommarstugan. En modell i telefonen skriver peppen även i flygplansläge.
Utan kostnad per parti. Varje anrop till Gemini kostar en liten summa, knappt ett öre. En modell i telefonen kostar ingenting att köra, hur många partier som än spelas.
Partiet stannar hemma. När meningen skrivs i telefonen behöver sammandraget aldrig lämna den.
Vad en språkmodell är
En språkmodell gör en enda sak: givet en text gissar den nästa lilla bit, om och om igen. En sådan bit kallas token och är ofta en stavelse. En pepp är 30–50 tokens, och modellen skriver den genom att gissa så många gånger i rad.
Gissningarna kommer ur modellens parametrar, miljontals tal som har justerats under träningen. Fler tal ger mer allmänbildning, men en modell som ska rymmas i en telefon måste klara sig med få. Peppen kräver ingen allmänbildning. Modellen behöver bara kunna läsa ett sammandrag av ett yatzyparti och skriva en träffande mening om det.
Staplarna växer tiofaldigt för varje steg, annars skulle de små modellerna inte synas alls.
Hur den lärde sig
Vi tränade inte från noll. Vi lånade en färdig, öppen modell som redan kan språk och lärde den bara att låta som Yatzy Crowns pepp. Gemini var läraren och den lilla modellen eleven.
Allt tränades hemma, på Anders stationära Ubuntu-dator med ett grafikkort från 2019, ett RTX 2080 Super på 8 GB. En träning tog mellan en halvtimme och nio timmar. Gemini fick betalt för att skriva träningsexemplen, sammanlagt drygt 60 dollar för omkring 80 000 peppar. Allt annat var gratis.
Domaren
Domaren är vanlig kod som läser varje pepp och letar efter fel som en spelare skulle se direkt. Den växte under resan, från en enda regel till drygt ett dussin:
- FaktavaktenVarje siffra i peppen måste finnas i sammandraget, eller gå att räkna fram ur det. Står det 68 procent och sammandraget säger 69 är det fel.
- Fel håll«Dina 121 poäng slår ditt snitt på 134» innehåller bara riktiga siffror men är ändå fel. Den här regeln fångar jämförelser som pekar åt fel håll.
- Motsägelser«Tredje raka vinsten … två i rad» och «tärningarna var med dig» när de inte var det.
- Konstiga ord och könFörvrängda namn som «generatzy», tekniska ord som läckt in i texten, och motståndaren som «honom» eller «henne» trots att modellen inte kan veta vem det är.
Det domaren inte hittar ser bara en människa. Därför fanns blindtesterna.
Resan
- 1 oktoberIdén: kan en liten modell i telefonen skriva peppen i stället för Gemini?
- 4 oktober8 000 träningsexempel för 5 dollar. Tre kandidater tränas samma kväll: SmolLM2, Granite och Qwen3. Granite blir bäst och går vidare.
- 5 oktoberBlindtest 1: Anders väljer Granites pepp 15 gånger och Geminis 11. Granite krymps till en telefonfil på 237 MB och läggs in i appen, synlig bara för Anders.
- 6 oktoberPå riktiga telefoner syns ett fel som ingen kontroll fångat: «dina 211 poäng slår ditt snitt på 220». Eleven försöker jämföra två tal och gör ofta fel.
- 7 oktoberLösningen: koden avgör om poängen är över eller under snittet, och modellen får bara ordet «över» eller «under». Felen sjunker från 59 på 1 000 till 4. Qwen3 blir bäst.
- 8 oktoberBlindtest 2 går dåligt för Qwen: Gemini väljs 28 gånger av 40. Peppen låter formelmässig och säger ibland emot sig själv.
- 8–9 oktoberAnders tror på Googles minsta modell, Gemma 3 270M. När alla dess vikter får tränas, i stället för bara ett litet tillägg, når den 97 %. Med fyra gånger mer data blir den bättre men börjar räkna ut marginaler själv och gör fel. Samma lösning en gång till: koden räknar marginalerna.
- 9 oktoberGemma m4e klarar 98,5 % av alla kontroller och hittar inte på en enda siffra på 1 000 partier. Lite slump när den skriver gör peppen mer varierad. Den läggs i appen och mäts på tre telefoner.
- 10–11 oktoberSvenska. Gemini skriver 32 000 svenska exempel, och tre sätt att lära Gemma svenska prövas. Det som till sist fungerar är en egen svensk modell, tränad på exempel där lärarens egna fel har sorterats bort.
- 11 oktoberDen svenska modellen klarar alla kontroller på alla 1 000 partier. Samma dag bestämmer Anders att pausa.
Hur snabb den var i telefonen
| Telefon | En pepp |
|---|---|
| iPhone, nyare | under 1 sekund |
| Google Pixel 11 Pro XL | 4–7 sekunder |
| Motorola g15, billig Android | ungefär 10 sekunder |
Gemma 3 270M på 253 MB, version m4e. Qwen tog ungefär 17 sekunder på samma Motorola.
Fyra blindtester
I ett blindtest läser Anders samma parti med två peppar sida vid sida, en från Gemini och en från den lilla modellen, utan att veta vilken som är vilken. Han väljer den bästa eller svarar «lika bra».
Svenskan
Svenskan blev ett eget litet äventyr. Vi prövade tre vägar: ett litet svenskt tillägg ovanpå den engelska modellen, en modell för båda språken och en egen svensk modell. Alla klarade logiken. Men i blindtestet fastnade Anders för ord som inte fick bli fel. Modellen skrev «generatzy» när den försökte säga Generala-partiet, och ibland gav den motståndaren ett kön, «din seger mot henne».
Felen kom från läraren. Gemini skrev själv förvrängda ord som «generlagenerala» i en procent av sina svenska texter, och eleven lärde sig dem. När vi sorterade bort lärarens fel ur träningsexemplen gick den svenska modellen från 98,4 % till 100 %: inte ett enda fel på 1 000 partier.
Varför vi pausar
Den lilla modellen fungerade. Men medan den blev bra växte ett enklare alternativ fram: en regelstyrd pepp, utan någon AI alls. Appen räknar redan ut allt som är värt att säga, som nytt rekord, vinstsvit, missad bonus, tur och skicklighet. Regelpeppen väljer det mest anmärkningsvärda och sätter in det i färdigskrivna meningar, några varianter per händelse.
| Gemini | Egen modell i telefonen | Regelstyrd pepp | |
|---|---|---|---|
| Kostnad | per text | en fil på 253 MB per språk, träning | ingen |
| Svarstid | 1–6 s | under 1 s till 10 s | direkt |
| Utan nät | nej | ja | ja |
| Siffrorna rätt | oftast | nästan alltid | alltid |
| 49 språk | ja | två, ett språk i taget | som all annan text i appen |
| Variation | stor | god | begränsad |
Avvägningen är enkel. Regelpeppen blir torrare och kan bara säga det någon har skrivit i förväg. I gengäld är varje mening läst av en människa, siffrorna kommer alltid rätt, den svarar direkt och kostar ingenting. Den fungerar på alla 49 språk så fort meningarna är översatta, utan en modellfil per språk och utan att någon spelare behöver ladda ner 253 MB.
Den lilla modellen hade krävt samma resa en gång till för vart och ett av de övriga 47 språken: exempel, träning, kontroller och blindtest. Den hade också behövt märkas som AI i appen. För en mening efter ett yatzyparti vägde det tyngre än den rikare variationen.
Ingenting är raderat. Koden, träningsexemplen, alla 20 modellerna och dagboken över varje körning ligger kvar och kan tas upp igen.
Vad vi lärde oss
Koden räknar, modellen formulerar
De stora stegen framåt kom inte från större modeller eller mer data. De kom när vi tog bort något modellen skulle räkna ut själv. Först om poängen var över eller under snittet, sedan marginalerna till motståndaren och till rekordet. Varje gång försvann en hel sorts fel.
Lärarens fel blir elevens fel
Eleven härmar allt, även det som är fel. Att rensa bort Geminis egna misstag ur träningsexemplen gav mer än någon ny modell.
Liten räcker för en uppgift
Den minsta modellen vi provade, Gemma 3 270M, blev till slut bäst. Det krävdes att alla dess vikter fick tränas och att den fick fyra gånger mer data. En modell på en kvarts miljard parametrar kan lära sig en enda sak mycket väl.
Bestäm måttet innan
Varje träning fick sitt mått skrivet innan den startade: vad som räknas som vinst och vad som stoppar den. Resultatet lästes sedan som det skrevs, även när det gick emot oss. Utan det är det lätt att tolka varje resultat som en framgång.
Frågor och svar
Är det ChatGPT?
Nej. Det är en liten öppen modell som vi tränade själva för en enda uppgift. Den kan inte svara på frågor eller föra samtal, bara skriva pepp om ett yatzyparti. Koden skrevs tillsammans med Claude, Anthropics AI-assistent.
Var den lika bra som Gemini?
Nästan. I de två sista blindtesten valdes den lilla modellen oftare än Gemini, men de flesta par bedömdes lika bra. Anders slutsats var att båda fungerar som pepp. Gemini skriver rikare, och den lilla modellen gör färre faktafel.
Hur skiljer det sig från Juno och Vali?
Juno och Vali lärde sig spela helt själva, utan att se en enda människa spela. Det kallas förstärkningsinlärning. Peppmodellen lärde sig i stället genom att härma en lärare, på samma sätt som de stora språkmodellerna lär sig skriva, fast i miniatyr.
Kommer den tillbaka?
Kanske. Om regelpeppen blir för enformig, eller om en framtida telefon gör en lokal modell självklar, finns allt kvar att bygga vidare på.