Waarom kleine taalmodellen de toekomst van AI zijn
De grootste AI-modellen halen het nieuws. De modellen die het meeste werk gaan doen, zijn klein genoeg voor je telefoon. Zo zit het, met de cijfers.
Wat een klein taalmodel is
Een taalmodel is het deel van een AI dat je vraag leest en het antwoord schrijft. De grote, zoals de modellen achter ChatGPT en Gemini, draaien in datacenters. Een klein taalmodel, of SLM (small language model), heeft een paar miljard parameters in plaats van honderden miljarden. Dat is klein genoeg voor een laptop of een telefoon.
Er is geen officiële grens. Onderzoekers van NVIDIA noemen een model klein als het op een gewoon apparaat past en snel genoeg antwoordt voor één persoon (NVIDIA Research). In de praktijk is dat meestal onder de 10 miljard parameters. Het model dat Apple op je iPhone zet, heeft er ongeveer 3 miljard (Apple).
Kleine modellen werden snel goed
In 2022 was PaLM van Google het kleinste model dat boven de 60% scoorde op MMLU, een grote toets van algemene kennis. Het had 540 miljard parameters. In 2024 haalde Phi-3-mini van Microsoft dezelfde lat met 3,8 miljard. Dat is 142 keer kleiner in twee jaar (Stanford AI Index 2025).
De prijs daalde nog sneller. Een antwoord op het niveau van GPT-3.5 kostte in november 2022 ongeveer $20 per miljoen tokens en in oktober 2024 $0,07. Dat is meer dan 280 keer goedkoper (Stanford AI Index 2025).
En het gat wordt steeds kleiner. Epoch AI zag dat open modellen die op één gamevideokaart draaien, even goed zijn als de beste AI van 6 tot 12 maanden eerder (Epoch AI).
Waarom klein wint
De meeste klussen zijn kleine klussen
De tandarts in je agenda zetten, een mail samenvatten, nagaan of een sms oplichting is. Daar heb je het grootste model ter wereld niet voor nodig. De onderzoekers van NVIDIA maken dit punt voor AI-agents: de meeste stappen van een agent zijn herhalend en afgebakend, en een klein model doet ze goed. Ze schatten dat een model van 7 miljard parameters 10 tot 30 keer goedkoper draait dan een van 70 tot 175 miljard, in snelheid, energie en rekenkracht (NVIDIA Research).
Bedrijven zien het ook. Gartner verwacht dat organisaties in 2027 kleine modellen voor één taak minstens drie keer zo vaak gebruiken als algemene grote modellen (Gartner).
Het draait op wat je al hebt
Het IEA verwacht dat datacenters in 2030 meer dan twee keer zoveel stroom gebruiken, rond de 945 TWh. Dat is iets meer dan heel Japan nu verbruikt (IEA). Een klein model op je telefoon draait op een chip die al in je broekzak zit. Het werkt ook zonder verbinding.
Het kost niets per vraag
Elke vraag aan een groot model in de cloud kost het bedrijf geld, en iemand betaalt dat: met een abonnement, met advertenties of met je gegevens. Het model van Apple op het apparaat kost de apps die het gebruiken niets per vraag (Cult of Mac). Een app kan zijn AI dus gratis weggeven.
Je vraag blijft bij jou
Als het model op je apparaat draait, hoeft je vraag nergens heen. Geen bedrijf bewaart hem, leest hem of traint erop. Bij vragen over je gezondheid, je geld of de mensen om je heen telt dat het meest.
Melo antwoordt op je eigen iPhone en Mac. Je vragen gaan niet naar Kamelo of een ander AI-bedrijf. Download Melo
Wat kleine modellen nog niet kunnen
- Ze weten minder. In een paar miljard parameters past niet elk feit dat een enorm model kent, dus bij moeilijke kennisvragen zitten ze vaker fout. Iets opzoeken helpt.
- Lang en moeilijk nadenken, zoals een lastig bewijs of een groot stuk code, gaat nog beter met grote modellen.
- Ze hebben een recent apparaat nodig. Apple Intelligence werkt op een iPhone 15 Pro of nieuwer.
De toekomst is dus gemengd. Een klein model op je apparaat doet het meeste werk, en alleen de moeilijke vraag gaat naar een groter model. De onderzoekers van NVIDIA stellen hetzelfde voor: systemen met modellen van verschillende grootte, met het kleine model als standaard (NVIDIA Research).
Hoe Melo kleine modellen gebruikt
Melo is op dit idee gebouwd. Op de iPhone antwoordt Melo met het model dat Apple Intelligence op je telefoon zet. Op de Mac kun je ook Gemma 4 kiezen, een model dat op je Mac draait. Je vragen gaan niet naar Kamelo of naar een ander AI-bedrijf.
Daarmee plant Melo je dag, zoekt recepten, leest je mail en waarschuwt je voor nep-sms’jes. Zoekt Melo iets op, dan gaan alleen de zoekwoorden van je apparaat af, nooit je gesprek.