Warum kleine Sprachmodelle die Zukunft der KI sind

Was ein kleines Sprachmodell ist

Ein Sprachmodell ist der Teil einer KI, der deine Frage liest und die Antwort schreibt. Die großen, etwa die Modelle hinter ChatGPT und Gemini, laufen in Rechenzentren. Ein kleines Sprachmodell, kurz SLM (small language model), hat ein paar Milliarden Parameter statt Hunderte Milliarden. Das ist klein genug für einen Laptop oder ein Handy.

Eine offizielle Grenze gibt es nicht. Forschende von NVIDIA nennen ein Modell klein, wenn es auf ein normales Gerät passt und schnell genug für eine Person antwortet (NVIDIA Research). In der Praxis sind das meist unter 10 Milliarden Parameter. Das Modell, das Apple auf dein iPhone bringt, hat etwa 3 Milliarden (Apple).

Kleine Modelle wurden schnell gut

2022 war Googles PaLM das kleinste Modell mit über 60 % bei MMLU, einem großen Test für Allgemeinwissen. Es hatte 540 Milliarden Parameter. 2024 schaffte Microsofts Phi-3-mini dieselbe Marke mit 3,8 Milliarden. Das ist 142-mal kleiner in zwei Jahren (Stanford AI Index 2025).

Der Preis fiel noch schneller. Eine Antwort auf dem Niveau von GPT-3.5 kostete im November 2022 etwa 20 $ pro Million Tokens und im Oktober 2024 0,07 $. Das ist mehr als 280-mal günstiger (Stanford AI Index 2025).

Und der Abstand schrumpft weiter. Epoch AI stellte fest, dass offene Modelle, die auf einer einzigen Gaming-Grafikkarte laufen, so gut sind wie die beste KI von 6 bis 12 Monaten zuvor (Epoch AI).

Warum klein gewinnt

Die meisten Aufgaben sind kleine Aufgaben

Den Zahnarzt in den Kalender eintragen, eine Mail zusammenfassen, prüfen, ob eine SMS Betrug ist. Dafür brauchst du nicht das größte Modell der Welt. Die Forschenden von NVIDIA vertreten das für KI-Agenten: Die meisten Schritte eines Agenten sind wiederkehrend und eng umrissen, und ein kleines Modell erledigt sie gut. Sie schätzen, dass ein Modell mit 7 Milliarden Parametern 10- bis 30-mal günstiger läuft als eines mit 70 bis 175 Milliarden, bei Tempo, Energie und Rechenleistung (NVIDIA Research).

Auch Unternehmen sehen das. Gartner erwartet, dass Organisationen 2027 kleine Modelle für eine Aufgabe mindestens dreimal so oft nutzen wie allgemeine große Modelle (Gartner).

Es läuft auf dem, was du schon hast

Die IEA erwartet, dass Rechenzentren 2030 mehr als doppelt so viel Strom brauchen, rund 945 TWh. Das ist etwas mehr, als ganz Japan heute verbraucht (IEA). Ein kleines Modell auf deinem Handy läuft auf einem Chip, der schon in deiner Tasche steckt. Es funktioniert auch ohne Verbindung.

Es kostet nichts pro Frage

Jede Frage an ein großes Modell in der Cloud kostet das Unternehmen Geld, und jemand bezahlt das: mit einem Abo, mit Werbung oder mit deinen Daten. Apples Modell auf dem Gerät kostet die Apps, die es nutzen, nichts pro Frage (Cult of Mac). Eine App kann ihre KI also kostenlos anbieten.

Deine Frage bleibt bei dir

Läuft das Modell auf deinem Gerät, muss deine Frage nirgendwohin. Kein Unternehmen speichert sie, liest sie oder trainiert damit. Bei Fragen zu deiner Gesundheit, deinem Geld oder den Menschen um dich herum zählt das am meisten.

Melo antwortet auf deinem eigenen iPhone und Mac. Deine Fragen gehen nicht an Kamelo oder ein anderes KI-Unternehmen. Melo holen

Was kleine Modelle noch nicht können

• Sie wissen weniger. In ein paar Milliarden Parameter passt nicht jedes Faktum, das ein riesiges Modell kennt, deshalb liegen sie bei schweren Wissensfragen öfter falsch. Nachschlagen hilft.
• Langes, schweres Nachdenken, etwa ein schwieriger Beweis oder ein großes Stück Code, gelingt großen Modellen noch besser.
• Sie brauchen ein neues Gerät. Apple Intelligence braucht ein iPhone 15 Pro oder neuer.

Die Zukunft ist also gemischt. Ein kleines Modell auf deinem Gerät erledigt das meiste, und nur die schwere Frage geht an ein größeres Modell. Die Forschenden von NVIDIA schlagen dasselbe vor: Systeme mit Modellen verschiedener Größe, mit dem kleinen als Standard (NVIDIA Research).

Wie Melo kleine Modelle nutzt

Melo ist auf dieser Idee aufgebaut. Auf dem iPhone antwortet Melo mit dem Modell, das Apple Intelligence auf dein Handy bringt. Auf dem Mac kannst du auch Gemma 4 wählen, ein Modell, das auf deinem Mac läuft. Deine Fragen gehen nicht an Kamelo oder an ein anderes KI-Unternehmen.

Damit plant Melo deinen Tag, findet Rezepte, liest deine Mails und warnt dich vor Betrugs-SMS. Schlägt Melo etwas nach, verlassen nur die Suchwörter dein Gerät, nie dein Chat.