Blog
KI-Modelle: Schwache vs. starke Superposition
Seit Jahren zeigt sich bei Sprachmodellen dasselbe Muster: Je größer das Modell, desto besser wird es. Dieser Zusammenhang ist als neuronales Skalierungsgesetz bekannt. Gemeint ist damit, dass der Fehler eines Modells, also sein „Loss“, mit wachsender Modellgröße erstaunlich regelmäßig sinkt, typischerweise nach einem Potenzgesetz.
Ein Potenzgesetz bedeutet, dass sich etwas nach einer sehr gleichmäßigen Regel verändert: Wenn man eine Größe vergrößert, verbessert oder verschlechtert sich eine andere Größe nicht zufällig, sondern in einem stabilen, vorhersagbaren Muster.
Dieses Muster ist für die KI-Entwicklung sehr wichtig. Es beeinflusst ganz praktisch, wie Unternehmen und Forschungslabore planen: Lohnt es sich, das nächste Modell noch größer zu bauen? Wie viel mehr Daten braucht man dann? Und wie stark verbessert sich die Leistung überhaupt?
Die spannende Frage war lange: Warum funktionieren diese Skalierungsgesetze so zuverlässig?
Ein Forschungsteam vom MIT schlägt in seinem Paper Superposition Yields Robust Neural Scaling eine klare Antwort vor: Ein zentraler Grund ist die so genannte Superposition. Dieser Blogbeitrag fasst ihre Forschungsergebnisse zusammen.
Das Grundproblem großer Sprachmodelle
Ein Sprachmodell muss unglaublich viele Dinge gleichzeitig repräsentieren: Wörter, Satzmuster, Themen, Fakten, Stil, Grammatik, Bedeutungsnuancen und vieles mehr. Dafür nutzt es einen so genannten Hidden Space, also einen hochdimensionalen Vektorraum.
Doch hier entsteht ein Problem: Die Zahl der Dinge, die das Modell darstellen muss, ist viel größer als die Zahl der verfügbaren Dimensionen. Das Paper formuliert genau diesen Punkt: LLMs müssen mehr Konzepte repräsentieren, als sie Dimensionen haben, und genau das nennen die Autor:innen des Papers Superposition.
Warum das wichtig ist
Die Autor:innen unterscheiden also zwei Regime: schwache und starke Superposition. Was genau damit gemeint ist, wo die jeweiligen Fähigkeiten und Grenzen liegen, beschreiben wir in diesem Blogbeitrag.
Schwache Superposition: Fokus auf das Wesentliche
Im Regime der schwachen Superposition hat das Modell nur für wenige, wichtige Merkmale wirklich „Platz“. Es lernt deshalb vorrangig die häufigsten Konzepte gut und viele seltene Konzepte werden gar nicht oder nur schlecht repräsentiert. Der verbleibende Fehler entsteht dann hauptsächlich durch genau diese ausgelassenen seltenen Konzepte.
Ein einfaches Beispiel:
Stell dir vor, ein Modell muss 1000 sprachliche Muster lernen, hat aber nur genug Kapazität, um 100 davon sauber abzubilden.
- Wenn unter den 1000 Mustern einige wenige sehr oft vorkommen und der Rest extrem selten ist, dann reicht es schon ziemlich weit, nur die häufigsten 100 gut zu lernen.
- Wenn aber auch die „ignorierten“ Muster zusammen noch oft genug auftreten, bleibt der Fehler hoch.
Der wichtige Punkt ist also: Wie stark der Fehler sinkt, hängt davon ab, wie schnell die Wichtigkeit/Häufigkeit der Konzepte abfällt. Warum das mit dem Potenzgesetz zusammenhängt:
- Falls die Konzept-Häufigkeiten selbst einem Potenzgesetz folgen, also ungefähr nach dem Muster „das zweitwichtigste Konzept ist etwas seltener, das zehntwichtigste deutlich seltener, das hundertwichtigste sehr viel seltener“, dann ergibt auch die Summe der ignorierten Konzepte wieder ein sauberes Potenzgesetz für den Loss.
- Falls die Häufigkeiten nicht so verteilt sind, entsteht dieses schöne Skalierungsverhalten nicht mehr zuverlässig.
Starke Superposition: Mehr ist mehr
Bei starker Superposition versucht das Modell nicht mehr, nur ein paar wichtige Konzepte sauber getrennt abzulegen. Stattdessen packt es sehr viele Konzepte gleichzeitig in denselben Repräsentationsraum. Dadurch entstehen zwar Überlappungen zwischen den Repräsentationen, aber diese Überlappungen sind nicht zufällig chaotisch, sondern geometrisch so organisiert, dass sie im Mittel kontrollierbar bleiben.
Ein anschauliches Bild:
Stell dir vor, du hast nicht mehr nur 100 Schubladen für 1000 Karten und du entwickelst überdies ein sehr gutes Ordnungssystem:
- Viele Karten liegen nun gemeinsam in denselben Schubladen.
- Sie überdecken sich also teilweise.
- Aber sie sind so angeordnet, dass sich die Verwechslungen nicht unkontrolliert aufschaukeln.
Genau das ist die Idee der starken Superposition:
Das Modell speichert viele Merkmale überlappend, aber effizient. Der Fehler entsteht dann nicht mehr vor allem dadurch, dass seltene Konzepte ganz fehlen, sondern durch die kleinen Interferenzen zwischen den überlappenden Repräsentationen.
Warum wird das mit größeren Modellen besser?
Wenn die Modelldimension m wächst, bekommt das Modell mehr „geometrischen Platz“, um diese Überlappungen günstiger anzuordnen. Dadurch sinkt die durchschnittliche Störung zwischen den Repräsentationen. Im Paper wird genau das als Grund genannt, warum der modellgrößenabhängige Fehler in diesem Regime robust ungefähr wie 1/m fällt.
Das ist die eigentliche Pointe:
Größere Modelle werden nicht nur besser, weil sie „mehr Platz“ haben, sondern weil sie in diesem zusätzlichen Raum Überlappungen effizienter organisieren können.
Hunde und Katzen. Ein greifbares Beispiel
Nehmen wir an, ein Modell soll die Begriffe „Hund“, „Katze“, „Haustier“, „bellt“, „miaut“ und „Leine“ darstellen. Wenn genug Platz da wäre, könnte jeder Begriff eine eigene Richtung im Raum bekommen.
In der Praxis ist der Platz aber begrenzt. Also legt das Modell ähnliche Dinge teilweise übereinander:
- „Hund“ und „Katze“ teilen etwas von „Haustier“,
- „Hund“ überlappt eher mit „bellt“ und „Leine“,
- „Katze“ eher mit „miaut“.
Die Begriffe liegen also nicht isoliert nebeneinander, sondern überlappend, aber strukturiert.
Der begrenzte Platz ist jedoch auch wichtig. Sollte jeder Begriff eine eigene Dimension im Raum bekommen, wird es schwierig bis unmöglich, Zusammenhänge bzw. Ähnlichkeiten zu finden, wodurch das Model seine Generalisierungsfähigkeit verliert.
Wenn das Modell nun breiter wird, bekommt es mehr geometrischen Spielraum. Die Überlappungen werden sauberer organisiert, die störenden Interferenzen sinken … und der Loss fällt. Genau diese Idee beschreibt das Paper als geometrischen Ursprung robuster Skalierung.
Die Chinchilla-Skalierung. Was reale LLMs zeigen
Besonders wichtig ist: Die Autor:innen testen an echten Sprachmodellen. Sie argumentieren, dass offene LLMs wie OPT, Qwen, GPT-2 und Pythia im Regime der starken Superposition arbeiten.
Außerdem zeigen ihre Auswertungen:
- Die modellgrößenabhängige Verlustkomponente skaliert bei realen LLMs nahe 1/m.
- Der gemessene Exponent liegt bei 0,91 ± 0,04.
- Die Chinchilla-Skalierung ist mit diesem Bild konsistent.
Die Chinchilla-Skalierung beschreibt die Faustregel, dass man ein Sprachmodell nicht einfach nur größer machen sollte, sondern Modellgröße und Datenmenge gemeinsam skalieren muss, um die vorhandene Rechenleistung optimal zu nutzen.
Vereinfacht heißt das: Wenn man die Zahl der Parameter verdoppelt, sollte man auch ungefähr die Trainingsdaten verdoppeln.
Das spricht dafür, dass Superposition nicht nur ein nettes Theoriekonzept ist, sondern tatsächlich ein Mechanismus realer Modelle.
Was sagt uns das?
Das Paper macht einen wichtigen Unterschied:
- In der schwachen Superposition gilt vereinfacht: „Power law in, power law out“. Nur wenn die Häufigkeiten der Daten einem passenden Muster folgen, zeigt auch der Loss ein sauberes Potenzgesetz.
- In der starken Superposition entsteht die Skalierung viel robuster aus der Geometrie der Repräsentationen selbst, genauer gesagt aus den Überlappungen zwischen den Vektoren.
Damit liefern die Autor:innen eine grundlegende Erklärung dafür, warum Skalierungsgesetze bei LLMs so stabil wirken.
Zugleich ergibt sich daraus auch eine plausible Grenze des Skalierens: Solange das Modell mehr Merkmale darstellen muss, als es Dimensionen besitzt, lohnt sich zusätzliche Breite, weil sie die unvermeidlichen Überlappungen reduziert. Sobald aber genug Dimensionen vorhanden sind, damit relevante Merkmale nicht mehr in Superposition gedrängt werden, sollte der zusätzliche Nutzen weiterer Breite nachlassen.
Anschaulich gesagt: Ein größerer Schrank hilft nur, solange man noch mehr Dinge hat als Fächer. Wenn irgendwann jedes wichtige Ding ein eigenes Fach bekommen kann, bringt ein noch größerer Schrank deutlich weniger. Im Paper wird das mit der naiven Annahme „Konzepte entsprechen Tokens“ verknüpft: Erreicht die Modelldimension ungefähr die Größe des Vokabulars, sollte der breitenbedingte Loss nicht weiter dem bisherigen Potenzgesetz folgen. Die Autoren weisen aber zugleich darauf hin, dass Sprache vermutlich aus mehr unabhängigen Merkmalen besteht als nur aus Tokens, sodass diese Grenze in Wirklichkeit später liegen kann.
Was das für die Praxis bedeutet
Wenn starke Superposition tatsächlich ein zentraler Motor der Skalierung ist, hat das direkte Folgen für die Entwicklung künftiger Modelle. Solange ein Modell weniger Repräsentationsraum hat, als es relevante Merkmale unterbringen muss, hilft zusätzliche Breite: Das Modell kann Überlappungen besser organisieren, Interferenzen verringern und dadurch seinen Fehler senken.
Anschaulich gesagt:
Solange der Schrank weniger Fächer hat, als Dinge verstaut werden müssen, lohnt sich ein größerer Schrank. Dann muss das Modell viele Merkmale noch überlappend unterbringen, und mehr Breite schafft zusätzlichen Spielraum. Sobald aber genug Platz da ist, damit jedes wichtige Merkmal ein eigenes „Fach“ bekommt, bringt weiteres Vergrößern deutlich weniger.
Genau deshalb hilft dieses Bild auch dabei zu verstehen, wann Skalierungsgesetze gelten und wann sie brechen könnten: Sie sind besonders robust, solange das Modell in einem Regime arbeitet, in dem viele Merkmale per Superposition gemeinsam repräsentiert werden. Wenn diese Engstelle verschwindet, ist nicht gesagt, dass dieselbe Skalierungsregel einfach weiterläuft.
Für die Praxis heißt das außerdem:
- Modellbreite wird als Leistungsfaktor besser verständlich.
- Architekturen, die Superposition begünstigen, könnten effizienter skalieren.
- Man bekommt ein klareres Bild davon, wo die Grenzen weiterer Vergrößerung liegen.
- Eine wichtige Kehrseite nennen die Autoren ebenfalls: Mehr Superposition kann die Interpretierbarkeit verschlechtern, weil einzelne Konzepte nicht mehr sauber getrennt repräsentiert sind, sondern stärker miteinander verschränkt werden
Fazit
Große Sprachmodelle werden besser, weil sie nicht einfach nur mehr speichern, sondern weil sie mit wachsender Breite immer mehr Informationen in überlappenden Repräsentationen organisieren können. Und genau diese Superposition erzeugt die beobachteten Skalierungsgesetze.
Literaturangabe:
Liu, Y., Liu, Z. & Gore, J. (2025). Superposition Yields Robust Neural Scaling. In: Proceedings of the 39th Conference on Neural Information Processing Systems (NeurIPS 2025). arXiv:2505.10465.
