Die Inferenz-Hardware-Revolution von 2026)

Vier Jahre nachdem OpenAI’s GPT-3 im Jahr 2020 43,9 Prozent bei einem Wissens- und Denktest erreichte, hat sein Nachfolger, GPT-4o, dieselbe Prüfung mit 88,7 Prozent bestanden. Die Modelle sind in rasendem Tempo deutlich intelligenter geworden, und heute verbraucht das Geschäft mit dem Betrieb dieser Modelle die gesamte Branche.

Die Entwicklung ist einfach zu formulieren, aber schwer zu ignorieren. Das Trainieren immer größerer Modelle bleibt die Schlagzeile, aber die eigentliche Arbeit der Inferenz – der Moment, in dem ein Modell auf eine Eingabe reagiert – ist zur täglichen Aufgabe geworden. Matt Kimball, Principal Data-Center Analyst bei Moor Insights & Strategy, brachte es auf den Punkt: „Es ist, als wäre das Training gestern Nachricht.“ Nvidia CEO Jensen Huang brachte denselben Punkt auf der GTC 2026 Konferenz der Firma auf den Punkt und nannte die Veränderung den „Wendepunkt der Inferenz“.

Warum die Inferenz übernahm

Menschen finden nun tatsächlich einen Wert in LLMs, was ihre Nutzung antreibt. Diese Systeme beantworten Fragen, komponieren Code und erstellen Bilder von Benutzern, die als Elfen dargestellt werden. Dieser Wert schafft Nachfrage, und Nachfrage schafft Akzeptanz. Die Veränderung geht jedoch über bloße Nützlichkeit hinaus. Heutzutage arbeiten viele Modelle als Denkmodelle und führen wiederholt Inferenz durch – sie fordern sich selbst immer wieder in einem Prozess heraus, der als „Chain of Thought“ bekannt ist. Dieser Ansatz erzeugt längere Ausgaben, und einige Modelle mit hohem Denkaufwand können bis zum 20-fachen mehr Text generieren als Modelle mit geringem oder keinem Aufwand.

Agentenbasierte KI-Systeme verarbeiten nicht nur Abfragen, wenn ein Mensch etwas fragt; sie führen rund um die Uhr Inferenz durch und arbeiten auf ein benutzerdefiniertes Ziel hin. Dieser konstante Betrieb fügt mehr Verarbeitung hinzu, als es unter normalen Umständen der Fall wäre.

Chips wechseln die Seiten

Unerwartete Partnerschaften sind aufgrund der Nachfrage entstanden. OpenAI und Amazon haben Dinner-Teller-große Chips von Cerebras verwendet, obwohl Amazon seine eigenen Trainium-Chips herstellt. Nvidia sicherte sich wichtige Talente und geistiges Eigentum von der KI-Inferenz-Startup Groq durch einen Deal im Wert von 20 Milliarden Dollar. Anthropic mietet ungenutzte Rechenleistung von LLM-Konkurrent SpaceXAI für über eine Milliarde Dollar pro Monat.

Diese Vereinbarungen deuten auf eine wesentliche Änderung hin, wie Schlussfolgerungen gezogen werden. Die Kombination von Maschinen, die dies unterstützen, weicht nun von dem ab, was Experten noch vor ein paar Jahren prognostiziert hatten.

Training vs. Inferenz

Betrachten Sie den Unterschied zwischen Training und Inferenz anhand eines Vergleichs. Ein Sprachmodell, das noch nicht trainiert wurde, gleicht einer Sammlung von Scrabble-Kacheln, die auf einem Tisch verstreut liegen. Unter diesen Kacheln, die einzelne Teile von Wörtern repräsentieren, die sogenannten Token, existieren alle Bausteine für nahezu jede Komposition. Doch nichts davon ergibt etwas Sinnvolles, das gelesen oder verstanden werden kann.

Training ordnet dieses Durcheinander durch ein Ratespiel im großen Stil an. Das Modell trifft auf echten Text, wobei der nächste Token verborgen ist, und macht eine Vermutung, was folgt. Sobald die Vermutung getroffen ist, wird der korrekte Token angezeigt, die Diskrepanz gemessen, und das Modell passt seine Parameter mithilfe von Backpropagation an – einer Methode, die wieder und wieder angewendet wird, um zu bestimmen, wie sich jeder der Milliarden oder Billionen von Parametern des Modells ändern sollte, um die nächste Vorhersage zu verbessern.

Der Prozess funktioniert im Vergleich zum Training umgekehrt. Sobald das Modell aus seinen Daten gelernt hat, bleiben seine Zahlen fest. Es nimmt einen Prompt entgegen, gewichtet, wie jedes Wort mit jedem anderen Wort zusammenhängt, und gibt eine Antwort zurück. Die Berechnungen, die erforderlich sind, um diese Zahlen anzupassen, sind nicht mehr Teil des Prozesses. Dennoch endet die Aufgabe nicht an diesem Punkt.

Das Chain-of-Thought-Problem

Sudeep Bhoja, Gründer und CTO des Inferenz-Hardware-Unternehmens d-Matrix, erklärt, dass Inferenz neue Herausforderungen mit sich bringt. Modelle sind autoregressiv – der nächste Output hängt vom vorherigen ab. „Um also den nächsten Token zu generieren, müssen Sie alle Gewichte und den gesamten Kontext des vorherigen Tokens lesen“, sagt er. Der Kontext umfasst alle Prompts, alle Antworten des LLM und alle hochgeladenen Dateien. Es sind viele Daten und viel Verarbeitung.

Ein LLM generiert seine Antwort in zwei Phasen:

• Prefill ist das Modell, das einen Prompt liest. Es verarbeitet jeden Token auf einmal und berechnet, wie jeder Token in Beziehung zu allen anderen steht. Diese Operation wird als Attention bezeichnet, einem entscheidenden Merkmal der Transformer-Architektur, die modernen LLMs zugrunde liegt. Attention ermöglicht es dem Modell, auf ein Wort in seinem Satz, Absatz und größeren Kontext zu reagieren, anstatt isoliert.

Das Kontextproblem

Eine riesige Menge an Informationen muss im Auge behalten werden, damit das System ordnungsgemäß funktioniert. Jedes erzeugte Textstück beruht auf den Details dessen, was vorher geschah – jeder Frage, jeder Antwort, jedem hinzugefügten Dokument. Daher muss das Modell das gesamte Protokoll des Austauschs festhalten und durchgehen.

Was die Deals bedeuten

Nvidias Groq 3-Sprachverarbeitungseinheit ist darauf ausgelegt, Datenbewegungen zu minimieren, mit On-Chip-SRAM-Speicher und Computational-Blöcken, die in der Reihenfolge angeordnet sind, in der sie benötigt werden. SRAM ist eine schnelle, Low-Latency-Speicherart, die die Zeit reduziert, die mit der Bewegung von Daten zwischen Operationen verbracht wird. Amazon hat AI-Inferenz in zwei Teile aufgeteilt und Trainium zur Bearbeitung des rechnerisch komplexeren Teils zugewiesen und den speicherintensiveren Teil Cerebras’ wafergroßem Engine überlassen.

Was als Nächstes kommt

Die Hardware-Inferenzrevolution von 2026 ist real und beschleunigt sich. Die Nachfragekurve ist steil, und die Allianzen schließen sich weiterhin.

Diese Zusammenfassung stützt sich auf eine breitere Bewegung, und ihr Gewicht beruht auf der Bemerkung einer einzelnen Person und einem einzelnen Konferenzzitat. Die dahinterliegende Aussage ist real: das Argument hat die Oberhand gewonnen.