Kolibri: Aleph Alphas neues deutsches KI-Modell kürzt die Flügel

Deutschland hat einen neuen nationalen Champion im Bereich KI, und es ist keine Behörde. Es ist ein privates Unternehmen namens Aleph Alpha, und sein neues Modell heißt Kolibri – deutsch für Kolibri. Der Vogel ist klein, schnell und leicht, und das gilt auch für das Modell. Es handelt sich um ein großes Sprachmodell, oder LLM, das vollständig auf deutschem Boden entwickelt wurde, in Deutschland und Finnland trainiert und unter der Apache 2.0-Lizenz veröffentlicht wurde, sodass es jeder frei nutzen kann. Die Modellkarte und der 189-seitige technische Bericht erklären genau, wie es funktioniert.

Das Gewichtsproblem des Kolibris

Ein normales großes Sprachmodell liest jedes Token durch jeden Parameter. Das erfordert riesige Mengen an Speicher und Rechenleistung. Kolibri löst dieses Problem, indem es seinen Verstand in kleinere Verstände aufteilt, von denen jeder eine spezielle Aufgabe hat. Es hat 50 Schichten, und jede Schicht enthält 384 Experten plus einen gemeinsamen Experten, den jedes Token durchläuft. Der Router wählt für jedes Token sechs dieser 384 Experten aus, die es verarbeiten. Das bedeutet, dass 78,1 Milliarden Parameter die Arbeit eines viel kleineren Modells erledigen – etwa 3,46 Milliarden Parameter pro Token.

Die Modellkarte sagt es klar und deutlich: „Das vollständige Modell muss im Speicher gehalten werden, obwohl nur ein Teil davon zu einem bestimmten Zeitpunkt aktiv ist.“ Also rechnet Kolibri wie ein kleines Modell, benötigt aber den Speicher eines riesigen.

Der Tokenizer, der zusammengesetzte Wörter versteht

Ein Modell liest Token, nicht Wörter. Token sind Textstücke aus einem festen Vokabular, die beim Training des Tokenizers ausgewählt werden. Deutsch klebt Wörter zu langen zusammengesetzten Wörtern zusammen, und ein Tokenizer, der hauptsächlich auf Englisch trainiert wurde, neigt dazu, sie auseinanderzuschneiden. Kolibris Tokenizer, genannt UniBPE, behebt dies. Er behält die Bottom-up-Zusammenführung von Byte-Pair-Encoding, oder BPE, bei, wählt aber jede Zusammenführung mit einer anderen Bewertungsmethode – dem Unigram-Ziel – aus, die berücksichtigt, wie Deutsch Wörter aufbaut.

Das Ergebnis ist ein Tokenizer, der den Namen des Bundesverfassungsgerichts als ein zusammengesetztes Wort liest, während ein Standard-Tokenizer ihn in sechs separate Token aufteilt. Im Grundgesetz für die Bundesrepublik Deutschland, der deutschen Verfassung, benötigte Kolibris Tokenizer 15 % weniger Token als der Tokenizer von GPT-5, noch mehr als die eigenen 11,2 % Einsparungen, die Aleph Alpha selbst beansprucht. Auf Englisch erreichte er das gleiche Ergebnis wie GPT-5.

Schichten, die in die Nähe schauen

Vierzig von Kolibris 50 Layern nutzen Sliding-Window-Attention, was bedeutet, dass jedes Token nur auf benachbarte Token blickt. Das reduziert den Speicherbedarf, um das gesamte Modell im RAM zu halten. Die restlichen zehn Layer dürften die Verbindungen über größere Distanzen behandeln, die Sliding Windows verpassen.

Trainingsdaten und Filter

Kolibri wurde von Grund auf auf Infrastruktur in Deutschland und Finnland trainiert, ohne ausländische Kontrolle über den Bauprozess. Die Trainingsdaten stützten sich auf englischen Webtext, der mit Googles Gemma 4 umformuliert wurde, deutschen Text, der mit Mistral-NeMo gefiltert wurde, und Qwen3-32B-gelabelte Daten für Qualitätsfilter. Aleph Alpha filterte die Daten auf politische Voreingenommenheit, die es selbst in chinesischen Open-Source-Modellen gemessen hat.

Das Modellcard gibt klar an, dass nichts von außerhalb Europas in sein Design einfloss, obwohl einige Trainingsdaten aus außerhalb Europas stammten. Der Souveränitätsanspruch gilt für den Bau und die Bereitstellung, nicht für die verarbeiteten Daten.

Was das Modell gut kann

Aleph Alphas eigene Bewertung besagt, dass Kolibri bei allen verglichenen Modellen seiner Größe sowohl in Deutsch als auch in Englisch gut abschneidet. Das Unternehmen hat die Allgemeine Erklärung zur Ethik in der künstlichen Intelligenz der Europäischen Union unterzeichnet, die Standards für die Verwendung von KI-Systemen in ganz Europa festlegt.

Ausführen von Kolibri

Das Modellcard und der technische Bericht sind die primäre Quelle. Das Modell läuft auf Standardhardware, und seine Gewichte stehen auf Hugging Face zum Download bereit. Das Tokenizer-Experiment wurde mit Hugging Faces Tokenizer-Bibliothek und OpenAI’s Tiktoken durchgeführt.

Warum es wichtig ist

Kolibri ist eine direkte Antwort auf eine vor drei Jahren auf der SmashingConf New York geäußerte Sorge. Ein Redner sagte, es wurde gehört, dass „man reguliert, man innoviert nicht“, und wünschte sich einen Mittelweg zwischen Innovation und Regulierung in Bezug auf Datenschutz, Datenverantwortung, ökologische Einschränkungen und Energieanforderungen. Kolibri ist diese Antwort: Ein deutsches Team hat es unter Berücksichtigung des EU-KI-Gesetzes von Grund auf neu gebaut und gibt Ministerien und Autoherstellern die volle Freiheit, es auf ihren eigenen Servern zu betreiben, ohne ihre Daten anderswohin zu senden.

Das Modell ist zudem ein praktisches Werkzeug. Weniger Token bedeuten weniger Schritte, um denselben deutschen Text zu lesen oder zu schreiben, und mehr deutscher Text passt in dasselbe Kontextfenster. Das ist wichtig für juristische Dokumente, Verfassungstexte und alltägliche Konversationen.

Das Urteil über Kolibri

Kolibri ist ein cleveres Stück Ingenieurskunst. Es benötigt einen Bruchteil seines eigenen Gewichts, um echte Arbeit zu leisten, und es verarbeitet Deutsch besser als fast alles andere, das es derzeit gibt. Die Urheberrechtsaussage ist ehrlich über ihre Grenzen – sie wurde mit Sorgfalt gebaut, nicht mit einer Mauer um ihre Daten. Es ist ein Modell, das es sich lohnt, im Auge zu behalten, und ein Modell, das es sich lohnt, auszuführen.

Hier sind die wichtigsten Punkte:

• 78,1 Milliarden Parameter, aber jeder Token berührt nur etwa 3,46 Milliarden davon
• 384 Experten pro Schicht, mit einem Router, der sechs für jeden Token auswählt
• 128.000-Token-Vokabular, trainiert mit UniBPE
• In Deutschland und Finnland trainiert, ohne ausländische Kontrolle über den Aufbau
• Ergebnisse über jedem verglichenen Modell seiner Größe sowohl in Deutsch als auch in Englisch
• Gewichte unter Apache 2.0 auf Hugging Face veröffentlicht

Kolibri ist ein kleines Modell mit einer großen Ambition: zu zeigen, dass deutsche Ingenieurskunst auf deutschem Boden bestehen kann. Das tut sie.

Quellenmaterial: „Show HN: Germany’s new sovereign AI model Kolibri,“ tej.as.