Aleph Alpha sichert Kolibri, ein souveränes Open-Weight-Modell.

Aleph Alpha hat ein neues Modell entwickelt, das den Namen Kolibri trägt. Das Unternehmen veröffentlichte den englisch-deutschsprachigen Mixture-of-Experts Transformer am Tag der Deutschen Einheit, mit insgesamt 78 Milliarden Parametern, 3 Milliarden aktiven Parametern und einer Kontextlänge von bis zu 1 Million Token. Das Modell ist unter der Apache 2.0-Lizenz auf Hugging Face mit vollständigen Gewichten herunterladbar.

Die Veröffentlichung beinhaltet einen detaillierten Technikbericht, der erklärt, wie Kolibri aufgebaut wurde. Aleph Alpha startete mit Kolibri Origin, einem Modell mit insgesamt 30 Milliarden Parametern, 3 Milliarden aktiven Parametern und einem 65k-Token-Fenster, und führte das neuere Modell durch dieselbe Pipeline: Dateningestion, Curation, Ablationen, Pre-Training, Post-Training und abschließende Evaluierungen. Das Unternehmen sagt, dass die Pipeline es ermöglichte, Hunderte von Ablationsexperimenten durchzuführen und das Training stabil zu halten, selbst wenn Hardware ausfiel oder Datenverbindungen unterbrochen wurden.

Was Kolibri kann

Kolibri ist für souveräne, für den Betrieb kritische Aufgaben in regulierten Bereichen konzipiert. Dazu gehören öffentliche Verwaltung, Industrie und Luft- und Raumfahrt. Das Modell ist auf Deutsch, Logik, Mathematik, Agentenverhalten und andere Fähigkeiten spezialisiert, die Kunden in der Produktion benötigen. Ziel ist es, die Leistung für den jeweiligen Anwendungsfall jedes Kunden zu optimieren, damit sie die wirtschaftlichen Auswirkungen überwachen und den ROI im Laufe der Zeit messen können.

Souveränität ist ein Kernversprechen. Aleph Alpha sagt, es kombiniere zwei Dimensionen: wie das Modell aufgebaut wurde und wie es an Kunden übertragen wird. Das Unternehmen bietet eine vollständige Supply-Chain-Integrität, die jede Entscheidung von der Dateningestion über Pre- und Post-Training bis hin zu abschließenden Evaluierungen berücksichtigt. Kunden erhalten volle Bereitstellungsfreiheit und IP-Sicherheit, wobei die Compliance als Eigenschaft des Modells vererbt wird.

Das Modell ist unter der Apache 2.0-Lizenz auf Hugging Face mit vollständigen Gewichten herunterladbar. Das Unternehmen sagt, dass die in den Aufbau und die Iteration der Pipeline investierte Zeit eine wertvolle Investition gewesen sei, was sich darin zeige, wie viel besser Kolibri im Vergleich zu Kolibri Origin sei und wie wenig Zeit zwischen ihren Veröffentlichungen liege.

Vergleich der Fähigkeiten

Kolibri befindet sich auf der Pareto-Grenze für Qualität im Verhältnis zu den Serving-Kosten, wobei 3 Milliarden aktive Parameter von insgesamt 78 Milliarden verwendet werden. Das Unternehmen vergleicht es mit anderen Modellen und stellt fest, dass keines mehr Qualität bei den gleichen Serving-Kosten oder die gleiche Qualität bei geringeren Kosten liefert.

Der Vergleich zeigt Kolibris Effizienz. Es entspricht Modellen mit bis zu viermal so vielen aktiven Parametern und hält gleichzeitig die Serving-Kosten niedrig.

Trainingsdetails (Training Details)

Kolibri wurde mit Abstinenzdaten und dem Merlin-Arthur-Protokoll trainiert. Das bedeutet, es lernt, „Ich weiß es nicht“ zu sagen, wenn die Antwort nicht im Kontext enthalten ist. Das Unternehmen verfolgt und validiert die Abstinenzgenauigkeit kontinuierlich.

Das Modell ist von Grund auf zweisprachig konzipiert, nicht ein englisches Modell, das etwas Deutsch gelesen hat. Aleph Alpha hat einen deutsch-englischen Tokenizer entwickelt und während des gesamten Trainings deutschsprachige Daten einbezogen, sodass 21,3 % der Pre-Training-Token Deutsch sind. Übersetzung wurde sparsam eingesetzt, nämlich 6 % insgesamt, da übersetzter Text den kulturellen Fingerabdruck seiner Ausgangssprache trägt.

Kolibri wurde von Anfang an unter Berücksichtigung der EU-KI-Verordnung, des Verhaltenskodex für generelle KI und der DSGVO entwickelt. Das Urheberrecht war ein Schwerpunkt der Arbeit hin zu vertrauenswürdiger Technologie. Das Unternehmen ist transparent über Modellgewichte und die Kuratierung der Trainingsdaten, sodass die Entscheidungen hinter der Entwicklung sichtbar sind.

Reasoning-Traces machen das Modell erklärbar. Mit dem Merlin-Arthur-Protokoll begründet das Modell Vertrauenswürdigkeit, indem es nicht antwortet, wenn der Kontext keine Antwort zulässt. Das Modell wurde in Deutschland entwickelt, auf Infrastruktur in Deutschland und Finnland trainiert und unterliegt europäischem und deutschem Recht, ohne ausländische Kontrolle. Aleph Alpha besitzt die gesamte Pipeline, von der Datenkuratierung über das Pre- und Post-Training bis hin zur Optimierung in seiner Model Factory.

Das Fazit

Kolibri ist ein spezialisiertes Modell für regulierte Branchen, das mit voller Transparenz und souveräner Bereitstellung konzipiert wurde. Die Kontextlänge von 1 Million Token und 3 Milliarden aktiven Parameter machen es nutzbar vor Ort, ohne interne Daten an Drittanbieter-Inferenzdienste zu senden.

Der Vergleich zu Nemotron 3 Super zeigt die Effizienz des Modells. Kolibri erreicht die Leistung von Modellen mit bis zu viermal so vielen aktiven Parametern und hält gleichzeitig die Serving-Kosten niedrig.

Die Veröffentlichung ist bemerkenswert, weil sie mehrere Stränge miteinander verbindet:

• Ein großes, spezialisiertes Modell mit einem breiten Kontextfenster
• Vollständige Gewichte auf Hugging Face unter Apache 2.0 herunterladbar
• Detaillierte Dokumentation der Trainingspipeline
• Souveränitätsansprüche durch vollständige Integrität der Lieferkette belegt

Die Frage ist nun, ob Kunden die spezialisierten Fähigkeiten und Souveritätsgarantien ausreichend finden, um zu Kolibri zu wechseln. Das Unternehmen hat seine Argumentation öffentlich vorgelegt.

Quellenmaterial: „Kolibri Has Landed: A Sovereign Open-Weight Model“, aleph-alpha.com.