Aleph Alpha adquiere Kolibri, un modelo de peso abierto soberano. )

Aleph Alpha ha lanzado un nuevo modelo, y se llama Kolibri. La compañía lanzó el Transformer de Mezcla de Expertos Inglés-Alemán en el Día de la Reunificación Alemana, con un total de 78B de parámetros, 3B activos, y una longitud de contexto de hasta 1M de tokens. El modelo se puede descargar con pesos completos en Hugging Face bajo la licencia Apache 2.0.

El lanzamiento viene con un informe técnico detallado que explica cómo se construyó Kolibri. Aleph Alpha comenzó con Kolibri Origin, un modelo con un total de 30B, 3B activos y una ventana de 65k tokens, y ejecutó el modelo más reciente a través de la misma canalización: ingestión de datos, curación, ablaciones, pre-entrenamiento, post-entrenamiento y evaluaciones finales. La compañía dice que la canalización le permitió realizar cientos de experimentos de ablación y mantener el entrenamiento estable incluso cuando el hardware fallaba o las conexiones de datos se interrumpían.

Lo que hace Kolibri

Kolibri está construido para trabajos soberanos críticos en áreas reguladas. Esto incluye la administración pública, industrias y aeroespacio. El modelo está especializado para alemán, razonamiento, matemáticas, comportamiento de agentes y otras capacidades que los clientes necesitan en producción. El objetivo es optimizar el rendimiento para el caso de uso específico de cada cliente, para que puedan monitorear el impacto económico y medir el ROI a lo largo del tiempo.

La soberanía es una promesa fundamental. Aleph Alpha dice que combina dos dimensiones: cómo se construyó el modelo y cómo se transfiere a los clientes. La compañía ofrece integridad total de la cadena de suministro, teniendo en cuenta cada decisión desde la ingestión de datos hasta el pre- y post-entrenamiento y las evaluaciones finales. Los clientes obtienen total libertad de implementación y seguridad de la propiedad intelectual, con el cumplimiento heredado como una propiedad del modelo.

El modelo está disponible para descarga con pesos completos en Hugging Face bajo la licencia Apache 2.0. La compañía dice que el tiempo invertido en la construcción y la iteración de la canalización fue una inversión valiosa, a juzgar por lo mucho mejor que Kolibri es que Kolibri Origin y lo poco tiempo que separa sus lanzamientos.

Comparando las Capacidades

Kolibri se encuentra en la frontera de Pareto para la calidad versus el costo de servicio, utilizando 3B de parámetros activos de un total de 78B. La compañía lo compara con otros modelos y no encuentra ninguno que ofrezca más calidad al mismo costo de servicio o la misma calidad a un costo más bajo.

La comparación demuestra la eficiencia de Kolibri. Igual modelos con hasta cuatro veces su recuento de parámetros activos manteniendo bajos los costos de servicio. (

Detalles de entrenamiento (

Kolibri fue entrenado con datos de abstención y el protocolo Merlin-Arthur. Eso significa que aprende a decir “No lo sé” cuando la respuesta no está en el contexto. La compañía rastrea y valida la precisión de la abstención continuamente.

El modelo es bilingüe por diseño, no un modelo en inglés que ha leído algo de alemán. Aleph Alpha desarrolló un tokenizador alemán/inglés e incluyó datos alemanes orgánicos durante todo el entrenamiento, de modo que el 21,3% de los tokens de pre-entrenamiento son alemanes. La traducción se utilizó con moderación, en un 6% en general, ya que el texto traducido lleva la huella cultural de su idioma de origen.

Kolibri fue construido teniendo en cuenta el Reglamento de IA de la UE, el Código de Prácticas de IA de Propósito General y el RGPD desde el principio. La ley de derechos de autor fue un foco del trabajo hacia una tecnología confiable. La compañía es transparente sobre los pesos del modelo y la curación de los datos de entrenamiento, de modo que las decisiones detrás del desarrollo son visibles.

Los rastros de razonamiento hacen que el modelo sea explicable. Con el protocolo Merlin-Arthur, el modelo fundamenta la confiabilidad absteniéndose de responder cuando el contexto no respalda una respuesta. El modelo fue construido en Alemania, entrenado en infraestructura en Alemania y Finlandia, bajo ley europea y alemana, sin control extranjero. Aleph Alpha posee todo el pipeline, desde la curación de datos hasta el pre- y post-entrenamiento y la optimización en su Model Factory.

El Resumen

Kolibri es un modelo especializado para industrias reguladas, construido con total transparencia y soberanía de despliegue en mente. La longitud de contexto de 1M de tokens y los 3B parámetros activos lo hacen utilizable en las instalaciones sin enviar datos internos a servicios de inferencia de terceros.

La comparación con Nemotron 3 Super muestra la eficiencia del modelo. Kolibri iguala modelos con hasta cuatro veces su número de parámetros activos mientras mantiene bajos los costos de servicio.

La publicación es notable porque reúne varias líneas a la vez:

• Un modelo grande y especializado con una ventana de contexto amplia
• Pesos completos descargables en Hugging Face bajo Apache 2.0
• Documentación detallada del pipeline de entrenamiento
• Reclamaciones de soberanía respaldadas por la integridad total de la cadena de suministro

La pregunta ahora es si los clientes consideran suficientes las capacidades especializadas y las garantías de soberanía para justificar la migración a Kolibri. La empresa ha hecho público su argumento.

Material fuente: “Kolibri Has Landed: A Sovereign Open-Weight Model,” aleph-alpha.com.