El internet tiene una nueva idea para texto antiguo, y viene con un nombre que suena a broma: UTF-8000. Es una propuesta para una versión ilimitada de UTF-8, la codificación que impulsa la mayoría del texto que lee en línea. La propuesta es simple: UTF-8000 permitiría escribir cadenas de cualquier longitud, sin un límite superior en cuántos bytes puede abarcar un solo carácter.
La propuesta es un proyecto independiente, no un documento oficial del Consorcio Unicode. Ofrece una implementación de referencia, y se está promocionando como una forma divertida de pensar en cómo funciona la codificación. El creador, que está claramente familiarizado con la historia de UTF-8, argumenta que el diseño ya contiene las semillas de este tipo de expansión. La pregunta es si la idea es un truco inteligente o un concepto sin futuro práctico.
Las Dos Casos Especiales
La afirmación principal es que UTF-8000 no introduce nuevos casos especiales. Esa es una promesa significativa. La propuesta dice que solo hay dos casos especiales heredados de UTF-8 mismo, y ambos son menores:
- ASCII, que se trata tal cual.
- UTF-8 de 2 bytes, que tiene 4 bits de contenido obligatorios para verificar contra la codificación excesivamente larga, en lugar de 5 para todas las longitudes más largas.
La propuesta es explícita en que los dos casos son las únicas excepciones. Todo lo demás sigue un patrón limpio y predecible.
Lo Que Realmente Hace la Propuesta
La contribución principal, según la propuesta, es aclarar cómo dividir los bits más altos del primer byte de una unidad de código UTF-8. La propuesta divide esos bits en bits de auto-sincronización y bits de inicio. Luego explica cómo distribuir los bits de inicio a través de bytes de continuación si es necesario, para admitir unidades de código arbitrariamente grandes.
El ejemplo en la propuesta es una unidad de código de 22 bytes. El byte número cuatro es el interesante: es un byte de continuación, un byte de inicio, el byte de inicio final, y tiene bits de contenido, pero solo algunos de los bits de contenido obligatorios. Esos bits están distribuidos entre el byte de inicio final y el primer byte no de inicio. La propuesta lo llama emocionante, lo cual es una forma justa de describir un byte que realiza tantos trabajos a la vez.
La Historia del Diseño de UTF-8
La propuesta dedica tiempo a la historia. Señala que el primer borrador de UTF-8 utilizó un byte de inicio de seis bytes que parecía 111111xx. Eso fue cambiado unos días después a 1111110x, lo que aseguró que el número de bits de contenido no fuera un caso especial y dejó espacio para la expansión.
La propuesta argumenta que esta previsión en el diseño es la razón por la que UTF-8 puede ser extendido en absoluto. Lo califica de «la piedra angular de la Filosofía Unix.» La idea es que la arquitectura de la codificación fue cuidadosamente planificada desde el principio, y que esa planificación abrió la puerta a este tipo de extensión.
La propuesta atribuye a Ken Thompson y Rob Pike la arquitectura original de UTF-8. También cita el borrador FSS-UTF de Dave Prosser y otros como el diseño anterior que UTF-8 estaba destinado a reemplazar. La propuesta FSS-UTF utilizaba una estructura de tres bytes como 110xxxxx 1xxxxxxx 1xxxxxxx, que no podía distinguir entre los bytes iniciales y los bytes de continuación sin un contexto previo. UTF-8 solucionó eso al hacer que los dos tipos de bytes fueran disjuntos.
Las Matemáticas Detrás de la Codificación
La propuesta proporciona los números para bits de contenido. Para una unidad de código de n bytes, el número de bits de contenido es 5n+1, y el número de bits de contenido obligatorios también es 5n+1. La proporción de bits de contenido en una unidad de código se acerca a 5/8, o 62.5%, a medida que n crece. Para ASCII, la proporción es 7/8, o 87.5%, porque es una unidad de código de un byte.
La propuesta señala que el límite es distinto de cero y no depende de n. Ese es el tipo de detalle que hace sonreír a los codificadores.
Por Qué Podría No Importar
La propuesta es un divertido ejercicio académico, pero no es una propuesta seria del Consorcio Unicode. Es un proyecto independiente, y está siendo tratado como tal. El hecho de que haya alcanzado una puntuación destacada en Hacker News es una señal de curiosidad, no una señal de adopción.
Los dos casos especiales son pequeños. El diseño es limpio. Pero la cuestión de si esta es la «forma canónica y correcta de extender UTF-8» es una cuestión de gusto. La propuesta argumenta que sí, pero no es la única extensión posible. Hay alternativas rechazadas, como ASCVI, que se describe como una versión de UTF-8 con ASCII de 6 bits. Esa versión es una de las alternativas que la propuesta menciona en lugar de una que respalda.
El veredicto sobre UTF-8000
La propuesta es inteligente. Está bien argumentada. Respeta la historia de la codificación que está extendiendo. Pero también es un juguete, no un estándar. El hecho de que pueda ser propuesta de forma tan limpia es un cumplido para el diseño de UTF-8. El hecho de que sea poco probable que sea adoptada es un cumplido para las personas que ya se decidieron por UTF-8.
La propuesta vale la pena leerla solo por la lección de historia. Explica el borrador FSS-UTF, la elección de bits de auto-sincronización y el cuidado que se dedicó al diseño original. Es un recordatorio de que el texto en su pantalla es el resultado de décadas de planificación cuidadosa, y que las personas que lo hicieron son las mismas personas que hicieron Unix.
La idea de UTF-8000 es divertida. Es un buen proyecto independiente. No es una propuesta que cambiará nada. Pero es un buen ejemplo de cómo las ideas sobre texto siguen evolucionando, incluso cuando los estándares ya han sido escritos.
Material fuente: “UTF-8000: UTF-8 Ilimitado,” jb2170.com.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.