OpenJev es una demostración en vivo que permite observar a un modelo generar su propia distribución de probabilidad token por token. Es un experimento pequeño y ameno, y vale la pena explicarlo en sus propios términos.
La demostración plantea una pregunta sencilla: ¿cuánto tarda un modelo local en leer su propia mente versus escribirla? Usted elige un tamaño de modelo, lo pone a funcionar en su propia GPU y mide la diferencia entre leer probabilidades directamente y pedirle al modelo que las escriba como texto JSON.
La configuración
Los pesos de la demostración provienen de Hugging Face y permanecen en la caché de su navegador. Las entradas nunca salen de la página. La primera carga puede tardar varios minutos, según el modelo, la red y la GPU.
MiniCPM5 2B es la opción predeterminada, pero en un teléfono o un dispositivo más pequeño puede cambiar a Qwen3 0.6B en el cuadro de modelo. Los modelos más grandes cargan más lento y pueden no caber en dispositivos de gama baja.
La demostración utiliza compilaciones GGUF fijadas mediante wllama, y la cuantización cambia tanto la calidad como la velocidad. También se mencionan BF16 nativo y TypeSafe, aunque la demostración se apoya en un subconjunto de pesos de 102 filas.
Leer versus escribir
La demostración ejecuta dos rutas de forma secuencial sobre el mismo modelo cargado, de modo que no compiten por una sola GPU. Las ejecuciones directas ocurren primero, seguidas de la generación.
La lectura directa funciona leyendo los logits de elección del modelo y normalizando solo entre las opciones que usted proporcionó. Es un softmax únicamente sobre los tokens de opción mostrados, no una puntuación de confianza calibrada.
La generación le pide al modelo que estime la misma distribución de opciones mostradas y la escriba como texto JSON. Usted observa llegar cada token.
Las dos rutas reciben la misma decisión, pero el método difiere por completo. Una lee las probabilidades directamente; la otra le pide al modelo que las escriba.
Qué mide la demostración
La demostración cronometra todo con performance.now(). La configuración, el calentamiento, la preparación del prompt, la ejecución directa, el primer token generado y la finalización de la generación quedan todos registrados.
No hay lista de espera. Simplemente se prueba.
Las probabilidades condicionales son una parte clave de la demostración. Las puntuaciones directas son un softmax sobre únicamente los tokens de opción mostrados. No son una confianza calibrada y no incluyen todas las respuestas que el modelo podría preferir.
La demostración es explícita sobre sus límites. El modelo para teléfono sacrifica precisión por tamaño. MiniCPM es el predeterminado de escritorio. La opción de 4B necesita bastante más memoria. No se afirma que ninguno de los niveles iguale a Jev.
Por qué funciona
El encanto de OpenJev es su transparencia. Es una demostración sobre una capacidad particular, y trata su propio funcionamiento como el tema. El hecho de que se pueda ver a un modelo generar su propia distribución de probabilidad token por token es el punto central.
La comparación es limpia. La lectura directa y la generación siguen cada una un camino distinto, y la demostración expone ambos con claridad.
| Método | Cómo funciona | Lo que se ve |
|---|---|---|
| Lectura directa | Lee los logits y normaliza entre las opciones proporcionadas | Probabilidades condicionales, sin texto decodificado |
| Generación | Le pide al modelo que escriba la distribución como texto JSON | Cada token llega de a uno por vez |
La demo no oculta su mecánica. Explica que las puntuaciones directas son un softmax sobre solo los tokens de opción mostrados, y señala que no son confianza calibrada. Esa honestidad es parte de su atractivo.
El veredicto
OpenJev es una demo pequeña e ingeniosa que recompensa la curiosidad. Es un experimento en vivo que se puede ejecutar en el navegador, y mide algo real: la diferencia entre leer la mente de un modelo y pedirle que escriba lo que sabe.
La demo no es un benchmark en el sentido habitual. Es una demostración de una capacidad particular, y la exhibe con total transparencia sobre su propio funcionamiento.
También es un recordatorio de que los modelos son herramientas, y de que su comportamiento puede observarse y medirse en tiempo real. Ver a un modelo generar su propia distribución de probabilidad es un pequeño placer, y la demo lo entrega sin complicaciones.
La demo es un experimento pequeño y alegre que se gana la atención. No pretende lo contrario.
Material de origen: “OpenJev,” openjev.com.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.