OpenJev ist eine Live-Demo, mit der man beobachten kann, wie ein Modell Token für Token seine eigene Wahrscheinlichkeitsverteilung erzeugt. Es ist ein kleines, fröhliches Experiment, und es lohnt sich, es in seinen eigenen Begriffen zu erklären.
Die Demo stellt eine einfache Frage: Wie lange braucht ein lokales Modell, um seinen eigenen Geist zu lesen, statt ihn aufzuschreiben? Man wählt eine Modellgröße, lässt sie auf der eigenen GPU laufen und misst den Unterschied zwischen dem direkten Auslesen von Wahrscheinlichkeiten und der Aufforderung an das Modell, sie als JSON-Text aufzuschreiben.
Der Aufbau
Die Gewichte der Demo stammen von Hugging Face und bleiben im Browser-Cache. Eingaben verlassen die Seite nie. Das erste Laden kann je nach Modell, Netzwerk und GPU mehrere Minuten dauern.
MiniCPM5 2B ist die Standardwahl, aber auf einem Telefon oder einem kleineren Gerät kann man im Modellfeld zu Qwen3 0.6B wechseln. Größere Modelle laden langsamer und passen möglicherweise nicht auf Geräte der unteren Leistungsklasse.
Die Demo verwendet angeheftete GGUF-Builds über wllama, und die Quantisierung verändert sowohl Qualität als auch Geschwindigkeit. Native BF16 und TypeSafe werden ebenfalls erwähnt, obwohl sich die Demo auf eine Teilmenge von 102 Zeilen mit Gewichten stützt.
Lesen vs. Schreiben
Die Demo führt zwei Pfade nacheinander auf demselben geladenen Modell aus, sodass sie nicht um eine GPU konkurrieren. Direkte Durchläufe erfolgen zuerst, gefolgt von der Generierung.
Das direkte Auslesen funktioniert, indem die Entscheidungs-Logits des Modells gelesen und nur über die von Ihnen angegebenen Optionen normalisiert werden. Es ist eine Softmax nur über die angezeigten Options-Token, kein kalibrierter Konfidenzwert.
Bei der Generierung wird das Modell aufgefordert, dieselbe Verteilung der angezeigten Optionen zu schätzen und sie als JSON-Text aufzuschreiben. Man sieht jedes Token eintreffen.
Die beiden Pfade erhalten dieselbe Entscheidung, aber die Methode unterscheidet sich völlig. Der eine liest Wahrscheinlichkeiten direkt aus; der andere fordert das Modell auf, sie aufzuschreiben.
Was die Demo misst
Die Demo misst alles mit performance.now(). Setup, Warmup, Prompt-Vorbereitung, direkte Ausführung, erstes generiertes Token und Abschluss der Generierung werden alle aufgezeichnet.
Es gibt keine Warteliste. Man probiert es einfach aus.
Bedingte Wahrscheinlichkeiten sind ein zentraler Bestandteil der Demonstration. Direkte Scores sind ein Softmax über nur die angezeigten Options-Token. Sie sind keine kalibrierte Konfidenz und umfassen nicht jede Antwort, die das Modell bevorzugen könnte.
Die Demo ist explizit über ihre Grenzen. Das Telefonmodell tauscht Genauigkeit gegen Größe. MiniCPM ist der Desktop-Standard. Die 4B-Option benötigt wesentlich mehr Speicher. Keine der Stufen beansprucht, mit Jev übereinzustimmen.
Warum es funktioniert
Der Reiz von OpenJev ist seine Transparenz. Es ist eine Demo über eine bestimmte Fähigkeit, und sie behandelt ihr eigenes Funktionieren als Thema. Dass man einem Modell dabei zusehen kann, wie es Token für Token seine eigene Wahrscheinlichkeitsverteilung generiert, ist der ganze Punkt.
Der Vergleich ist sauber. Direkte Auslesung und Generierung folgen jeweils einem eigenen Weg, und die Demo legt beide klar dar.
| Methode | Wie es funktioniert | Was man sieht |
|---|---|---|
| Direkte Auslesung | Liest Logits und normalisiert über die angegebenen Optionen | Bedingte Wahrscheinlichkeiten, kein dekodierter Text |
| Generierung | Fordert das Modell auf, die Verteilung als JSON-Text zu schreiben | Jedes Token trifft einzeln ein |
Die Demo verbirgt ihre Mechanik nicht. Sie erklärt, dass direkte Scores ein Softmax über nur die angezeigten Options-Token sind, und weist darauf hin, dass sie keine kalibrierte Konfidenz darstellen. Diese Ehrlichkeit ist Teil ihres Reizes.
Das Urteil
OpenJev ist eine kleine, kluge Demo, die Neugier belohnt. Es ist ein Live-Experiment, das man im Browser ausführen kann, und es misst etwas Reales: den Unterschied zwischen dem Lesen der Gedanken eines Modells und der Aufforderung, aufzuschreiben, was es weiß.
Die Demo ist kein Benchmark im üblichen Sinne. Sie ist eine Demonstration einer bestimmten Fähigkeit und führt sie mit voller Transparenz über ihre eigene Funktionsweise vor.
Sie ist auch eine Erinnerung daran, dass Modelle Werkzeuge sind und dass ihr Verhalten in Echtzeit beobachtet und gemessen werden kann. Ein Modell dabei zu beobachten, wie es seine eigene Wahrscheinlichkeitsverteilung generiert, ist ein kleines Vergnügen, und die Demo liefert es ohne Umstände.
Die Demo ist ein kleines, fröhliches Experiment, das seine Aufmerksamkeit verdient. Sie gibt nichts anderes vor.
Quellenmaterial: „OpenJev“, openjev.com.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.