Jev ist das neue KI-Modell, das alle im Gespräch haben, und seine Aufgabe ist es, Dinge zu klassifizieren. Das ist die ganze Prämisse. Es betrachtet einen Text und entscheidet, in welche Kategorie er gehört.
Die Popularität des Modells ist nicht schwer zu verstehen, sobald man gesehen hat, wie weit die Textklassifizierung seit den frühen Tagen der natürlichen Sprachverarbeitung fortgeschritten ist. Das Feld hat Jahrzehnte damit verbracht, Systeme zu entwickeln, die menschliche Sprache in etwas verwandeln, mit dem ein Computer tatsächlich arbeiten kann, und Jev steht an der Spitze dieser Entwicklung.
Was Jev tut
Jevs Aufgabe ist es, Dinge zu klassifizieren. Sein Vorteil ist, dass es diese Aufgaben schneller und kostengünstiger erledigt als die neuesten State-of-the-Art GPT- und Open-Weight-LLMs, die dieselben Arten von Klassifizierungsaufgaben erledigen können und gleichzeitig allgemeine Entscheidungen treffen.
Dieser Kompromiss ist die ganze Idee. Jev versucht nicht, diese vielseitigen Modelle zu ersetzen. Es versucht, sie bei der spezifischen Aufgabe der Sortierung von Text in Kategorien zu übertreffen.
Das Bag-of-Words-Zeitalter
Bevor Transformer die Szene dominierten, sah die Textklassifizierung ganz anders aus. Der vorherrschende Ansatz war das Bag-of-Words-Modell. Diese Methode nimmt einen Text, entfernt die Wörter, zählt, wie oft jedes Wort vorkommt, und übergibt das Ergebnis an einen Klassifikator wie Naive Bayes, logistische Regression oder XGBoost.
Die Idee ist einfach. Ein Dokument ist eine Sammlung von Wörtern, und jedes Wort trägt Informationen darüber, worum es in dem Dokument geht. Zähle die Wörter, gewichte sie und du hast eine Vorhersage.
Der Nachteil ist, dass das Modell die Wortreihenfolge vollständig verliert. „The dog bites the man“ und „the man bites the dog“ erzeugen identische Vektoren, obwohl die Sätze gegensätzliche Ereignisse beschreiben.
Das Zentropa-Beispiel
Die Arbeit veranschaulicht die Methode anhand von Filmkritiken aus dem IMDb-Filmkritikklassifizierungsdatensatz. Eine Kritik lobt Zentropa als das beste Werk des Regisseurs und vergleicht es mit dem Dritten Mann. Eine andere Kritik bezeichnet den Film als schlichtweg schrecklich, mit schlechtem Schnitt und schlechtem Ton. Beide werden anhand der Wörter klassifiziert, die sie enthalten, nicht anhand der Reihenfolge dieser Wörter.
Das ist der Bag-of-Words-Ansatz in Aktion. Es funktioniert gut für Datensätze mittlerer Größe und bestimmte Probleme, scheitert aber kläglich, wenn die Wortreihenfolge wichtig ist.
Warum Jev funktioniert
Der Vergleich mit früheren Methoden zeigt, wie weit das Feld gekommen ist. Das Bag-of-Words-Modell war einst hochmodern. Jev repräsentiert einen weiteren Schritt nach vorne, basierend auf dem gleichen Prinzip, Text in etwas Nützliches zu verwandeln.
Der Hype um Jev
Der Hype um Jev ist real, und der Autor argumentiert, dass er gerechtfertigt ist. Das Modell ist schnell, günstig und effektiv für seinen vorgesehenen Zweck. Das ist die ganze Geschichte.
| Modell | Stärke | Schwäche |
|---|---|---|
| GPT / LLMs | Allgemeine Entscheidungsfindung | Höhere Kosten |
| Jev | Schnellere, günstigere Klassifizierung | Spezialisiert ( |
Die Quintessenz ist einfach: Jev ist kein Ersatz für alles andere. Es ist eine bessere Lösung für ein spezifisches Problem, und das ist es wert, gefeiert zu werden. (
Quellenmaterial: „Language models for text classification: From bag-of-words to Jev“, sebastianraschka.com.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.