Artificial Analysis hat eine Rangliste von Sprachmodellen erstellt, die täglich aus frei verfügbaren Daten aktualisiert wird und Ihnen zeigt, welches Modell das beste Preis-Leistungs-Verhältnis bietet. Die Seite ordnet jedes Modell anhand ihres Intelligence Index (Intelligenzindex) seinem gemischten API-Preis zu, und das Ergebnis ist eine einfache Grenze: die Modelle, bei denen nichts Günstigeres auch intelligenter ist. Alles andere wird in beiden Punkten von einem Punkt auf der Linie übertroffen.
Die Rangliste ist eine Nachschlagetabelle. Sie finden die Zeile, in die Ihr Budget fällt, und die Wahl ist das am besten bewertete Modell, das Sie zu diesem Preis erhalten können. Der Zweitplatzierte ist das nächstbeste Modell, das ebenfalls passt. Das Ganze wird täglich durch einen GitHub Actions Cronjob von der Artificial Analysis Free Data API abgerufen.
Wie die Grenze funktioniert
Die Grafik zeigt die gemischten Kosten pro 1 Million Token auf einer 3:1 Input:Output-Log-Skala gegenüber dem Intelligence Index. Bewegen Sie den Mauszeiger über einen Punkt oder tippen Sie darauf, um Details anzuzeigen. Standardmäßig werden nur die beste Variante jedes Modells angezeigt und Modelle mit niedrigeren Punktzahlen ausgeblendet. Filter ermöglichen es Ihnen, das Feld zu erweitern.
Das Sortieren nach einer beliebigen Spaltenüberschrift ändert die Reihenfolge. Namen verlinken zur Artificial Analysis-Seite des Modells.
Das Wert-Treibmittel
Die Wertgrenze ist der Punkt, an dem der Kompromiss zwischen Kosten und Intelligenz nicht mehr schmerzhaft ist. Die Rangliste soll Ihnen zeigen, wo günstigere Modelle auch dümmer sind und wo intelligentere Modelle mehr kosten. Die Grenze selbst ist der Punkt, an dem keine dieser Bedingungen zutrifft – nichts Günstigeres ist auch intelligenter, und nichts Intelligenteres ist auch günstiger.
Dies ist die Art von Werkzeug, die Technologie weniger wie Magie und mehr wie eine Einkaufsliste erscheinen lässt. Es nimmt die Vermutungen bei der Gegenüberstellung von Modellen über Preis und Leistung aus und aktualisiert sich automatisch, sodass die Antworten aktuell bleiben.
Tägliche Abrufe und die Datenpipeline
Die Seite wird täglich durch einen GitHub Actions Cronjob aktualisiert. Das bedeutet, dass die Daten aus frischen Abrufen stammen, nicht aus einem statischen Snapshot. Neue Modelle tauchen auf, entfernte Modelle verschwinden, und bestehende Modelle werden neu bewertet oder neu bepreist. Der Unterschied zwischen aufeinanderfolgenden täglichen Abrufen verfolgt diese Änderungen.
Der Code und die Daten befinden sich auf GitHub unter github.com/terryds/bestvaluemodel. Jeder, der sehen möchte, wie die Ranglisten generiert werden, kann den Quellcode einsehen.
Kosten vollständig ignorieren
Es gibt auch die Option, die Kosten vollständig zu ignorieren. Das ermöglicht es Ihnen, die Modelle rein nach Intelligenz zu ordnen, ohne dass der Preis das Ergebnis beeinflusst.
Für alle anderen ist die Wertgrenze die praktikable Antwort. Sie zeigt Ihnen, welches Modell die meiste Intelligenz pro Dollar liefert, und das ohne einen Abschluss in maschinellem Lernen zu benötigen.
Was wir daraus machen
Die Rangliste ist ein kleiner Trick, aber ein nützlicher. Sie kombiniert zwei Dinge – ein Maß für die Intelligenz eines Modells und seinen Preis – und stellt sie nebeneinander, damit Sie sie direkt vergleichen können. Das tägliche Update sorgt dafür, dass die Informationen aktuell bleiben, und die kostenlose Daten-API ermöglicht es jedem, darauf aufzubauen.
Dies ist das Werkzeug, das in der Werkzeugkiste eines Entwicklers zu finden sein sollte. Es spart Zeit, die mit der Suche nach Benchmarks und Preislisten verbracht wird, und bietet einen gemeinsamen Nenner für den Vergleich von Modellen, die sonst schwer zu beurteilen wären.
Faktenbox
- Rangliste: Bestes LLM für jedes Budget, täglich aktualisiert
- Datenquelle: Artificial Analysis kostenlose Daten-API
- Abgeholt: Täglich über GitHub Actions Cron
- Code/Daten: github.com/terryds/bestvaluemodel
- Abgetragen: Vermischte Kosten pro 1 Million Token vs. Intelligenzindex
Zeitplan Tabelle
| Aktion | Häufigkeit |
|---|---|
| Täglicher Abruf von Modelldaten | Jeden Tag |
Die Rangliste ist eine Mahnung, dass Technologie nicht undurchsichtig sein muss. Die Intelligenz eines Modells hat eine Zahl, und sein Preis hat eine Zahl, und ihre Kombination erzeugt eine Entscheidung. Das ist ein kleiner Sieg, aber ein echter.
Quellenmaterial: „Bestes LLM für jedes Budget, täglich aktualisiert“, terrydjony.com.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.