Anthropics Claude Sonnet 5.5 behauptet, eine 30 % schnellere Ausgabegeschwindigkeit und bis zu 30 % geringere Kosten zu bieten. )

Anthropic hat Claude Sonnet 5.5 veröffentlicht, eine günstigere und schnellere Version seines großen Sprachmodells, und das Unternehmen macht eine kühne Aussage: Sonnet 5.5 ist das erste Sonnet-Modell, das Pokémon Red nur mit Screenshots besiegt. Die Ankündigung hat online Aufmerksamkeit erregt, wo Leute abwägen, ob die Leistung des Modells die Kosten rechtfertigt.

Sonnet 5.5 im Vergleich zu Sonnet 5

Opus 5.5 wird als Premium-Option positioniert, während Sonnet 5.5 als günstigere, schnellere Wahl im Vergleich dazu angeboten wird. Opus 5.5 ist für die Bearbeitung anspruchsvoller Projekte konzipiert, die eine sorgfältige Abwägung erfordern, während Sonnet 5.5 bei Routineaufgaben, Fehlerbehebungen und der Erstellung von polierten Dokumenten, Folien und Tabellenpunkten überzeugt. Die herausragende Fähigkeit des neuen Modells liegt in seinem scharfen Auge für Design.

Sonnet 5.5 behält die gleiche Preisgestaltung wie Sonnet 5 bei, mit 2 Dollar pro Million Eingabe-Token, 10 Dollar pro Million Ausgabetoken und 0,20 Dollar pro Million Token für Cache-Lesungen. Das Modell benötigt in der Regel deutlich weniger Token, um die gleichen Ergebnisse zu liefern, so Anthropic, das sagt, eine Aufgabe bis zu 30 % weniger kosten könnte als bei seinem Vorgänger.

Leistungsbewertungen

Auf Terminal-Bench 4.0, einer agentenbasierten Code-Evaluierung, erzielt Sonnet 5.5 70,6 %, verglichen mit 10,3 % bei Sonnet 5. Auf GDPval-AA, einem Test von Arbeitsabläufen in der realen Welt über 44 Berufe und neun großen Branchen, erzielt Sonnet 5.5 nahezu das gleiche Ergebnis wie Opus 5.5 und etwa 400 Punkte mehr als Sonnet 5.

Auf FrontierCode, einem Benchmark für die Codegenerierung, erzielt Sonnet 5.5 bei hohem Aufwand etwa ein fünfzehntel der Kosten pro Aufgabe, während es gleichzeitig 10 Punkte mehr erzielt als Sonnet 5 bei derselben Einstellung. Auf CursorBench, wo Modelle auf echten Codieraufgaben aus tatsächlichen Cursor-Sitzungen getestet werden, liegt Sonnet 5.5 nahe an Opus 5.5 und liegt innerhalb von etwa zwei Punkten von seinem besten Wert.

Sicherheit und Ausrichtung

Die Cybersicherheitsfähigkeiten von Sonnet 5.5 sind mit denen von Opus 5 vergleichbar, so dass es mit Cybersicherheitsvorkehrungen und Ausweichmechanismen startet, wie sie Anthropic für seine leistungsfähigsten Modelle entwickelt hat. Seine biologischen Sicherheitsvorkehrungen sind die gleichen wie bei Sonnet 5.

Laut dem Unternehmen kennzeichnet Sonnet 5.5 das erste Sonnet-Modell, das diese Schutzmaßnahmen trägt. Die beiden Schutzvorkehrungen gelten nur für eine begrenzte Anzahl von hochriskanten Anfragen; Routine-Softwareentwicklung und die meisten Arbeiten im Bereich Life Sciences bleiben unberührt.

Sonnet 5.5 ist das erste Sonnet-Modell, das Pokémon Red ausschließlich anhand von Screenshots besiegt hat.

Was frühe Tester sahen

Laut den eigenen Tests von Anthropic läuft Sonnet 5.5 zu geringeren Kosten als Sonnet 5. Frühe Nutzer stellten fest, dass Sonnet 5.5 einen Code schnell erfasst und Tool-Aufrufe häufiger zusammenfasst als Sonnet 5, was die Anzahl der Schritte reduziert und die Kosten senkt.

Das Team berichtete, dass es sich wie ein natürlicheren Gesprächspartner anfühlte, und hob seine Fähigkeiten im Design hervor, indem es feststellte, dass es Oberflächen gestaltet und Folienvorlagen befolgt, um Decks zu erstellen, die anschließend kaum Bearbeitung erfordern. Während eines internen Tests stellte das Unternehmen ihm die Quartalsberichte und Transkripte eines öffentlichen Unternehmens sowie eine Folienvorlage zur Verfügung und forderte eine 10-Folien-Betriebsüberprüfung an. Zwei Experten stuften den ersten Entwurf als bereit zur Versendung ein.

Der Pokémon Red-Behauptung

Was diese Ankündigung besonders hervorhebt, ist, dass sie eine konkrete Zahl angibt, wie Opus 5.5 im Vergleich zu Sonnet 5.5 abschneidet. Die Aussage über Pokémon Red wird als kühne Aussage präsentiert, obwohl sie noch nicht unabhängig bestätigt wurde.

Das Unternehmen räumt seine eigenen Grenzen ein. Es räumt offen ein, dass Opus 5.5 bei Aufgaben, die nachhaltiges Urteilsvermögen und freies Arbeiten erfordern, immer noch besser ist.

Die Zahlen

• Terminal-Bench: Sonnet 5.5 erzielt 70,6 %, gegenüber 10,3 % bei Sonnet 5.
• GDPval-AA: Sonnet 5.5 nahezu auf Augenhöhe mit Opus 5.5, etwa 400 Punkte über Sonnet 5.
• FrontierCode: +10 Punkte gegenüber Sonnet 5 bei hohem Aufwand, bei etwa einem fünfzehnten des Kosten pro Aufgabe.
• Preisgestaltung: 2 US-Dollar pro Million Eingabetoken, 10 US-Dollar pro Million Ausgabetoken, 0,20 US-Dollar pro Million Token für Cache-Lesungen.

Der Kompromiss

Der Kompromiss ist einfach: Sonnet 5.5 kostet pro Aufgabe weniger, da es weniger Token benötigt, um die gleiche Arbeit zu erledigen. Es liefert außerdem Ergebnisse schneller als Sonnet 5, eine Behauptung von Anthropic, die es als das schnellste Sonnet-Modell bezeichnet.

Bei geringerem Aufwand kostet Sonnet 5.5 pro Aufgabe weniger und liefert vergleichbare Ergebnisse wie Opus 5.5. Bei höheren Einstellungen kann es vergleichbare Leistungen zu ähnlichen Kosten erbringen.

Das Ergebnis

Anthropic’s eigene Zahlen zeigen, dass Sonnet 5.5 gegenüber Sonnet 5 verbessert. Es läuft schneller, kostet weniger und bewältigt Designarbeiten besser.

Ob der Sieg über den Pokémon Red Screenshot Bestand hat, bleibt abzuwarten. Das Modell bietet zwar einen günstigeren Weg für gewöhnliche Aufgaben, verzichtet aber nicht vollständig auf Qualität.

Die Notizen selbst dienen als Erinnerung daran, wie weit das Feld vorangekommen ist. Die Behauptung, dass ein Modell Pokémon Red anhand von Screenshots schlagen kann, ist eine besondere, kühne Aussage.

Quellenmaterial: „Claude Sonnet 5.5“, Anthropic.