Vals, ein 2024 gegründetes Startup, versucht, den Goldstandard für die Prüfung zu werden, wie gut KI-Modelle tatsächlich funktionieren. Das Unternehmen hat kürzlich 40 Millionen Dollar in einer Series-A-Finanzierungsrunde unter der Führung von Andreessen Horowitz eingeworben, nachdem es im vergangenen Jahr eine Seed-Runde unter der Führung von 8VC und Bloomberg Beta gesichert hatte. Nun will es messen, ob Modelle Tests bestehen können, die Menschen nicht bewältigen können – einschließlich des Genfer Abkommens – und Unternehmen dafür bezahlen, herauszufinden, wo ihre Modelle nicht funktionieren.
Die Idee klingt einfach: Ein Modell durch eine Aufgabe laufen lassen und sehen, was es produziert. Die Umsetzung ist alles andere als einfach. Vals fragt nicht nur, ob ein Modell genügend Wissen besitzt, um eine Anwaltsprüfung zu bestehen. Es fragt, ob ein Modell Code, juristische Arbeit oder Cybersecurity-Analysen produzieren kann, die ein Mensch für akzeptabel halten würde. Und es veröffentlicht die Details dieser Tests nicht an alle, die betrügen wollen.
Die Gründungsgeschichte
Der Mitgründer ist Rayan Krishnan, 25. Bevor er Vals gründete, arbeitete er bei Palantir als Praktikant und hatte einen Job bei Microsoft, während er seinen Bachelor-Abschluss an der Stanford University machte, wo er an der künstlichen Intelligenz-Lab des Campus teilnahm. Laut Krishnan entstand das Unternehmen, nachdem er festgestellt hatte, dass Benchmarking hinter den Modellen zurückgefallen war, die es messen sollte.
„Wir haben eine Reihe neuer, sehr leistungsfähiger Modelle gesehen, die schnell auf den Markt kamen, und die akademischen Benchmarks konnten mit diesem Fortschritt nicht Schritt halten“, teilt Krishnan mit. Er argumentiert, dass Benchmarks verifizieren sollten, was Unternehmen tatsächlich behaupten, ihre Modelle können zu tun, anstatt abstrakte Intelligenz zu messen.
Das Unternehmen befindet sich in der Folsom Street in San Francisco, in einem alten Backsteinhaus, das einst eine große Brauerei beherbergte. Heute ist es ein gemeinschaftlicher Raum für mehrere Startups, die die Technologiebranche voranbringen.
Was Vals tatsächlich testet
Unternehmen können ihre Modelle so anpassen, dass sie auf veröffentlichten Benchmark-Tests erfolgreich sind, da die meisten Benchmarking-Systeme ihre Tests offenlegen. Diese Vorgehensweise untergräbt den Sinn der Tests jedoch vollständig. Vals vermeidet diese Falle, indem es einen anderen Weg geht.
Vals bewertet Modelle danach, wie gut sie anspruchsvolle Aufgaben bewältigen, die mit bestimmten Fachgebieten zusammenhängen, anstatt allgemeines Wissen zu berücksichtigen. Die Liste dieser Bereiche umfasst Recht, Finanzen, Programmierung, psychische Gesundheit, Cybersicherheit, Biosicherheit und das Kriegsvölkerrecht. Laut Krishnan hat das Unternehmen einen Standard für rekursive Selbsterweiterung festgelegt und setzt sich außerdem dafür ein, die Modelle auf das Genfer Abkommen anzuwenden.
„Was wir tun, ist tatsächlich die Betrachtung der tatsächlichen Auswirkungen der Modelle“, sagte Krishnan. „Können sie Arbeit leisten, die ein Produkt von der gleichen Qualität wie ein Mensch in jedem Bereich hervorbringt?“
Er wies auch auf die Notwendigkeit hin, nach schädlichen Ergebnissen Ausschau zu halten. Das Unternehmen möchte untersuchen, wie Modelle eigenständig in der Welt agieren und welche Nachteile dies mit sich bringen würde.
Das Preiskalkulationsproblem
Wenn Unternehmen Vals bitten, zu prüfen, wie ihre Modelle funktionieren, stellt sich die Frage, ob das ungewöhnlich ist. Vals berechnet für seine Dienstleistungen, was die Frage aufwirft: Warum sollte ein Unternehmen dafür bezahlen, zu erfahren, dass sein Modell nicht das tut, was es soll.
Das Umsatzmodell funktioniert ähnlich wie ein Student, der an die College Board zahlt, um den SAT zu absolvieren, so Krishnan. Der Punkt ist, dass eine effektive Messung es Unternehmen ermöglicht, ihre Leistung im Laufe der Zeit zu diagnostizieren und zu verbessern.
Unternehmen, die nach neuen KI-Modellen suchen, behandeln diese Bewertungen zunehmend als zentrale Elemente ihrer Akquisitionsentscheidungen.
Bisheriges Wachstum
Das Unternehmen begann das Jahr mit einem Personal von acht Personen. Letzte Woche war das Team auf dreimal so groß wie die ursprüngliche Zahl angewachsen und erreichte 25. Der Umsatz beläuft sich nun auf das Achtfache dessen, was er im Vorjahr war.
Das Unternehmen beabsichtigt, in einen deutlich größeren Büroraum umzuziehen. Es zielt außerdem darauf ab, weitere 10 bis 15 Mitarbeiter einzustellen. Eine kürzliche Initiative von Vals konzentriert sich auf das Anbieten von Modellbewertungen an Behörden der Bundesregierung.
| Meilenstein | Datum |
|---|---|
| Seed-Runde unter der Führung von 8VC und Bloomberg Beta | Letztes Jahr |
| Serie A unter der Führung von Andreessen Horowitz | Letzten Monat |
| Umsatz achtmal höher als im Vorjahr | Aktuell |
| Mitarbeiterzahl stieg von 8 auf 25 | Aktuell |
The Bigger Picture
Das Wachstum und das öffentliche Vertrauen in KI-Unternehmen steuern auf ein Modell zu, von dem Krishnan glaubt, dass es die Zukunft darstellt, wobei das System seiner eigenen Firma als Beispiel dient. Um diese Ansicht zu untermauern, wies er auf aktuelle Börsengänge im Sektor als Beweis dafür hin, wohin sich die Branche entwickelt.
SpaceX ist an die Börse gegangen, und Anthropic ist für später dieses Jahr geplant. OpenAI könnte bald folgen, und der Redner erwartet, dass KI-Modelle eine zentrale Rolle in der Wirtschaft spielen werden. Er glaubt, dass die Benchmarks und Bewertungen, die zur Beurteilung dieser Modelle verwendet werden, die Art und Weise bestimmen werden, wie Unternehmen Informationen offenlegen und zukünftige KI-Investitionen in öffentlichen Bekanntmachungen diskutieren.
What We Make Of It
Vals ist auf private Tests angewiesen, um zu beurteilen, wie ihre Modelle funktionieren. Das Argument lautet, dass geschlossene Tests zuverlässiger sind als offene, da offene Tests manipuliert werden können.
Eine weitere Sorge ist die Größe. Vals ist nach wie vor ein bescheidenes Unternehmen, das weiterhin Mitarbeiter einstellt, und es besteht Zweifel, ob es mit der Geschwindigkeit des Modellwachstums in Bereichen wie Recht, Finanzen, Programmierung und Biosicherheit mithalten kann.
Investoren mit echtem Kapital haben sich dem Unternehmen verpflichtet, was zeigt, dass der Markt die Idee unterstützt. Vals hält seine Testmaterialien geheim, sodass niemand außerhalb sehen kann, wie es seine Tests durchführt.
Derzeit agiert Vals wie jedes andere ambitionierte Startup, indem es versucht, ein Unternehmen rund um ein Problem aufzubauen, das es besser löst als jeder andere. Die Frage, ob es Erfolg hat, hängt allein davon ab, ob seine Tests tatsächlich messen, was sie aussagen.
Quelle: „Vals, unterstützt von Andreessen Horowitz, möchte den Goldstandard für KI-Benchmarking werden“, TechCrunch.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.