Vals, una startup fundada en 2024, está intentando convertirse en el estándar de oro para evaluar cuán bien funcionan los modelos de IA. La empresa acaba de recaudar $40 millones en una serie A liderada por Andreessen Horowitz, después de asegurar una ronda semilla liderada por 8VC y Bloomberg Beta el año pasado. Ahora quiere medir si los modelos pueden aprobar pruebas que los humanos no pueden —incluida la Convención de Ginebra— y cobrar a las empresas por averiguar si sus modelos no están funcionando.
La idea parece simple: ejecutar un modelo a través de una tarea y ver qué produce. La ejecución es todo menos eso. Vals no se limita a preguntar si un modelo sabe lo suficiente para aprobar un examen de colegio de abogados. Está preguntando si un modelo puede producir código, trabajo legal o análisis de seguridad cibernética que un humano consideraría aceptable. Y no está revelando los detalles de esas pruebas a nadie que quiera hacer trampa.
La Historia del Fundador
El cofundador es Rayan Krishnan, de 25 años. Antes de fundar Vals, pasó tiempo en Palantir como pasante y tuvo un trabajo en Microsoft mientras obtenía su título de pregrado en la Universidad de Stanford, donde participó en el laboratorio de inteligencia artificial del campus. Según Krishnan, la empresa surgió después de que notó que el benchmarking había quedado atrás de los modelos que pretendía evaluar.
«Estábamos viendo una gran cantidad de modelos nuevos y muy capaces llegar rápidamente al mercado, y los puntos de referencia académicos [no] estaban al día con ese avance en la frontera», comparte Krishnan. Argumenta que los puntos de referencia deberían verificar lo que las empresas realmente afirman que sus modelos pueden hacer, en lugar de medir la inteligencia abstracta.
La empresa está ubicada en la calle Folsom de San Francisco, en un antiguo edificio de ladrillo que alguna vez albergó una gran cervecería. Hoy en día es un espacio compartido para varias startups que impulsan la industria tecnológica.
Lo Que Realmente Prueba Vals
Las empresas pueden adaptar sus modelos para tener éxito en las pruebas de referencia publicadas, dado que la mayoría de los sistemas de benchmarking comparten sus pruebas abiertamente. Este acuerdo socava por completo el propósito de las pruebas. Vals evita esa trampa tomando un camino distinto.
Los jueces de Vals evalúan los modelos en función de qué tan bien manejan tareas complejas vinculadas a campos específicos en lugar de conocimientos generales. La lista de esos dominios incluye derecho, finanzas, codificación, salud mental, ciberseguridad, bioseguridad y el derecho de conflicto armado. Según Krishnan, la firma ha establecido un estándar para la auto-mejora recursiva y también se está dedicando a aplicar la Convención de Ginebra a los modelos.
«Lo que estamos haciendo es en realidad observar cuáles son los impactos reales de los modelos», dijo Krishnan. «¿Pueden realizar un trabajo que produzca un producto de la misma calidad que un humano dentro de cada dominio?»
También destacó la necesidad de buscar resultados perjudiciales. La firma quiere estudiar cómo podrían actuar los modelos por su cuenta en el mundo y cuáles serían las desventajas.
El Problema de Precios
Cuando las empresas solicitan a Vals que verifique cómo funcionan sus modelos, surge la pregunta de si eso es inusual. Vals está cobrando por su servicio, lo que plantea la cuestión: ¿por qué una empresa pagaría por saber que su modelo no está haciendo lo que se supone que debe hacer.
El modelo de ingresos opera como un estudiante que paga a la College Board para realizar el SAT, según Krishnan. El punto es que tener una medición efectiva permite a las empresas diagnosticar y mejorar su rendimiento a lo largo del tiempo.
Las empresas que buscan nuevos modelos de IA están cada vez más considerando estas evaluaciones como elementos centrales en sus decisiones de adquisición.
Crecimiento Hasta Ahora
La empresa comenzó el año con un personal de ocho personas. A la semana pasada, su equipo había crecido hasta alcanzar tres veces ese número original, llegando a 25. Sus ingresos ahora representan ocho veces lo que fueron el año anterior.
La firma tiene la intención de mudarse a un espacio de oficina mucho más grande. También tiene como objetivo contratar entre 10 y 15 personas más. Una iniciativa reciente de Vals se enfoca en ofrecer revisiones de modelos a oficinas del gobierno federal.
| Hito | Fecha |
|---|---|
| Ronda semilla liderada por 8VC y Bloomberg Beta. | El año pasado. |
| Serie A liderada por Andreessen Horowitz. | El mes pasado. |
| Ingresos ocho veces superiores al año anterior. | Actual. |
| El personal creció de 8 a 25. | Actual. |
El panorama general.
El crecimiento y la confianza pública de las empresas de IA se dirigen hacia un modelo que Krishnan cree que representa el futuro, con el sistema de su propia empresa como ejemplo. Para respaldar esta opinión, señaló las recientes ofertas públicas en el sector como evidencia de hacia dónde se dirige la industria.
SpaceX ha salido a bolsa y Anthropic está programado para más adelante este año. OpenAI podría seguir pronto, y el orador espera que los modelos de IA desempeñen un papel central en la economía. Él cree que los puntos de referencia y las evaluaciones utilizadas para juzgar esos modelos moldearán la forma en que las empresas divulguen información y discutan futuras inversiones en IA en los documentos públicos.
Lo que hacemos de ello.
Vals depende de pruebas privadas para juzgar cómo funcionan sus modelos. El argumento es que las pruebas cerradas son más confiables que las abiertas, ya que estas últimas pueden ser manipuladas.
Otra preocupación es el tamaño. Vals sigue siendo una operación modesta, aún contratando gente, y existe la duda sobre si puede igualar la velocidad del crecimiento de modelos en campos como derecho, finanzas, codificación y bioseguridad.
Inversores con dinero real se han comprometido con la empresa, lo que demuestra que el mercado respalda la idea. Vals mantiene sus materiales de prueba bajo reserva, de modo que nadie desde fuera puede ver cómo ejecuta sus pruebas.
En este momento, Vals está actuando como cualquier otra startup ambiciosa al intentar construir un negocio en torno a un problema que dice resolver mejor que nadie. La cuestión de si tiene éxito depende enteramente de si sus pruebas realmente miden lo que dicen medir.
Fuente: “Vals, respaldada por Andreessen Horowitz, está buscando convertirse en el estándar de oro para la evaluación comparativa de la IA”, TechCrunch.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.