Hacker News tiene un secreto: su página principal no es administrada por editores humanos. Es administrada por una fórmula que penaliza los artículos por ser populares, y hoy esa fórmula está en el centro de atención. Una publicación de 2013 explica en detalle el sistema de ranking de righto.com, y muestra cómo el puesto #1 del sitio es una constante lucha entre votos y penalizaciones.
El sistema es simple en papel. Cada artículo recibe una puntuación basada en sus votos, el tiempo transcurrido desde que fue publicado y un sistema de penalización que resta puntos a los artículos con demasiados comentarios, demasiados votos o un título que activa una bandera automática. La fórmula está diseñada para asegurarse de que nada permanezca en la cima por demasiado tiempo. Pero el sistema tiene un problema: penaliza los artículos por ser populares, no por ser malos.
Ranking por Votos, Tiempo y Penalizaciones
El núcleo del sistema de ranking es una fórmula de puntuación que le da a cada artículo un número. Ese número se basa en votos, tiempo y penalizaciones. La fórmula se describe en la publicación de 2013, y funciona así:
- Los votos cuentan como un factor positivo
- El tiempo transcurrido desde la publicación cuenta como un factor negativo
- Las penalizaciones pueden reducir la puntuación drásticamente
El factor tiempo se conoce como «gravedad.» Significa que a medida que un artículo envejece, su puntuación disminuye hasta llegar a cero, porque la decadencia del tiempo supera a los votos. Nada permanece en la página principal para siempre. Este es el punto del sistema: mantener la página fresca y en movimiento.
Pero el sistema no ordena la página cada vez que alguien la visita. Eso tomaría demasiado trabajo. En cambio, los artículos solo se mueven cuando reciben un nuevo voto. Cuando una historia recibe un voto positivo, se vuelve a clasificar y se mueve hacia arriba o hacia abajo en la lista. Las otras historias permanecen en su lugar. Esto ahorra mucho trabajo, pero también significa que una historia puede quedar atrapada en una posición alta si deja de recibir votos.
Para solucionar eso, Hacker News elige una de las 50 historias principales al azar cada 30 segundos y la vuelve a clasificar. Esto evita que la página se quede atascada, pero también significa que una historia puede ser clasificada incorrectamente durante muchos minutos si no está recibiendo votos.
El Gráfico
La publicación de 2013 incluye un gráfico que muestra cómo se ve esto en la práctica. Rastrea las puntuaciones brutas de los 60 artículos principales el 11 de noviembre, coloreadas según dónde se encontraban en la página. La línea roja muestra el artículo principal del día.
El gráfico muestra varias cosas a la vez. La puntuación de un artículo aumenta rápidamente y luego disminuye lentamente durante muchas horas. La fórmula de puntuación tiene en cuenta parte de esto: un artículo que recibe una tasa constante de votos alcanzará su punto máximo y luego disminuirá. Pero el pico es incluso más rápido de lo que explicaría la fórmula por sí sola. Los artículos tienden a recibir muchos votos en la primera o dos horas, y luego la votación disminuye. Esa combinación produce las curvas pronunciadas que se ven en el gráfico.
Hay algunos artículos cada día que obtienen una puntuación mucho más alta que el resto. Hay muchos artículos en el medio. Algunos artículos obtienen una buena puntuación pero se quedan atrás de uno más popular. Otros artículos alcanzan el #1 brevemente, entre la caída de uno y el ascenso de otro.
El gráfico también muestra dónde se aplican las penalizaciones. Los triángulos verdes y el texto marcan las penalizaciones por «controversia». Los triángulos azules y el texto marcan los artículos que fueron penalizados tan severamente que salieron por completo del top 60. Las penalizaciones más leves no se muestran aquí.
Lo que realmente significa el puesto #1
El contenido del puesto #1 en Hacker News no es «natural». Es el resultado de la aplicación constante de penalizaciones a muchos artículos. La fórmula penaliza a los artículos por ser populares, y el gráfico muestra esto en acción.
El puesto #1 no es el artículo más popular. Es el artículo con la menor penalización.
Penalizaciones automáticas
Algunos envíos reciben automáticamente penalizaciones basadas en el título o el dominio. Los artículos con «NSA» en el título reciben una penalización de .4. La publicación buscó otras palabras que causan penalizaciones automáticas, como «awesome», «bitcoin» y «bubble», pero no se encontraron penalizaciones.
Muchos sitios web también reciben penalizaciones automáticas. La publicación de 2013 observó que muchos sitios web parecen recibir automáticamente una penalización de .25 a .8. La lista incluye arstechnica.com, businessinsider.com, easypost.com, github.com, imgur.com, medium.com, quora.com, qz.com, reddit.com, rt.com, stackexchange.com, theguardian.com, theregister.com, theverge.com, torrentfreak.com e youtube.com. La publicación dice que está segura de que la lista real es más larga.
Esto es independiente de los sitios «vetados», que fueron listados en un momento dado. Una teoría interesante es que las noticias de fuentes populares se presentan en paralelo por múltiples personas, lo que resulta en más votos positivos de los que merece el artículo. Penalizar automáticamente los sitios web populares ayudaría a contrarrestar este efecto.
El Impacto de las Penalizaciones
La fórmula de puntuación permite calcular qué significa realmente una penalización. Un factor de penalización de .4 significa que cada voto solo cuenta como .3 votos. También significa que el artículo baja en la clasificación 66% más rápido de lo normal. Un factor de penalización de .1 es mucho peor: cada voto cuenta como .05 votos, o el artículo baja a 3.6 veces la tasa normal.
La Penalización por Controversia
La penalización por controversia está diseñada para detener las discusiones acaloradas. Los artículos con «demasiados» comentarios reciben una penalización considerable. En el código publicado, la función contro-factor se activa para cualquier publicación con más de 20 comentarios y más comentarios que votos positivos.
La fórmula real es diferente. Está activa para cualquier publicación con más comentarios que votos positivos y al menos 40 comentarios.
El exponente en la fórmula es una cuestión de conjetura. Basándose en datos empíricos, la publicación de 2013 sospecha que el exponente es 3, en lugar de 2, pero no lo ha probado.
La penalización puede ser repentina y catastrófica. El gráfico muestra varios ejemplos de esto en acción.
Los Artículos del 11 de Noviembre
La publicación de 2013 utiliza los artículos del 11 de noviembre para demostrar cómo funciona el sistema. Algunos destacan:
- «Completamente equivocado sobre el registro de sitios web» alcanzó el puesto #1 temprano en la mañana, pero fue penalizado por controversia y bajó rápidamente, permitiendo que «Linux se comió mi RAM» obtuviera brevemente el puesto #1 antes de que «Simpsons en CSS» lo superara.
- «Apple Maps» alcanzó el puesto #1 y fue penalizado poco después, perdiendo su lugar y bajando en las clasificaciones.
- El artículo de «Snapchat» llegó a la cima pero fue penalizado tan severamente a las 8:22 am que se eliminó por completo de la lista.
- «Por qué nunca debe usar MongoDB» fue enormemente popular y habría pasado gran parte del día en el #1, excepto que fue penalizado y languideció alrededor del #7.
- «Romper lazos con la NSA» comenzó con una penalización de la NSA pero fue tan popular que aún así alcanzó el #1. Fue entonces cuando se le aplicó una penalización aún mayor y se eliminó la página.
- Cerca del final del día, «$4.1m desaparece» fue penalizado. Como resultó, pronto habría perdido el puesto #1 a «FTL» incluso sin la penalización.
Cada uno de estos artículos muestra el mismo patrón. El artículo se vuelve popular, desencadena una penalización y se desploma. El puesto #1 no es el artículo más popular. Es el artículo con la menor penalización.
El Costo del Sistema
El sistema de clasificación penaliza la popularidad. Está diseñado para asegurarse de que nada permanezca en la cima por demasiado tiempo, y lo hace asignando a los artículos una puntuación que disminuye con el tiempo y aplicando penalizaciones. El sistema también evita que la página se atasque seleccionando al azar una de las 50 historias principales cada 30 segundos y volver a clasificándola.
El sistema es opaco. No está claro si esas penalizaciones provienen de administradores o artículos marcados.
El sistema también es inconsistente. Algunas palabras activan penalizaciones automáticas, pero otras no. Algunos dominios reciben penalizaciones, pero no todos. La publicación de 2013 señala que la lista real de dominios penalizados es más larga que la que se muestra. El sistema no está diseñado para ser justo. Está diseñado para mantener la página en movimiento.
Lo divertido es que el sistema se penaliza a sí mismo. El factor de gravedad significa que la puntuación de cada artículo eventualmente disminuye a cero, sin importar cuántos votos reciba. La página no se trata de encontrar los mejores artículos. Se trata de encontrar los artículos que son populares ahora mismo, sin dejarlos quedarse allí por mucho tiempo. El sistema es una lucha constante entre votos y penalizaciones, y la publicación de 2013 muestra esa lucha en detalle.
La publicación de 2013 también muestra que el sistema no es perfecto. El contenido del puesto #1 no es natural. Es el resultado de penalizaciones aplicadas a muchos artículos. El sistema es opaco, y no está claro si esas penalizaciones provienen de administradores o artículos marcados.
«“Cómo funciona la calificación de Hacker News: puntuación, controversia y penalizaciones (2013),” righto.com.
Recibe El Cuaderno.
Las mejores historias del día y cada veredicto nuevo, en español claro, en tu correo a las siete. Un correo al día, nada más.