¿Que tienen que ver las ratas en Hanoi y las malas métricas de hoy en día?

Si no podés medir algo, no podés mejorarlo. En eso estamos todos de acuerdo pero lo que a veces se olvidam es que medir mal es peor que no medir porque generas incentivos que no están alineados con el crecimiento de tu empresa; dejame explicarlo con la invasión de ratas en Hanoi o la ley de Goodhart, que es mas formal

¿Que tienen ejemplo que Linkedin o X sean agresivos penalizando contenido externo porque la compensación del leadership team está atada a “tiempo en plataforma” cuando no definis lo que necesitas medir ponés incentivos ridículos y el mejor ejemplo es porque hay tantas ratas en Hanoi…

El gobierno colonial pagaba por cola de rata entregada para frenar la peste bubónica. La población local empezó a cortar las colas y liberar a las ratas para que siguieran reproduciéndose, además de crear criaderos clandestinos.

Vann, Michael G. (2003). «Of Rats, Rice, and Race: The Great Hanoi Rat Massacre, an Episode in French Colonial History». French Colonial History, Vol. 4, pp. 191–203. DOI: 10.1353/fch.2003.0027.

Hay un caso famoso que es el de Zynga y el bucle de Spam; cuando la compañía adoptó el DAU (Daily Active Users) como la métrica reina de valuación, tuvo que mantenerla para mantener su valor de mercado; e lugar de reflejar interés genuino o retención orgánica, el indicador incentivó a los equipos de producto a diseñar bucles virales predatorios en Facebook (

Dos ejemplos simples; no podías avanzar en el juego salvo que invitaras a 5 amigos o publicaras en sus muros hasta la peor donde si un usuario no abría la app en 24 horas, el sistema enviaba alertas automáticas a sus contactos fingiendo actividad… ¿porque? porque lo que necesitaban eran usuarios activos por dos minutos diarios para mostrar que crecían.

Esto es super simple: Al convertir el proxy en objetivo, la métrica no midió tracción real sino el volumen de spam tolerado por la audiencia; y la experiencia que era mala era la del usuario en Facebook, que en 2011 modificó sus algoritmos para protegerse, cerró los canales virales, los usuarios activos de Zynga se desplomaron: sin retención de fondo ni producto sostenible, tuvieron que salir a comprar tráfico para maquillar los números… hasta que fue insostenible.

Formalizando la observación de las ratas en Hanoi y las de Zinga

«Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.»

(«Cualquier regularidad estadística observada tenderá a colapsar una vez que se ejerza presión sobre ella con fines de control»).

Goodhart, C. A. E. (1975). Problems of Monetary Management: The U.K. Experience. Papers in Monetary Economics, Reserve Bank of Australia, Vol. 1.

Esta es la llamada ley de Goodhart que muestra que una vez que empezás a “controlar” algo, siempre habrá cambios en esa métrica (de hecho es la base de mi critica a la medicion ridicula de consumo de tokens como paradigma de productividad), unos años despues una cita de una antropóloga lo bajó a lenguaje corporativo para explicar porque las auditorías en educación no eran honestas

«When a measure becomes a target, it ceases to be a good measure.»

(«Cuando una medida se convierte en un objetivo, deja de ser una buena medida»).

Strathern, M. (1997). ‘Improving ratings’: audit in the British University system. European Review, 5(3), 305–321.

Hay un libro genial que no me canso de recomendar que es Measure what Matter de John Doerr porque te ayuda a entender a separar el objetivo de la métrica vacía, o en el mundo de los startups las “vanity metrics” ¿cuantos usuarios tengo es mas util que mis unit economics o las interacciones o la tasa de crecimiento? o ahora que estamos en la fiebre de la IA ¿es imporante medir cuantos tokens consumis como métrica de éxito o que problemas le resolves a una audiencia?

Si sos founder de una empresa tenes que tener cuidado porque en general, y es natural y no es de mala persona, uno va a querer optimizar lo que defina tu bono o tu crecimiento en la misma; miren estos ejemplos rapidos:

• Soporte/Customer Service: Medir tiempo de llamada genera cortes abruptos y problemas sin resolver en lugar de satisfacción del cliente.
• Ingeniería: Medir líneas de código incentiva código redundante e ineficiente en vez de arquitectura limpia. (mi dios el estupido de Gary Tan!!)
• Seguridad pública: Cuotas de arrestos provocan detenciones menores o arbitrarias sin impacto sobre el delito real.
• Salud: Evaluar centros médicos por tasa de supervivencia incentiva a rechazar pacientes con cuadros críticos para proteger el score.

Now, the two key phrases are objectives and the key result. And they match the two purposes. The objective is the direction: “We want to dominate the mid-range microcomputer component business.” That’s an objective. That’s where we’re going to go. Key results for this quarter: “Win ten new designs for the 8085” is one key result. It’s a milestone. The two are not the same…

John Doerr – Measure What Matters

Repito, esto es natural en los humanos por eso es el equipo fundador (o el que tiene equity en la empresa) el que debe definir muy claramente que se mide y como se lo mide porque, repito, “al atar incentivos a un número específico, los actores adaptan racionalmente su conducta para inflar la métrica al menor costo posible”