Post hoc, ergo propter hoc

Voy a reconocerlo de entrada, me moría de ganas de escribir un post con este título después de ver un capítulo de West Wing con susodicho latinajo. Para los que no vierais el capítulo y tampoco estéis muy puestos con el tema de la lógica, la frase viene a decir más o menos algo así:

Después de esto, por lo tanto, a consecuencia de esto

Osea, en román paladino, que si ocurre el hecho A y luego el hecho B, no necesariamente están relacionados. En Wikipedia hay un par de ejemplos que lo resumen bastante bien:

1. Las ventas de helado aumentan mucho en el mes junio.
2. Los accidentes de tráfico aumentan mucho el mes de junio.
3. Por lo tanto, el que las ventas de helado aumenten provoca que los coches tengan más accidentes.

¿Por qué es esto importante?, para mi resulta bastante sencillo. Más veces de las que imaginamos damos nivel de correlación o de causalidad a eventos que no tienen más relación que una secuencialidad en el tiempo. Esto es debido a una tendencia natural que tienen las personas, que intentamos buscar patrones lógicos en cualquier sucesión de eventos, es más, si una sucesión de eventos no tiene ningún tipo de patrón, nos empeñamos en construir cualquier tipo de hipótesis para explicar lo que sucede. Esto, por si mismo, es extraordinario y es la base de todo progreso científico, pero a veces nos olvidamos de toda la carga teórica que la ciencia lleva consigo, y hacemos de nuestra capa un sayo y montamos teorías que no tienen menos validez que una moneda de seis céntimos.

En internet, los planteamientos son a tan corto plazo que no tenemos tiempos de validar si un cambio ha sido positivo o no. Cambiamos un logo y si al día siguiente hay más clics, es porque es porque el logo es más dinámico y crea un call to action más eficiente y el color corporativo [seguir llenando con cualquier explicación marketiniana que más os guste]. No esperamos a comparar rangos de tiempo más largos como puede ser semanas o meses, y tampoco buscamos explicaciones alternativas. Nos centramos en una variable y una consecuencia y si hemos cambiado una variable y cambia la consecuencia, inmediatamente hacemos grandes teorías al respecto. Un ejemplo palmario de esto me ocurrió personalmente, cambiamos por completo la home page para hacerla más moderna, más fácil de navegar y más de todo (no es plan de poneros todo el briefing que nos llevó a tomar esa decisión), inmediatamente las quejas empezaron a subir de forma exponencial, ¿cual fue la conclusión que todos sacaron al mirar las estadísticas de soporte?, que la nueva página era una porquería y habría que volver a la anterior. La bronca en la reunión fue cósmica, unos diciendo que la gente estaba loca y no quería progreso, otros que lo que ya funcionaba no hacía falta tocarlo… en fin, ya os imagináis el drama. Después de horas de absurdo debate, al final nos dio por profundizar en los datos y vimos que el cambio de página había provocado solo un 0,5% de las quejas, que el aumento era debido a otras causas que no podíamos explicar… probablemente un artículo publicado en un periódico que recomendaba hacer algo raro con la conexión para aumentar la velocidad o instalar un plugin nuevo o vete tu a saber que cosa rara proponían, pero lo que es el puro cambio, no tenía peso específico en el aumento de quejas. El resultado fue que los que apoyaron el cambio se fueron más contentos que un niño con un saco de caramelos y los otros con el rabo entre las piernas.

Por eso es fundamental el tener todas las variables controladas, y tenerlas controladas y bajo control durante un periodo largo de tiempo. Una vez tienes esto, has de empezar a realizar pruebas de A/B, es decir, una parte de tus usuarios con los cambios y otros sin los cambios. Los grupos pueden ser al azar o distribuyendo correctamente los usuarios entre los dos grupos para poder empezar a obtener datos. También es importante ser consciente que un solo cambio no hará que subas diez posiciones en Google o que tu funnel mejore, la mejora es como en la formula 1, son pequeños cambios en pequeñas piezas, que sumadas, hacen que un coche sea ganador o un tu página sea eficiente.

Cada vez me encuentro más gente que te suelta frases como: cambié el tipo de letra a verdana y tengo más visitas, o puse un fondo blanco y los usuarios están más tiempo en la web. Si oyes a alguien decir frases como esta, hazte un favor y hazle un favor, requísale el cerebro porque no lo está usando, y confíscale la lengua hasta nuevo aviso. Las mejoras no son fáciles y las conclusiones menos. Realmente recomendaría a muchas de estas personas que vayan de oyentes a alguna clase de metodología científica o metodología experimental para que empiecen a darse cuenta de lo complicado que es establecer y demostrar causalidad y correlación entre dos eventos consecutivos en el tiempo.