Módulo 9 — Experimentación y ROI

🧪Este módulo ataca el error de GEO más común y más costoso: el "hice

Por qué el GEO necesita método científico

Merece la pena entender por qué el GEO es especialmente traicionero a la hora de saber si algo funciona, porque si no lo interiorizas caerás en las trampas una y otra vez. El GEO tiene mucho ruido: los bots no visitan a un ritmo constante, sino a ráfagas; los productos de IA cambian sus algoritmos y sus fuentes de un mes para otro; y hay estacionalidad en las búsquedas y en el consumo. Todo ese ruido significa que tus métricas suben y bajan por sí solas, sin que tú hagas nada. Y ahí está el peligro: si haces un cambio y justo después tu métrica sube, tu cerebro querrá atribuir la subida al cambio, aunque la causa real fuera una fluctuación del ruido. Sin experimentos, confundirás sistemáticamente coincidencia con causalidad, y tomarás decisiones sobre correlaciones fantasma.

La buena noticia es que la solución no requiere ser científico de datos. Es un método DIY de cuatro pasos que cualquiera puede seguir: cambia una sola cosa, regístrala con su fecha exacta, mide en ventanas claras y bien definidas, y decide con reglas fijadas de antemano. Esa disciplina mínima es lo que separa el aprendizaje real de la ilusión de aprendizaje. No se trata de complicar, se trata de no engañarte.

Dónde encaja BotPass: tu señal de "lectura"

En el mundo del GEO, medir es difícil porque muchas de las cosas que importan —qué responde exactamente un chatbot, a quién cita— son opacas o difíciles de rastrear. BotPass te da la métrica de entrada más práctica de todas: la de lectura. Te dice, con datos, si los bots están leyendo la página que cambiaste, lo que responde la primera pregunta de cualquier experimento: ¿ha llegado siquiera mi cambio a los ojos de la IA? Te permite comparar el consumo de la línea base con el consumo posterior al cambio, desglosado por URL y por bot, que es la comparación núcleo de todo experimento GEO. Y te ayuda a detectar efectos secundarios no deseados: si tras un cambio ves bots volviendo a URLs antiguas, es señal de que probablemente necesitas redirecciones o canónicos más claros, un diagnóstico que conecta con los módulos 3 y 6.

La razón de que la lectura sea tan valiosa como señal es que está arriba en la cadena causal. Antes de que la IA pueda citarte, tiene que leerte; antes de que un cambio de contenido pueda influir en una respuesta, el bot tiene que consumir la página cambiada. Al medir la lectura, obtienes la señal más temprana y menos ruidosa de que tu trabajo está surtiendo efecto, semanas antes de que se note en métricas de negocio.

Las tres capas de métricas

Uno de los marcos más útiles de todo el módulo es pensar tus métricas en tres capas, porque cada una responde a una pregunta distinta y ninguna sola cuenta la historia completa. La primera capa es la de lectura, que mide BotPass: qué consumen los bots. Responde a "¿me están leyendo?". La segunda es la de respuesta: citas, referidos y menciones correctas. Responde a "¿me están usando y citándome bien?". Y la tercera es la de negocio: leads, demos, licencias. Responde a "¿esto genera valor real?". Las tres forman un embudo: la lectura habilita la respuesta, y la respuesta habilita el negocio.

Hay un principio que debe gobernar toda esta arquitectura de medición, y conviene grabárselo: una métrica sin una decisión asociada es vanidad. Si mides algo pero no tienes claro qué harías distinto según suba o baje, esa métrica no te sirve para nada más que para sentirte bien o mal. Antes de añadir cualquier métrica a tu panel, pregúntate qué decisión cambiaría según su valor; si no hay respuesta, fúera. Esta disciplina mantiene tu medición enfocada en lo accionable y te ahorra ahogarte en números bonitos e inútiles.

Construir una línea base que funcione

Ningún experimento vale nada sin una línea base honesta contra la que comparar, y construirla bien tiene su técnica. Necesitas tres cosas. Una ventana de entre siete y catorce días, suficientemente larga para promediar el ruido de las ráfagas de bots pero no tanto como para que el mundo cambie por debajo. Una lista de URLs fija, decidida de antemano y no modificada durante la medición, porque cambiar qué mides a mitad de camino invalida la comparación. Y un registro de cambios obligatorio, donde anotas cada modificación con su fecha exacta. Esa última pieza es la más descuidada y la más crítica: sin un registro fechado de qué tocaste y cuándo, será imposible atribuir después un cambio de métrica a una causa concreta, y volverás al terreno del "creo que funcionó".

Cómo diseñar un experimento GEO

Con la línea base en marcha, diseñar un experimento es rellenar una plantilla que te obliga a pensar antes de actuar. Los campos son deliberadamente estrictos: una hipótesis clara —qué crees que pasará y por qué—; el cambio exacto que vas a aplicar, descrito con precisión para poder reproducirlo; las URLs afectadas; la ventana de medición, típicamente catorce días; la métrica primaria que decidirá el resultado; el umbral de éxito fijado antes de mirar los datos, para no hacer trampas retrospectivas; y el resultado que anotas al final. Fijar el umbral de éxito de antemano es la salvaguarda contra el autoengaño más común de todos: el de mirar los datos primero y decidir después qué habría contado como éxito.

Un experimento bien diseñado, ilustrado

Veamos cómo se ve todo esto en un caso concreto. La hipótesis es: "Si añadimos un TL;DR y unas FAQs por intención en /pricing, los referidos de IA aumentarán y la confusión de soporte disminuirá". Fíjate en que la hipótesis no solo predice una mejora, sino que explica el mecanismo por el que espera que ocurra. El cambio es preciso y reproducible: añadir un TL;DR de cinco bullets, añadir diez FAQs por intención, y añadir la fecha de "última actualización" junto con las condiciones de moneda e IVA. La ventana es de catorce días. La métrica primaria son los referidos de IA a /pricing, y la secundaria es el consumo de bots en /pricing medido con BotPass, que sirve de comprobación de que el cambio está siendo leído. Y el umbral de éxito se fija de antemano: un aumento del veinte por ciento en referidos, o una mejora consistente sostenida durante dos ventanas.

Lo que hace de esto un método y no un truco es que cualquiera puede repetir exactamente el mismo procedimiento en otra URL, con otro cambio, y obtener un resultado igualmente interpretable. Un experimento bien diseñado no solo te dice si este cambio funcionó; te enseña un patrón que puedes aplicar sistemáticamente a todo tu sitio, convirtiendo cada mejora en una unidad de aprendizaje acumulable.