La tienda Shopify de Founder Lab fue escaneada seis veces con una herramienta de puntuación impulsada por IA, y solo el componente de "intención" (intent) de la puntuación varió —oscilando entre 4 y 6— mientras que el resultado general se mantuvo prácticamente igual. El hallazgo demuestra que un cambio de un solo punto en la calificación generada por IA de una tienda puede ser puro ruido estadístico, no una mejora real.

Por qué era importante la prueba

Los propietarios de tiendas dependen cada vez más de herramientas automatizadas que asignan una única calificación numérica a sus sitios. Esas calificaciones prometen un chequeo rápido de salud y una hoja de ruta para la optimización. La suposición es que un número más alto equivale a una mejor tienda, por lo que cualquier aumento se toma como evidencia de que un cambio funcionó. Founder Lab quería verificar esa premisa. Al ejecutar la herramienta en una tienda sin cambios, el equipo pudo ver cuánto fluctúa la puntuación por sí sola.

Cómo fue el experimento

  • Fecha 1 (12 de julio): Un escaneo, puntuación total 78, intención 6.
  • Fecha 2 (17 de julio): Cinco escaneos, cada uno de menos de un minuto, produciendo los siguientes resultados:
    • Escaneo 1: 76 / 4
    • Escaneo 2: 76 / 4
    • Escaneo 3: 78 / 6
    • Escaneo 4: 77 / 5
    • Escaneo 5: 77 / 5

Todas las demás subpuntuaciones —diseño visual, marcado de esquema (schema markup), señales de confianza, salud técnica, precios, recomendaciones y marca— se mantuvieron idénticas en todas las ejecuciones. Solo cambió la subpuntuación de intención, y la puntuación total tras restar la intención (78 – 6, 76 – 4, 77 – 5) siempre fue igual a 72. En otras palabras, las partes deterministas de la evaluación fueron perfectamente estables; la única variable fue la evaluación de intención impulsada por la IA.

La volatilidad oculta de la "intención"

La intención es la parte del algoritmo que intenta medir qué tan bien se alinea una tienda con el propósito del comprador, ya sea que la mezcla de productos, el texto (copy) o el mensaje general coincidan con lo que el comprador busca. Cuando la calificación total aparece como un único número, esa varianza es fácil de pasar por alto. Una tienda que pasa de 78 a 80 podría parecer mejorada, pero el cambio podría no ser más que el mismo oscilamiento de 2 puntos que observó la prueba de Founder Lab.

Por qué los desarrolladores deberían realizar múltiples escaneos

El experimento sugiere una regla práctica: tratar cualquier cambio de uno o dos puntos en un solo escaneo como sospechoso hasta que pueda ser reproducido. Ejecutar la herramienta varias veces en la misma captura de un sitio proporciona un "umbral de ruido" (noise floor): el rango de puntuaciones que se puede esperar cuando nada ha cambiado. Si una nueva optimización empuja la puntuación fuera de ese rango de manera constante, tendrás evidencia más sólida de que el cambio fue importante.

Ya no confiamos en un solo re-escaneo. Cada cambio real requiere ahora múltiples escaneos para demostrar que no es ruido. El enfoque también se ha desplazado hacia atrás: primero aseguran los factores deterministas —salud técnica, datos estructurados y arquitectura del sitio— porque esos elementos son estables y están directamente bajo el control del desarrollador. Solo después de que esos cimientos sean sólidos, experimentan con el texto de los productos u otras señales relacionadas con la intención, e incluso entonces verifican los resultados con múltiples escaneos.

Lo que está en juego para los comerciantes

Para un propietario de tienda, una falsa sensación de progreso puede llevar a la pérdida de tiempo y dinero. Si persigues un aumento percibido de 2 puntos, podrías invertir en reescrituras de textos, cambios de imágenes o experimentos de precios que en realidad no marquen la diferencia. Por el contrario, ignorar una mejora real porque cae dentro de la banda de ruido podría significar perder la oportunidad de redoblar la apuesta en un cambio ganador.

Contraargumento: los escaneos únicos aún tienen valor

Algunos profesionales argumentan que un solo escaneo es suficiente para un monitoreo de alto nivel, especialmente cuando los recursos son limitados. Señalan que los componentes deterministas (técnicos, esquema, confianza, etc.) ya son confiables, y que la puntuación de intención, aunque ruidosa, sigue ofreciendo una visión de la dirección. En entornos de ritmo rápido donde esperar múltiples escaneos podría retrasar la acción, una sola lectura puede ser la única opción práctica.

El compromiso es claro: un solo escaneo ofrece velocidad pero conlleva el riesgo de reaccionar al ruido; múltiples escaneos brindan confianza a costa del tiempo. Los comerciantes deben decidir qué equilibrio se adapta mejor a su flujo de trabajo y tolerancia al riesgo.

Qué observar a continuación

  • Proveedores de herramientas: ¿Publicarán las plataformas de puntuación sus propias estimaciones de ruido o sugerirán un número mínimo de ejecuciones para obtener resultados confiables? La transparencia sobre la varianza del modelo podría convertirse en un diferenciador.
  • Ecosistema de Shopify: A medida que más comerciantes adopten la puntuación por IA, podrían surgir mejores prácticas comunitarias sobre las pruebas repetidas, posiblemente en forma de complementos (plugins) que automaticen múltiples escaneos y agreguen los datos.

Conclusión

Una calificación de tienda generada por IA es tan confiable como la consistencia de su modelo subyacente. El experimento de seis escaneos de Founder Lab muestra que la sección de «intención» puede oscilar un par de puntos mientras todo lo demás permanece constante. Por lo tanto, los desarrolladores deben tratar los pequeños cambios en la puntuación como ruido, verificar las mejoras mediante varios escaneos y priorizar la corrección de los aspectos deterministas y totalmente controlables de sus tiendas antes de ajustar las partes sensibles a la IA. El esfuerzo adicional ahora evita perseguir ganancias fantasma más adelante.