Experimentos de control en Appcues
Aprenda a ejecutar un experimento de control y medir el impacto de sus flujos.
¿Qué son los experimentos de control?
Un experimento de control mide la diferencia en el comportamiento posterior entre dos grupos: un grupo expuesto, al que se le instó previamente a realizar una acción determinada, y un grupo de control al que no se le instó y que, en cambio, se le permitió descubrir la acción por sí mismo. Más allá de la diferencia en la instigación, ambos grupos deberían ser idénticos en cuanto a la composición de la audiencia.
¿Por qué debería realizar un experimento de control?
Los mejores flujos Appcues son aquellos que impulsan a los usuarios a realizar una acción específica en la aplicación. Por ejemplo, el propósito de un flujo puede ser que los usuarios completen el proceso de registro, ingresen la información de su tarjeta de crédito o prueben una nueva función. Appcues facilita el seguimiento de esta conversión de comportamiento mediante objetivos .
Sin embargo, conocer la tasa de conversión objetivo de tu flujo solo te ayuda hasta cierto punto. ¿Es una tasa de conversión del 15 % buena o mala? ¿Comparada con qué? Un experimento de control es una excelente manera de medir mejor el impacto incremental que tu flujo tiene para impulsar a los usuarios a realizar una acción. En el caso anterior, si un grupo de control (compuesto por una audiencia similar a la del grupo expuesto, pero a quienes no se les mostró el flujo intencionalmente) solo tuvo una tasa de conversión del 10 %, es una excelente señal de que tu flujo está teniendo un impacto positivo en el comportamiento de los usuarios.
¿Cómo funcionan los experimentos de control en Appcues ?
Un experimento de control en Appcues tiene tres atributos principales:
- Un flujo asociado contra el cual crearemos un grupo de control.
- Tamaño del grupo de control . De forma predeterminada, el tamaño del grupo de control es del 50 %, lo que significa que Appcues seleccionará dom al 50 % de los usuarios elegibles (a quienes normalmente se les habría mostrado el flujo debido a la segmentación por audiencia) y los bloqueará intencionalmente para que no lo vean, como una forma de medir el aumento de la conversión. Al principio y durante la duración del experimento, puede usar el control deslizante de Asignación de Tráfico para ajustar el porcentaje de nuevos usuarios elegibles que desea incluir en el grupo de control.
- Un objetivo heredado del flujo asociado. La diferencia en el porcentaje de conversión de objetivos entre los grupos expuestos y de control se utilizará para determinar si el flujo tiene un impacto positivo o negativo al impulsar a los usuarios a realizar una acción específica.
Mientras se ejecuta un experimento en un flujo, Appcues seleccionará dom un porcentaje de usuarios (que coincida con el tamaño del grupo de control establecido en el control deslizante de Asignación de Tráfico) que normalmente habrían podido ver el flujo. Justo antes de que se les muestre el flujo, se les asigna al grupo de control y no se les muestra. Hasta que finalice el experimento, estos usuarios no podrán ver el flujo. Los usuarios que sí pueden seguir viendo el flujo se asignan al grupo expuesto .
Para determinar a qué grupo (de control o expuesto) pertenece un usuario, se le asigna dom un número entre 1 y 100. Si ese número es menor o igual al tamaño del grupo de control configurado, el usuario puede pertenecer al grupo de control; de lo contrario, puede pertenecer al grupo expuesto. Dado que la división es dom según el tamaño de cada usuario y el grupo de control, se espera que los tamaños de los grupos no sean iguales.
Appcues mostrará el flujo con mayor prioridad.
Si un usuario puede ver más de un flujo a la vez, se mostrará el flujo con mayor prioridad, independientemente del experimento. Esto puede influir en la asignación de un grupo al usuario.
Crear un experimento de control
- Haz clic en la pestaña Experimentos en la página Flujos. Puedes acceder a ella mediante el menú Mensajería > Flujos en el panel de navegación izquierdo.
- Haga clic en el botón Nuevo experimento
- Dale un nombre de experimento al nuevo experimento y selecciona un flujo existente para ejecutar un experimento en él.
Nota: Un flujo solo puede tener un experimento activo ejecutándose a la vez. Los flujos con un experimento en estado BORRADOR, EN EJECUCIÓN o EN PAUSA no aparecerán en esta lista. En este caso, deberá configurar el experimento anterior como FINALIZADO para que su flujo vuelva a aparecer en la lista.
Los flujos deberán configurarse para "mostrar una vez", tener un objetivo y no mostrarse en el Launchpad para ser incluidos en la lista.
Asegúrese de anular cualquier límite de frecuencia en su flujo en caso de que esté habilitado.
- Haga clic en Crear
Lanzar un experimento de control
Tras crear el experimento, accederá a su página de configuración. Aquí se le solicitará que introduzca algunas estimaciones para calcular el tamaño mínimo de muestra y la duración estimada necesarios para el experimento antes de poder calcular la significancia estadística.
¿Por qué solicitamos esta información? Si bien le proporcionaremos una medida de significancia estadística para los resultados de su experimento, centrarse demasiado pronto en la significancia estadística puede ser un error y llevar a conclusiones incorrectas. Al principio de un experimento, cuando el tamaño de la muestra es demasiado pequeño, este puede superar fácilmente el umbral de significancia estadística varias veces. pin el experimento en cuanto se observa significancia estadística por primera vez es un error común. En su lugar, puede calcular el tamaño de muestra mínimo probable necesario antes de comprobar la significancia estadística. Consulte esta publicación para obtener más información sobre nuestro enfoque.
Cuando esté listo, haga clic en Iniciar en la esquina superior derecha de la página de configuración. Su experimento se configurará como EN EJECUCIÓN.
El inicio de un experimento se realiza independientemente de la publicación de su flujo. Para empezar a muestrear usuarios en los grupos expuestos y de control, también deberá asegurarse de que el flujo esté publicado.
Pausar y reanudar un experimento de control
Cuando un experimento esté EN EJECUCIÓN , puede configurar su estado como PAUSADO en la esquina superior derecha de la página de configuración. Puede pausar el experimento y el muestreo de exposición/control para revisar los resultados antes de reanudarlo.
Cuando se pausa un experimento:
- El flujo continuará ejecutándose si se publica.
- Todos los usuarios nuevos que califiquen para ver el flujo lo verán.
- No se colocarán nuevos usuarios en los grupos expuestos o de control.
- Los usuarios existentes en el grupo de control aún no podrán ver el flujo.
Un experimento pausado siempre se puede reanudar y configurar como EN EJECUCIÓN nuevamente haciendo clic en Reanudar en la esquina superior derecha de la página de configuración de un experimento pausado.
Finalizar un experimento de control
Una vez que haya terminado de recopilar los resultados del experimento y esté listo para reanudar el muestreo normal del flujo, puede hacer clic en el botón Finalizar en la esquina superior derecha de la página de configuración del experimento para que el experimento pase al estado FINALIZADO . Al finalizar un experimento:
- El flujo continuará ejecutándose si se publica.
- Todos los usuarios nuevos que califiquen para ver el flujo lo verán.
- No se colocarán nuevos usuarios en los grupos expuestos o de control.
- Los usuarios existentes en el grupo de control ahora serán elegibles para ver el flujo.
Una vez finalizado un experimento no se puede reanudar.
Informe sobre su experimento de control
Una vez que comience a ejecutarse un experimento, podrás obtener informes en Appcues sobre:
- El número de usuarios ubicados en los grupos expuestos y de control.
- La cantidad de conversiones de objetivos y la tasa de conversión para los grupos expuestos y de control (Nota: la conversión de objetivos debe haber ocurrido dentro de un período de 7 días desde la inclusión en uno de los grupos experimentales).
Una vez que el experimento haya alcanzado su tamaño de muestra mínimo (en los grupos expuestos y de control), se mostrará la siguiente información en la página de lista de experimentos.
- La elevación del experimento (la diferencia porcentual de la tasa de conversión entre los grupos expuestos y de control).
- La confianza en los resultados del experimento, que es una medida de la significancia estadística de los resultados, basada en un nivel de confianza del 95%.
Hasta que se alcance el tamaño mínimo de muestra, la columna de elevación mostrará una barra de progreso del tamaño de muestra y una estimación de cuántos días necesitará ejecutar el experimento hasta que se alcance el tamaño mínimo de muestra.
Los datos sin procesar del experimento (ID de usuario, grupo de experimento y tiempos de conversión de cada usuario muestreado durante el experimento) se pueden exportar desde la página de lista.
Envíe datos de experimentos a sus integraciones de análisis
Cada vez que se muestrea un usuario para un experimento de control, Appcues emite un evento "experiment_entered" a todas las integraciones frontend. Puede usar estos eventos para segmentar a los usuarios en sus herramientas de análisis y analizar con más detalle los resultados del experimento entre los grupos expuestos y de control.