En esta página · 5 secciones
Una prueba de control cambia la inversión en algunas zonas y compara sus casos firmados con controles equivalentes, bajo reglas escritas antes de que empiece. Es la forma en que el Estándar responde si un canal crea casos o solo se lleva el crédito.
Diseños
- Pruebas por pasos (las preferidas). Las zonas de tratamiento suben o bajan el presupuesto de un canal por pasos, por ejemplo 50% menos o 30% más, mientras los controles siguen el plan. Responden la pregunta marginal y mantienen abiertos los mercados.
- Pruebas de control. Las zonas de tratamiento apagan un canal: se usan para la búsqueda de marca, una categoría de Anuncios de Servicios Locales, la prospección en redes sociales o un programa en español, con límites a la duración y a cuánto del mercado se deja en control.
- Mercados equivalentes y control sintético. Las unidades de tratamiento y de control son mercados de medios, condados o grupos de códigos postales que las plataformas pueden segmentar, elegidos por su ajuste en el periodo previo con GeoLift, el código abierto de Meta (GitHub, en inglés) y leídos contra un contrafactual de control sintético.
- Los estudios de efecto de las plataformas cuentan solo cuando podemos ver el diseño y los datos, como el Conversion Lift basado en geografía de Google, que puede usar las conversiones sin conexión de la firma (Google, en inglés). De lo contrario, se rotulan «informado por la plataforma».
- Nunca causales por sí solos: las comparaciones de antes y después sin un control, y la incrementalidad «modelada» por la plataforma que no podemos auditar.
Mínimos
| Requisito | Mínimo |
|---|---|
| Historial | 52 semanas de contactos y casos firmados diarios por zona; 26 como mínimo (GeoLift, en inglés) |
| Periodo previo estable | De 4 a 5 veces la duración de la prueba, sin quiebres estructurales |
| Unidades de zona | Al menos 20 candidatas, cada una con 25+ periodos previos al tratamiento |
| Duración del tratamiento | De 4 a 8 semanas, nunca menos de 4 |
| Ventana de demora | Leer los contactos creados durante el tratamiento después de al menos 30 días y de la demora de firma del percentil 80 de la firma |
| Integridad | El personal de atención, el rastreo y los demás canales se mantienen estables, con revisión semanal |
Potencia
Primero, un análisis de potencia corre el diseño planeado con el propio historial de la firma. Los resultados llevan intervalos de 90% de dos colas (alfa 0.10, el valor predeterminado de GeoLift, guía paso a paso, en inglés), y el diseño necesita al menos 80% de potencia en su efecto mínimo detectable, el umbral convencional (PMC, en inglés). El efecto mínimo detectable no puede ser mayor que el efecto más pequeño que cambiaría la decisión. Si ningún diseño de 8 semanas o menos lo alcanza, no hacemos la prueba; lo decimos y proponemos un diseño más grande o una pregunta distinta.
Preregistro
Antes del lanzamiento, la firma recibe un plan fechado de una página: la pregunta y la dirección esperada; la métrica principal (casos firmados de contactos creados durante el tratamiento, según los registros de la firma) y a lo sumo dos métricas secundarias; el diseño y cómo se asignaron las zonas; el cambio de presupuesto; las fechas; el efecto mínimo detectable y la potencia; el método de análisis; las exclusiones, las revisiones de integridad y las reglas de detención; y la regla de decisión para un resultado ganador, nulo o no concluyente. Cualquier cambio posterior se registra y se muestra junto al plan original.
Cómo se lee el resultado
| Resultado | Regla | Qué sigue |
|---|---|---|
| Ganador | El intervalo de 90% de los casos firmados incrementales excluye el cero, en la dirección esperada | Se aplica la decisión registrada de antemano |
| Nulo | El intervalo incluye el cero y queda dentro de más o menos el efecto mínimo detectable | Se informa como un resultado; se aplica la decisión para «nulo» |
| No concluyente | Cualquier otro caso, incluida una revisión de integridad fallida o una detención anticipada | Ningún cambio de presupuesto se apoya en él |
Un intervalo que excluye el cero en la dirección opuesta se informa como un efecto inverso. Cada informe de resultados muestra la estimación y el intervalo, el costo incremental por caso firmado, los casos atribuidos en las mismas zonas, el factor de incrementalidad, el ajuste del periodo previo, el registro de integridad y la decisión.
Para llevarlo a la práctica, lea la guía: Pruebas de control (holdout) para firmas de abogados: cómo probar que un canal de anuncios generó casos.
Cite como: The Probative Standard v1.0, Holdout test. Revisado por nuestro equipo de datos.