En esta página · 10 secciones
- Por qué la atribución no puede probar que un canal funciona
- Cómo funciona una prueba de control geográfica
- Los datos que necesita primero
- Potencia y duración
- La plantilla
- Cómo leer el resultado: positivo, nulo o no concluyente
- Televisión, radio y vallas publicitarias
- Estudios de impacto de las plataformas
- Errores que arruinan una prueba
- Lo que esto significa para su firma
Todo canal de anuncios se atribuye casos. La pregunta más difícil es cuáles casos sumó de verdad: los que no habrían firmado sin ese gasto. La atribución (dar cada caso al último anuncio o a la fuente por la que llegó) no puede responderla. Una persona que vio su comercial de televisión, luego buscó el nombre de su firma y hizo clic en un anuncio de marca se cuenta como un caso de búsqueda de marca. Una prueba de control responde con una comparación justa. Esta guía explica cómo una firma de abogados puede hacer una, usando la geografía, y cómo leer lo que devuelve. Usa las reglas de The Probative Standard y se apoya en nuestra guía de costo por caso firmado, es decir, lo que le costó cada cliente nuevo.
Por qué la atribución no puede probar que un canal funciona
La atribución asigna cada caso firmado a una fuente, como el último clic pagado antes del primer contacto. Eso sirve para manejar cuentas, y todas las guías de este sitio la usan. Pero mide quién recibió el crédito, no qué causó el caso. Algunos canales, sobre todo la búsqueda de marca, están al final de un camino que empezó otro gasto. Se llevan el crédito de casos que habrían firmado de todos modos.
The Probative Standard traza la línea con claridad: cualquier afirmación de que el gasto «causó», «creó», «impulsó» o «sumó» casos firmados necesita una prueba, y sin ella la palabra es «atribuido» (The Probative Standard). Un caso firmado incremental es uno que no habría ocurrido sin el gasto. Se estima solo en conjunto, a partir de una prueba, con un intervalo. Ningún caso individual se etiqueta jamás como incremental.
Los abogados ya conocen esta lógica. Es la prueba de causalidad («but-for»): de no ser por el gasto, ¿habría firmado el caso? Una prueba de control es esa misma pregunta, aplicada a su marketing, y por eso Probative llama But-For Test a sus pruebas de encendido y apagado.
Cómo funciona una prueba de control geográfica
Usted divide las zonas donde anuncia en dos grupos. En el grupo de tratamiento cambia el gasto: apaga el canal o lo reduce en una parte fija. El grupo de control sigue con el plan. Al terminar la prueba, compara los casos firmados en las zonas de tratamiento con lo que habrían sido, estimado a partir de las zonas de control.
Importan tres decisiones de diseño.
1. La unidad. Las zonas deben ser unidades a las que las plataformas de anuncios puedan dirigir campañas y a las que su CRM pueda asignar casos: condados, grupos de códigos postales o mercados de medios. GeoLift, la herramienta de código abierto de Meta para pruebas geográficas, recomienda usar el nivel más fino al que se pueden dirigir las campañas (GeoLift, en inglés). Para la televisión, la unidad suele ser el mercado de medios, porque así se compra la televisión.
2. La comparación. Las zonas de tratamiento y de control deben parecerse en el resultado que le importa, los casos firmados, durante un período largo y estable. GeoLift construye un «control sintético»: una mezcla ponderada de zonas de control que sigue de cerca a las zonas de tratamiento antes de la prueba, con el método de control sintético aumentado (guía de GeoLift, en inglés). La diferencia después de que empieza la prueba es el efecto estimado.
3. Prueba de control total o escalonada. Una prueba de control total apaga el canal en las zonas de tratamiento. Una prueba escalonada recorta el gasto en una parte, como el 50%, o lo sube, como el 30%. The Probative Standard prefiere las pruebas escalonadas porque responden la pregunta de la que depende una decisión de presupuesto, qué compra el siguiente dólar, y mantienen abiertos los mercados (The Probative Standard). Las pruebas de control total sirven para canales en los que apagar es una opción real: la búsqueda de marca, una categoría de los Anuncios de Servicios Locales de Google (las insignias «Google Verified»), la prospección en redes sociales.
Los datos que necesita primero
Una prueba vale lo que vale el historial con el que se compara. Los mínimos siguientes siguen The Probative Standard y las prácticas publicadas de GeoLift.
| Requisito | Mínimo | Por qué |
|---|---|---|
| Historial | 52 semanas de casos firmados por zona; 26 como mínimo absoluto | Captura la estacionalidad (GeoLift, en inglés) |
| Zonas candidatas | Al menos 20, cada una con más de 25 períodos previos a la prueba | Mínimo que GeoLift indica para un panel utilizable |
| Período previo estable | De 4 a 5 veces la duración de la prueba, sin quiebres estructurales | Una oficina nueva o un cambio en la admisión (cómo su equipo contesta y firma las consultas nuevas) rompe la comparación |
| Datos | Diarios si es posible, con todas las zonas y fechas completas | GeoLift recomienda enfáticamente los datos diarios y no admite huecos |
| Resultado | Casos firmados de contactos creados en el período, desde su CRM | Los registros de la firma, no las conversiones de la plataforma |
Con frecuencia surgen dos problemas propios de las firmas. Primero, el CRM debe registrar dónde vive el cliente, no solo dónde está la oficina de la firma. Segundo, la firma necesita suficientes casos firmados por zona para que la comparación signifique algo. Para eso sirve la revisión de potencia.
Potencia y duración
La potencia es la probabilidad de que una prueba detecte un efecto de cierto tamaño si ese efecto es real. La convención es 80% (PMC, en inglés). The Probative Standard lee los resultados con intervalos bilaterales del 90%, el alfa predeterminado de 0.1 de GeoLift (guía de GeoLift, en inglés), y exige al menos 80% de potencia en el efecto mínimo detectable de la prueba: el cambio más pequeño que puede encontrar de forma confiable.
El efecto mínimo detectable tiene que ser menor que el efecto más pequeño que cambiaría su decisión. Si usted conservaría un canal aunque solo sumara el 15% de los casos de las zonas de tratamiento, una prueba que solo detecta el 60% no le sirve. La función de selección de mercados de GeoLift simula diseños con su propio historial e informa la potencia y el efecto mínimo detectable de cada uno (guía de GeoLift, en inglés).
Duración. The Probative Standard exige de cuatro a ocho semanas de tratamiento, nunca menos de cuatro. GeoLift aconseja cubrir al menos un ciclo de compra completo (GeoLift, en inglés). Para una firma de abogados, el «ciclo de compra» es el tiempo desde el primer contacto hasta la firma, y por eso la lectura espera.
La ventana de retraso. Cuente los casos firmados de contactos creados durante el tratamiento, y léalos solo después de al menos 30 días y después del tiempo de contacto a firma del percentil 80 de sus contactos, lo que ocurra más tarde. Las firmas de lesiones donde los clientes tardan en firmar pueden necesitar más tiempo.
La plantilla
Anexo A · Plantilla gratuita de una página para diseñar la prueba de control
Escriba estas doce líneas antes de que empiece la prueba
| # | Campo | Qué escribir |
|---|---|---|
| 1 | Pregunta | «¿[Canal] suma casos firmados en [área de práctica] y cuántos por cada $1,000?» |
| 2 | Dirección esperada | Menos casos en las zonas de tratamiento (control total o reducción), o más (aumento) |
| 3 | Métrica principal | Casos firmados de contactos creados durante el tratamiento, desde el CRM, por ubicación del cliente |
| 4 | Métricas secundarias (2 como máximo) | Contactos calificados (consultas que encajan con un caso que usted toma); consultas realizadas |
| 5 | Diseño | Prueba de control total o escalonada; la parte del gasto que cambia |
| 6 | Zonas | Unidad (condado, grupo de códigos postales, mercado de medios); cómo se eligieron las zonas de tratamiento; parte del mercado en control |
| 7 | Fechas | Período previo, inicio y fin del tratamiento, fecha de lectura después de la ventana de retraso |
| 8 | Potencia | Efecto mínimo detectable y potencia en ese efecto, a partir de una simulación con su historial |
| 9 | Método | Control sintético o mercados emparejados; herramienta y versión |
| 10 | Controles de integridad | El personal de admisión, el seguimiento, los precios y los demás canales se mantienen estables; se revisan cada semana |
| 11 | Reglas de parada | Detenerla solo por una falla de integridad o a pedido de la firma; una parada anticipada se informa como no concluyente |
| 12 | Regla de decisión | Qué pasa después de un resultado positivo, uno nulo y uno no concluyente, escrito desde ahora |
Anexo B · Tabla ILUSTRATIVA de potencia
Con menos casos por semana, solo se pueden detectar efectos grandes
| Casos firmados por semana en las zonas de tratamiento | Prueba de 4 semanas | Prueba de 6 semanas | Prueba de 8 semanas |
|---|---|---|---|
| 5 | cerca del 83% | cerca del 68% | cerca del 59% |
| 10 | cerca del 59% | cerca del 48% | cerca del 42% |
| 25 | cerca del 37% | cerca del 30% | cerca del 26% |
| 50 | cerca del 26% | cerca del 22% | cerca del 19% |
La lección del Anexo B no son las cifras exactas, sino la forma. Una firma con cinco casos firmados por semana en sus zonas de prueba solo puede detectar un canal que genere más de la mitad de ellos. Aun así, puede valer la pena saberlo, por ejemplo para confirmar que un programa grande cumple su parte. Pero no puede resolver una pregunta fina de presupuesto. Las pruebas más grandes, las más largas y los cambios de gasto mayores reducen el efecto detectable.
Cómo leer el resultado: positivo, nulo o no concluyente
The Probative Standard fija tres resultados, que se deciden con el intervalo de los casos firmados incrementales (The Probative Standard).
| Resultado | Regla | Qué sigue |
|---|---|---|
| Positivo | El intervalo del 90% excluye el cero, en la dirección esperada | Se aplica la decisión preregistrada |
| Nulo | El intervalo incluye el cero y queda dentro de más o menos el efecto mínimo detectable | Se informa como resultado; se aplica la decisión para el «nulo» |
| No concluyente | Cualquier otro caso, incluida una falla en un control de integridad o una parada anticipada | Ningún cambio de presupuesto se apoya en él |
Una lectura completa muestra la estimación y su intervalo, el costo incremental por caso firmado, los casos que la atribución dio al canal en las mismas zonas y la razón entre ambos, el factor de incrementalidad. Si la atribución le dio al canal 20 casos en las zonas de prueba y la prueba estima que sumó 8, el factor es 0.4, y el costo real por caso firmado del canal es dos veces y media lo que dice su informe. Ese ejemplo es ILUSTRATIVO; lo importante es que el factor puede quedar muy por debajo de uno, y la única forma de saberlo es probar.
Un resultado vale para el canal, las zonas y las condiciones probadas. The Probative Standard lo hace caducar a los 12 meses, o antes si el presupuesto del canal se mueve más de la mitad, si cambia su estrategia o si la plataforma cambia cómo funciona (The Probative Standard).
Televisión, radio y vallas publicitarias
Los medios masivos no generan clics, así que la atribución no les da nada, lo cual es tan erróneo como darles crédito por cada búsqueda de marca. Las pruebas geográficas les van muy bien, porque la televisión y la radio se compran por mercado de medios. Un diseño típico reduce el gasto, o lo sube, en un grupo de mercados mientras los mercados parecidos siguen con el plan, y luego compara los casos firmados de contactos creados en esos mercados. Use números de teléfono dedicados a cada medio y una pregunta de «¿cómo se enteró de nosotros?» en la admisión junto con la prueba, pero deje que la prueba decida. Nuestra guía de marketing de lesiones personales explica cómo encajan los medios masivos en la mezcla de canales de una firma de lesiones.
Estudios de impacto de las plataformas
Las plataformas de anuncios ofrecen sus propios experimentos. El Conversion Lift de Google basado en geografía divide las regiones en grupos expuestos y de control, puede usar datos de conversiones fuera de línea (los registros de sus clientes firmados enviados de vuelta a Google) agregados por código postal o ciudad, y se ofrece por medio de un representante de cuenta de Google (Google, en inglés). Estudios como este cuentan como válidos según The Probative Standard cuando usted puede ver el diseño y los datos, y el resultado son sus propios casos firmados. Cuando la plataforma informa un resultado modelado que usted no puede revisar, etiquételo como «informado por la plataforma».
Errores que arruinan una prueba
- Cambiar otra cosa al mismo tiempo. Una nueva contratación en el equipo de admisión, un cambio de precios o una campaña de televisión durante el período de prueba rompen la comparación. GeoLift advierte contra los cambios en medios nacionales durante el período previo o el de prueba (GeoLift, en inglés).
- Detenerla antes de tiempo porque los resultados se ven bien. Por regla, una parada anticipada es no concluyente.
- Leerla demasiado pronto. Los casos que firman tarde llegan después de que termina la prueba.
- Usar las conversiones de la plataforma como resultado. La pregunta son los casos firmados, según sus registros.
- Probar sin potencia. Una prueba que no puede detectar el efecto que le importa produce un resultado vacío que suena convincente.
Lo que esto significa para su firma
- Empiece a registrar la ubicación del cliente en el CRM para cada contacto y cada caso firmado, si aún no lo hace.
- Elija una pregunta que valga dinero: casi siempre la búsqueda de marca, una categoría de Servicios Locales o una campaña de medios masivos.
- Haga la revisión de potencia con su propio historial antes de comprometerse con un diseño.
- Escriba el plan de doce líneas y féchelo, con la regla de decisión para cada resultado.
- Trate las cifras de todo canal sin probar como atribuidas, y dígalo en sus informes.
Probative ayuda a las firmas de abogados a aparecer en Google y en las respuestas de IA, y administra sus anuncios. Las pruebas siguen The Probative Standard, y los resultados se cuentan en clientes nuevos firmados, según sus propios registros. Los planes que las incluyen están en la página de precios. Si otra agencia maneja su marketing, la Medición Independiente puede diseñar y leer una prueba en sus canales. Cuando esté decidiendo hacia dónde deben mover dinero los resultados de las pruebas, vea nuestra guía de presupuesto de marketing para firmas de abogados.
La definición exacta está en The Probative Standard (el Estándar de Probative): prueba de control.
Información de marketing, no asesoría legal. Toda prueba usa solo anuncios aprobados por el abogado y nunca reduce la cobertura de admisión; el abogado responsable decide qué información de clientes sale de la firma.