Este post explica la mecánica básica de cómo se pueden medir las preferencias utilizando los datos recogidos en un experimento MaxDiff. Antes de leer este post, asegúrese de leer primero Una guía para principiantes de MaxDiff. He trabajado duro para hacer este post tan simple como sea posible, pero no es una guía para tontos. MaxDiff no es para tontos. En este post voy a empezar por ver las formas más simples de analizar MaxDiff, y trabajar nuestro camino hasta algo más riguroso.
Contando las mejores puntuaciones (super-simple, super arriesgado)
La forma más sencilla de analizar los datos de MaxDiff es contar hasta cuántas personas seleccionaron cada alternativa como la más preferida. La siguiente tabla muestra las puntuaciones. Apple es la mejor. Google es el segundo mejor.
Esto ignora nuestros datos sobre qué alternativa es peor. Deberíamos al menos mirar eso. Nos muestra algo interesante. Aunque Apple es claramente la más popular, tiene su parte justa de detractores. Por lo tanto, centrarse sólo en sus mejores puntuaciones no cuenta la verdadera historia.
La siguiente tabla muestra las diferencias. Ahora muestra que Apple y Google están casi empatados en la preferencia. Sin embargo, sabemos que esto no es correcto si nos fijamos en las mejores puntuaciones.
¿Qué ocurre aquí? Primero, Apple es la marca más popular. Esta última tabla es simplemente engañosa. En segundo lugar, y de forma menos obvia, la razón por la que la última tabla nos cuenta una historia diferente es que Apple es una marca divisiva. Tiene muchos adeptos y un buen número de detractores. Esto significa que tenemos que centrarnos en medir las preferencias a nivel de los encuestados y agrupar a los encuestados similares (es decir, la segmentación). Como pronto veremos, hay un tercer problema que acecha a este análisis simplista, y sólo lo encontraremos subiendo la temperatura de nuestras estadísticas.
Mirando las mejores y peores puntuaciones por encuestado
La tabla siguiente muestra el diseño experimental MaxDiff utilizado al recoger los datos. Las elecciones del primer encuestado del conjunto de datos se muestran por colores. El azul muestra la alternativa elegida como mejor. El rojo para la peor. La pregunta que intentamos responder es: ¿cuál es el orden de preferencia del encuestado entre las 10 marcas tecnológicas?
La solución más sencilla es contar el número de veces que se elige cada opción, dando una puntuación de 1 por cada vez que se elige como mejor y -1 por cada vez que se elige como peor. Esto nos lleva a las siguientes puntuaciones, y ordenación de las marcas:
Microsoft 3 > Google 1 = Samung 1 = Dell 1 > Apple = Intel = Sony > Yahoo -1 > Nokia -2 > IBM -3
Esta aproximación es muy simple, y está lejos de ser científica. Mira a Yahoo. Sí, fue elegida como la peor una vez, y nuestro análisis de recuento sugiere que es la tercera peor marca, menos atractiva para el encuestado que cada una de Apple, Intel y Sony. Sin embargo, fíjate más en la pregunta 5. Yahoo se ha comparado con Microsoft, Google, Samsung y Dell. Estas son las marcas que el encuestado eligió como las más preferidas en el experimento y, por tanto, los datos sugieren que todas ellas son mejores que Apple, Intel y Sony. Es decir, no hay pruebas de que Yahoo sea realmente peor que Apple, Intel y Sony. El análisis de recuento es sencillo pero erróneo.
Un análisis más riguroso
Hacemos el análisis más riguroso teniendo en cuenta qué alternativa se comparó con qué otras. Esto supone una diferencia porque no se pueden probar todas las combinaciones de alternativas, ya que supondría una enorme fatiga. Ya hemos concluido que Yahoo no se diferencia de Apple, Intel y Sony, lo que nos lleva a:
Microsoft > Google = Samsung = Dell > Apple = Intel = Sony = Yahoo > Nokia > IBM
¿Qué marca es la segunda preferida? Cada una de Samsung, Google y Dell han sido elegidas como las mejores una vez. ¿Significa esto que todas están en el mismo segundo lugar? No, no es así. En la pregunta 4, Dell estaba en contra de Google, y Google era la preferida. Así, sabemos que:
Microsoft > Google > Dell > Apple = Intel = Sony = Yahoo > Nokia > IBM
Pero, fíjate que he quitado a Samsung. Samsung es un problema. Puede ser entre Microsoft y Google. Puede estar entre Google y Dell. O, puede ser menos que Dell. No hay manera de saberlo. Podemos adivinar que tiene el mismo atractivo que Dell. He dibujado a Samsung en azul, ya que aunque la suposición no es tonta, es, sin embargo, una suposición no muy educada:
Microsoft > Google > Samsung = Dell > Apple, Intel, Sony, Yahoo > Nokia > IBM
Un problema más difícil es el que plantean los datos de la encuestada 13. Ha elegido dos veces a Apple como la mejor, dos veces a Samsung y una vez a Google e IBM. ¿Cuál es su favorito? Aquí la cosa se pone muy fea. Los datos muestran que:
- Apple > Google en 1 lugar (Pregunta 1)
- Apple > IBM (Pregunta 1)
- IBM > Google (Pregunta 4)
- Google > Samsung (Pregunta 5)
- Samsung > Apple (Pregunta 6)
- Samsung > IBM (Pregunta 6)
Estos datos son contradictorios. Fíjate en los tres primeros puntos. Nos dicen que Apple > IBM = Google. Pero, los 3 últimos nos dicen que Google > Samsung > Apple = IBM.
El instinto de la mayoría de la gente cuando se enfrenta a datos como estos es decir que los datos son malos y tirarlos a la basura. Por desgracia, no es tan sencillo. Resulta que la mayoría de nosotros damos datos incoherentes en las encuestas. Nos distraemos y nos aburrimos, prestando menos atención de la que deberíamos. Cambiamos de opinión mientras pensamos. Lo interesante de MaxDiff no es que dé datos incoherentes. Lo interesante de MaxDiff no es que produzca datos incoherentes, sino que nos permite ver que los datos son contradictorios. En realidad, esto es algo bueno, ya que si en su lugar, por ejemplo, hubiéramos pedido al encuestado que clasificara los datos, éstos seguirían conteniendo errores, pero nunca los habríamos visto, ya que no tendríamos oportunidad de ver las incoherencias.
En resumen:
- Calcular las puntuaciones de cada encuestado sumando las mejores puntuaciones y restando las peores no es válido.
- No tenemos suficientes datos para obtener una ordenación completa de las alternativas.
- Los encuestados proporcionan datos inconsistentes.
Afortunadamente, un poco de magia estadística puede ayudarnos con estos problemas.
La magia – el análisis de clases latentes
El problema de los encuestados que proporcionan datos inconsistentes no es nuevo. Ha sido un área activa de investigación académica desde la década de 1930. El área de investigación que se ocupa de esto se conoce como modelos de utilidad aleatoria, y si está leyendo este post puede que ya esté familiarizado con esta clase de modelos (por ejemplo, logit multinomial, logit de clase latente, logit de parámetros aleatorios, son todos modelos que resuelven este problema).
La segunda parte del problema, que es que tenemos datos incompletos, se resuelve tomando prestados datos de otros encuestados. Sorprendentemente para mí, incluso cuando hay datos suficientes para calcular las preferencias de cada encuestado por separado, suele ser mejor estimar las preferencias combinando sus datos con los de encuestados similares. Creo que esto se debe a que cuando analizamos los datos de cada encuestado de forma aislada, nos ajustamos en exceso, sin detectar que lo que parecían preferencias eran en realidad ruido.
Estos dos problemas se resuelven conjuntamente utilizando el análisis de clases latentes. La variante especial que ilustro a continuación es el logit ordenado por rango de clase latente con empates. Es un modelo exótico, especialmente desarrollado para el análisis de clases latentes. Hay otros modelos de clase latente que se pueden utilizar. No voy a explicar las matemáticas. En su lugar, me limitaré a explicar cómo leer los resultados.
El análisis de clases latentes es como el análisis de conglomerados. Se introducen un montón de datos y se le dice cuántas clases (es decir, clusters) se quieren. La siguiente tabla muestra los resultados de cinco clases (es decir, segmentos). Los resultados de cada clase se muestran en las columnas. El tamaño de la clase se muestra en la parte superior. Debajo se muestra el % de probabilidad, también conocido como cuota de preferencia (es decir, la probabilidad estimada de que una persona del segmento prefiera una alternativa de entre todas las alternativas del estudio).
La clase 1 está formada por personas que tienen, de media, el orden de preferencia de Samsung > Google > Microsoft > Sony > … . Es el 21,4% de la muestra. La clase 2 está formada por personas con una fuerte preferencia por Apple. La clase 3 está formada por personas que prefieren tanto a Apple como a Samsung. Las personas que prefieren Sony y Nokia aparecen en la clase 4, pero no tienen preferencias superfuertes por ninguna marca. La clase 5 también prefiere a Apple y luego a Microsoft.
Si miras la columna del Total verás algo que puede sorprenderte. La cuota de Google es sólo el 12,8%. Es inferior a la de Samsung. Esto contradice las conclusiones de los análisis de recuento anteriores, que mostraban a Google como la segunda marca más popular en función del número de veces que fue elegida como la mejor, y empatada con Apple una vez que se tuvieron en cuenta las peores puntuaciones. ¿Cómo es que el análisis de clases latentes nos da una conclusión tan diferente? La razón es que el análisis de recuento anterior es fundamentalmente defectuoso.
Volviendo a mirar los resultados de la clase latente, podemos ver que Google tiene una cuota moderada en todos los segmentos. En este experimento, cada persona completó seis preguntas. A continuación se muestra el número de veces que eligieron cada una de las marcas como la mejor en esas preguntas. La forma en que se creó el diseño experimental es que cada alternativa se mostró sólo tres veces. Si nos fijamos en la columna de las 3 veces en la tabla de abajo, se muestra que el 36% de la gente elige a Apple como mejor 3 veces, el 20% eligió a Samsung 3 veces, y el 12% eligió a Google como mejor 3 veces. Por lo tanto, podemos concluir que Apple tiene alrededor de 3 veces más probabilidades de ser la más preferida en comparación con Google. Ahora mira las columnas de una y dos veces. Google es la marca con más probabilidades de ser elegida una vez. Y también es la marca con más probabilidades de ser elegida dos veces. Por lo tanto, Google es la marca alternativa más popular. Esto pone de manifiesto por qué los análisis de recuento burdo pueden ser tan engañosos. A la gente se le pide que elija 6 veces, pero el diseño experimental sólo les muestra su marca más preferida 3 veces, por lo que el análisis de recuento sobredimensiona el rendimiento de la segunda y tercera marcas preferidas.
En la solución de cinco clases anterior, sólo Apple domina claramente cualquier segmento. Esto no es una idea. Es más bien una consecuencia del número de clases seleccionadas. Si seleccionamos más clases, obtendremos más segmentos que contengan diferencias de preferencia más marcadas. La tabla siguiente muestra 10 clases. Podríamos añadir fácilmente más. ¿Cuántas más? Hay algunas cosas que hay que compensar:
- Cómo de bien se ajusta nuestro modelo a los datos. Una medida de esto es el BIC, que se muestra en la parte inferior de las tablas de clases latentes. En igualdad de condiciones, cuanto más bajo sea el BIC, mejor será el modelo. Según este criterio, el modelo de 10 clases es superior. Sin embargo, todo lo demás rara vez es igual, así que trate el BIC como una guía aproximada que sólo es útil a veces.
- La estabilidad de la columna total. Si se compara la solución de 10 y 5 clases, se puede ver que están altamente correlacionadas. Sin embargo, es la solución de 10 clases la que constituye la estimación más precisa (para los lectores más técnicos: como el modelo no es lineal, la columna total, que es una suma ponderada de las otras columnas, no es válida cuando el número de clases está mal especificado).
- Si las marcas de interés para el interesado obtienen una alta puntuación de preferencia en alguno de los segmentos. Por ejemplo, en la tabla siguiente, hay mucho interés en Apple, Samsung, Sony y Google, pero si estuviera haciendo el estudio para otra de las marcas, probablemente querría aumentar el número de clases para encontrar un segmento que resonara con el cliente. Siempre que el BIC siga disminuyendo, no hay nada dudoso en esto.
- La complejidad de la solución para los interesados. Cuantas menos clases, más inteligible.
El gráfico de donuts que aparece a continuación muestra las cuotas de preferencia para la solución de 10 clases (es decir, su columna Total).
Perfilando las clases latentes
Una vez que hemos creado nuestras clases latentes, asignamos cada persona a una clase y luego perfilamos las clases creando tablas. La siguiente tabla, por ejemplo, muestra nuestra solución de 5 clases por propiedad de productos. Si se compara esta tabla con la propia solución de clases latentes, se verá que la propiedad de productos se alinea con las preferencias mostradas en las preguntas de MaxDiff.
Porcentajes de preferencia a nivel de encuestado
A veces es bueno tener porcentajes de preferencia para cada encuestado en la encuesta. Por lo general, se utilizan como entradas en análisis posteriores (por ejemplo, estudios de segmentación que utilizan múltiples fuentes de datos). Una vez que se ha estimado un modelo de clases latentes, son fáciles de calcular (son un resultado estándar). Sin embargo, no son superprecisos. Como hemos dicho antes, no hay información suficiente para calcular el orden de preferencia real de una persona, por lo que inevitablemente cualquier cálculo de sus porcentajes de preferencia depende en gran medida de los datos compartidos por otros encuestados, lo que a su vez está influido por la calidad del modelo de clase latente para explicar los datos. La tabla siguiente muestra los porcentajes de preferencia a nivel de los encuestados del modelo de 5 clases.
La tabla siguiente muestra la media de los porcentajes de probabilidad calculados para cada encuestado. Son muy similares a los resultados de la columna total del modelo de clases latentes, pero no son exactamente iguales (de nuevo, si es usted supertécnico: esto se debe a la no linealidad en los cálculos; una gran diferencia entre estos sería una pista de que el modelo es pobre). La columna Total es más precisa que la columna Probabilidad media % que se muestra en esta tabla.
A continuación he trazado los histogramas de las distribuciones de preferencia para cada una de las marcas. Estas distribuciones se basan en nuestro modelo de 5 clases. Por lo tanto, no pueden mostrar más variaciones en las preferencias que las reveladas en el análisis anterior. Si utilizáramos más clases, obtendríamos más variación. Sin embargo, hay mejores formas de conseguir este resultado.
La tabla siguiente muestra las distribuciones de la cuota de preferencia de un modelo aún más complejo, conocido como modelo de coeficientes variables potenciados. (No lo encontrarás en la literatura académica; lo hemos inventado nosotros, pero el código es de código abierto si quieres indagar). Esto muestra mejores distribuciones para cada una de las marcas (más amplia = mejor). Una entrada del blog más técnica que discute estos modelos más complejos se puede encontrar aquí.
La tabla siguiente muestra las cuotas de preferencia para cada encuestado de este modelo. Fíjese en los encuestados 1 y 13, que hemos examinado al principio del post. La clara preferencia del primer encuestado por Microsoft y Google, y su aversión por IBM, Nokia y Yahoo se hace patente, aunque algunos de los ordenamientos han cambiado ligeramente. Las selecciones contradictorias del encuestado 13 se han resuelto a favor de Apple, que seleccionó dos veces como la más preferida.
A partir de estos porcentajes a nivel de encuestado, el % de probabilidad media resulta como se muestra en la tabla siguiente, que de nuevo coincide con el resultado del análisis de clases latentes.
Simulación de preferencias
A veces, en las aplicaciones de marketing de MaxDiff, la gente elige entre productos alternativos. Al hacer estos estudios, puede ser interesante entender las cuotas de preferencia después de haber eliminado algunas de las alternativas. Esto es súper sencillo. Todo lo que tenemos que hacer es eliminar las columnas de las alternativas que deseamos excluir, y luego volver a calcular las cifras para que sumen el 100%. A continuación, he vuelto a calcular las cuotas de preferencia con Samsung y Apple eliminadas.
Resumen
Los métodos de análisis simples no son válidos para MaxDiff. Llevan a conclusiones muy erróneas. La aplicación de técnicas más avanzadas, como el análisis de clases latentes, dará, en cambio, resultados significativamente más significativos.
Si hace clic aquí, puede iniciar sesión en Displayr y ver todos los análisis que se utilizaron en este post. Haga clic aquí para un post sobre cómo hacer esto usted mismo en Displayr, y aquí para uno sobre cómo hacerlo en Q.