Ce post explique les mécanismes de base de la façon dont les préférences peuvent être mesurées en utilisant les données recueillies dans une expérience MaxDiff. Avant de lire ce post, assurez-vous d’avoir d’abord lu Un guide du débutant pour MaxDiff. J’ai travaillé dur pour rendre cet article aussi simple que possible, mais ce n’est pas un guide pour les nuls. MaxDiff n’est pas pour les nuls. Dans ce post, je vais commencer par examiner les façons les plus simples d’analyser MaxDiff, et travailler jusqu’à quelque chose de plus rigoureux.
Compter les meilleurs scores (super-simple, super risqué)
La façon la plus simple d’analyser les données MaxDiff est de compter combien de personnes ont sélectionné chaque alternative comme étant la plus préférée. Le tableau ci-dessous montre les scores. Apple est le meilleur. Google est le deuxième meilleur.
Ceci ignore nos données sur l’alternative qui est la pire. Nous devrions au moins regarder cela. Cela nous montre quelque chose d’intéressant. Si Apple est clairement le plus populaire, il a sa juste part de détracteurs. Donc, se concentrer uniquement sur ses meilleurs scores ne raconte pas la véritable histoire.
Le tableau suivant montre les différences. Il montre maintenant qu’Apple et Google sont presque à égalité dans la préférence. Mais, nous savons, en regardant simplement les meilleurs scores, que ce n’est pas correct !
Que se passe-t-il ici ? Premièrement, Apple est la marque la plus populaire. Ce dernier tableau est juste trompeur. Deuxièmement, et moins évidemment, la raison pour laquelle le dernier tableau nous raconte une histoire différente est qu’Apple est une marque qui divise. Elle a beaucoup d’adeptes et un bon nombre de détracteurs. Cela signifie que nous devons nous concentrer sur la mesure des préférences au niveau des répondants et sur le regroupement de répondants similaires (c’est-à-dire la segmentation). Comme nous le verrons bientôt, un troisième problème se cache dans cette analyse simpliste, et nous ne le trouverons qu’en faisant monter la température de nos statistiques.
Regardons les meilleurs et les pires scores par répondant
Le tableau ci-dessous montre le plan expérimental MaxDiff utilisé lors de la collecte des données. Les choix du premier répondant de l’ensemble de données sont indiqués par couleur. Le bleu indique quelle alternative a été choisie comme la meilleure. Le rouge pour la pire. La question à laquelle nous essayons de répondre est la suivante : quel est l’ordre de préférence du répondant entre les 10 marques technologiques ?
La solution la plus simple est de compter le nombre de fois où chaque option est choisie, en donnant un score de 1 pour chaque fois qu’elle est choisie comme meilleure et -1 pour chaque fois qu’elle est choisie comme pire. Cela conduit aux scores, et au classement des marques, suivants :
Microsoft 3 > Google 1 = Samung 1 = Dell 1 > Apple = Intel = Sony > Yahoo -1 > Nokia -2 > IBM -3
Cette approche est très simple, et loin d’être scientifique. Regardez Yahoo. Oui, elle a été choisie comme pire une fois, et notre analyse de comptage suggère qu’elle est la troisième pire marque, moins attrayante pour le répondant que chacune des marques Apple, Intel et Sony. Cependant, regardez plus attentivement la question 5. Yahoo a été comparé à Microsoft, Google, Samsung et Dell. Ce sont les marques que le répondant a choisies comme étant les plus préférées dans l’expérience, et les données suggèrent donc qu’elles sont toutes meilleures que Apple, Intel et Sony. Autrement dit, rien ne prouve que Yahoo est en fait pire qu’Apple, Intel et Sony. L’analyse du comptage est simple mais fausse.
Une analyse plus rigoureuse
Nous rendons l’analyse plus rigoureuse en tenant compte de quelle alternative a été comparée avec quelles autres. Cela fait une différence car toutes les combinaisons d’alternatives ne peuvent pas être testées, car cela entraînerait une énorme fatigue. Nous avons déjà conclu que Yahoo n’est pas différent d’Apple, Intel et Sony, ce qui conduit à :
Microsoft > Google = Samsung = Dell > Apple = Intel = Sony = Yahoo > Nokia > IBM
Quelle est la deuxième marque la plus préférée ? Chacun de Samsung, Google et Dell a été choisi comme meilleur une fois. Cela signifie-t-il qu’elles sont toutes à égalité en deuxième position ? Non, ce n’est pas le cas. Dans la question 4, Dell était contre Google, et Google a été préféré. Ainsi, nous savons que :
Microsoft > Google > Dell > Apple = Intel = Sony = Yahoo > Nokia > IBM
Mais, notez que j’ai retiré Samsung. Samsung est un problème. Il peut être entre Microsoft et Google. Il peut être entre Google et Dell. Ou, il se peut que ce soit moins que Dell. Il n’y a aucun moyen de le savoir ! Nous pouvons deviner qu’il a le même attrait que Dell. J’ai dessiné Samsung en bleu, car si la supposition n’est pas idiote, c’est néanmoins une supposition pas super éduquée :
Microsoft > Google > Samsung = Dell > Apple, Intel, Sony, Yahoo > Nokia > IBM
Un problème plus difficile est posé par les données de la répondante 13. Elle a choisi Apple deux fois comme meilleur, Samsung deux fois, et Google et IBM une fois chacun. Quel est son préféré ? Ici, ça devient vraiment moche. Les données montrent que :
- Apple > Google en 1 place (Question 1)
- Apple > IBM (Question 1)
- IBM > Google (Question 4)
- Google. > Samsung (Question 5)
- Samsung > Apple (Question 6)
- Samsung > IBM (Question 6)
Ces données sont contradictoires. Regardez les trois premiers points. Ils nous disent que Apple > IBM = Google. Mais, les 3 derniers nous disent que Google > Samsung > Apple = IBM.
L’instinct de la plupart des gens, lorsqu’ils sont confrontés à des données de ce genre, est de dire que les données sont mauvaises et de les balancer. Malheureusement, ce n’est pas si simple. Il s’avère que la plupart d’entre nous donnent des données incohérentes dans les enquêtes. Nous sommes distraits, nous nous ennuyons et nous faisons moins attention que nous le devrions. Nous changeons d’avis au fur et à mesure que nous réfléchissons. Ce qui est intéressant avec MaxDiff, ce n’est pas qu’il mène à des données incohérentes. C’est plutôt qu’il nous permet de voir que les données sont contradictoires. C’est en fait une bonne chose car, si nous avions plutôt, par exemple, demandé au répondant de classer les données, celles-ci auraient quand même contenu des erreurs, mais nous ne les aurions jamais vues car nous n’aurions pas eu l’occasion de voir les incohérences.
En résumé :
- Calculer des scores pour chaque répondant en additionnant les meilleurs scores et en soustrayant les plus mauvais n’est pas valide.
- Nous n’avons pas assez de données pour obtenir un ordre complet des alternatives.
- Les répondants fournissent des données incohérentes.
Heureusement, un peu de magie statistique peut nous aider à résoudre ces problèmes.
La magie – l’analyse de classe latente
Le problème des répondants fournissant des données incohérentes n’est pas nouveau. C’est un domaine actif de la recherche universitaire depuis les années 1930. Le domaine de recherche qui traite de ce problème est connu sous le nom de modèles d’utilité aléatoire, et si vous lisez ce post, vous êtes peut-être déjà familier avec cette classe de modèles (par exemple, le logit multinomial, le logit à classe latente, le logit à paramètres aléatoires, sont tous des modèles qui résolvent ce problème).
La deuxième partie du problème, qui est que nous avons des données incomplètes, est résolue en empruntant des données à d’autres répondants. De manière surprenante pour moi, même lorsqu’il y a suffisamment de données pour calculer les préférences de chaque répondant séparément, il est généralement toujours préférable d’estimer la préférence en combinant leurs données avec celles de répondants similaires. Je pense que c’est parce que lorsque nous analysons les données de chaque répondant de manière isolée, nous surajustons, ne repérant pas que ce qui semblait être des préférences était en réalité du bruit.
Ces deux problèmes sont résolus conjointement en utilisant l’analyse de classe latente. La variante spéciale que j’illustre ci-dessous est le logit ordonné à classe latente avec liens. C’est un modèle exotique, spécialement développé pour l’analyse de classe latente. Il existe d’autres modèles de classe latente qui peuvent être utilisés. Je ne vais pas vous expliquer les mathématiques. Au lieu de cela, je vais juste expliquer comment lire les sorties.
L’analyse de classe latente est comme l’analyse en grappes. Vous mettez tout un tas de données, et vous lui dites combien de classes (c’est-à-dire de clusters) vous voulez. Le tableau ci-dessous montre les résultats pour cinq classes (c’est-à-dire des segments). Les résultats de chaque classe sont indiqués dans les colonnes. La taille de la classe est indiquée en haut. En dessous figure le % de probabilité, également appelé part de préférence (c’est-à-dire la probabilité estimée qu’une personne du segment préfère une alternative parmi toutes les alternatives de l’étude).
La classe 1 est constituée de personnes qui ont, en moyenne, l’ordre de préférence Samsung > Google > Microsoft > Sony > … . Elle représente 21,4% de l’échantillon. La classe 2 est constituée de personnes ayant une forte préférence pour Apple. La classe 3 est constituée de personnes qui aiment à la fois Apple et Samsung. Les personnes qui préfèrent Sony et Nokia apparaissent dans la classe 4, mais n’ont pas de préférence super forte pour une marque. La classe 5 préfère également Apple, puis Microsoft.
Si vous regardez la colonne Total, vous verrez quelque chose qui peut vous surprendre. La part de Google n’est que de 12,8%. Elle est inférieure à celle de Samsung. Cela contredit les conclusions des analyses de comptage précédentes qui montraient Google comme la deuxième marque la plus populaire sur la base du nombre de fois où elle a été choisie comme meilleure, et au coude à coude avec Apple une fois que les pires scores ont été pris en compte. Comment se fait-il que l’analyse de classe latente nous donne une conclusion si différente ? La raison est que l’analyse de comptage précédente est fondamentalement défectueuse.
En regardant à nouveau les résultats de la classe latente, nous pouvons voir que Google a une part modérée dans tous les segments. Dans cette expérience, chaque personne a répondu à six questions. Le nombre de fois qu’ils ont choisi chacune des marques comme la meilleure dans ces questions est indiqué ci-dessous. Le plan expérimental a été conçu de telle sorte que chaque alternative n’a été présentée que trois fois. Si vous regardez la colonne 3 fois dans le tableau ci-dessous, vous verrez que 36 % des personnes ont choisi Apple 3 fois, 20 % ont choisi Samsung 3 fois et 12 % ont choisi Google 3 fois. Nous pouvons donc en conclure qu’Apple a environ 3 fois plus de chances d’être préféré à Google. Examinons maintenant les colonnes Une fois et Deux fois. Google est la marque la plus susceptible d’être choisie une fois. Et c’est aussi la marque la plus susceptible d’être choisie deux fois. Google est donc la marque de repli la plus populaire. Cela montre pourquoi les analyses de comptage brutes peuvent être si trompeuses. On demande aux gens de faire 6 choix, mais la conception expérimentale ne leur montre leur marque la plus préférée que 3 fois, et l’analyse de comptage gonfle donc exagérément la performance des marques de deuxième et troisième choix.
Dans la solution à cinq classes ci-dessus, seul Apple domine clairement tout segment. Il ne s’agit pas d’une intuition. Il s’agit plutôt d’une conséquence du nombre de classes qui ont été sélectionnées. Si nous sélectionnons plus de classes, nous obtiendrons plus de segments contenant des différences de préférence plus nettes. Le tableau ci-dessous présente 10 classes. Nous pourrions facilement en ajouter d’autres. Combien de classes supplémentaires ? Il y a plusieurs choses à arbitrer :
- Comment notre modèle s’adapte aux données. Une mesure de cela est le BIC, qui est indiqué en bas des tableaux de classes latentes. Toutes choses égales par ailleurs, plus le BIC est faible, meilleur est le modèle. Sur ce critère, le modèle à 10 classes est supérieur. Cependant, toutes choses étant rarement égales, traitez le BIC comme un guide approximatif qui n’est que parfois utile.
- La stabilité de la colonne totale. Si vous comparez la solution à 10 et à 5 classes, vous pouvez voir qu’elles sont fortement corrélées. Toutefois, c’est la solution à 10 classes qui constitue l’estimation la plus précise (pour les lecteurs plus techniques : le modèle étant non linéaire, la colonne totale, qui est une somme pondérée des autres colonnes, n’est pas valide lorsque le nombre de classes est mal spécifié).
- Si les marques qui intéressent la partie prenante obtiennent un score de préférence élevé dans l’un des segments. Par exemple, dans le tableau ci-dessous, il y a beaucoup d’intérêt pour Apple, Samsung, Sony et Google, mais si vous faisiez l’étude pour une autre des marques, vous voudriez probablement augmenter le nombre de classes pour trouver un segment qui résonnera avec le client. À condition que le BIC continue de diminuer, il n’y a rien de louche à cela.
- La complexité de la solution pour les parties prenantes. Moins il y a de classes, plus c’est intelligible.
Le diagramme en beignet ci-dessous affiche les parts de préférence pour la solution à 10 classes (c’est-à-dire, sa colonne Total).
Profilage des classes latentes
Une fois que nous avons créé nos classes latentes, nous attribuons chaque personne à une classe, puis nous profilons les classes en créant des tableaux. Le tableau ci-dessous, par exemple, montre notre solution à 5 classes par propriété de produit. Si vous comparez ce tableau avec la solution de classe latente elle-même, vous verrez que la propriété des produits s’aligne sur les préférences exposées dans les questions MaxDiff.
Partages des préférences au niveau des répondants
Parfois, il est agréable d’avoir des parts de préférence pour chaque répondant de l’enquête. Généralement, ils sont utilisés comme entrées dans des analyses ultérieures (par exemple, des études de segmentation utilisant des sources de données multiples). Une fois que vous avez estimé un modèle de classes latentes, il est facile de les calculer (il s’agit d’une sortie standard). Cependant, elles ne sont pas super-précises. Comme nous l’avons vu plus haut, les informations sont insuffisantes pour calculer l’ordre réel des préférences d’une personne, de sorte qu’inévitablement, tout calcul de ses parts de préférence repose en grande partie sur les données partagées par les autres répondants, qui sont à leur tour influencées par la qualité du modèle de classe latente pour expliquer les données. Le tableau ci-dessous montre les parts de préférence au niveau des répondants à partir du modèle à 5 classes.
Le tableau ci-dessous montre la moyenne des pourcentages de probabilité calculés à pour chaque répondant. Ils sont très proches des résultats de la colonne Total du modèle à classes latentes, mais pas tout à fait identiques (encore une fois, si vous êtes super-technique : cela est dû à la non-linéarité des calculs ; une grande différence entre ceux-ci serait un indice que le modèle est mauvais). La colonne Total est plus précise que la colonne % de probabilité moyenne présentée sur ce tableau.
J’ai tracé les histogrammes des distributions de préférence pour chacune des marques ci-dessous. Ces distributions sont basées sur notre modèle à 5 classes. Elles ne peuvent donc pas montrer plus de variations dans les préférences que celles révélées par l’analyse précédente. Si nous utilisions plus de classes, nous obtiendrions plus de variation. Cependant, il existe de meilleures façons d’obtenir ce résultat.
Le tableau ci-dessous montre les distributions des parts de préférence à partir d’un modèle encore plus complexe, connu sous le nom de modèle à coefficients variables boostés. (Vous ne trouverez pas cela dans la littérature académique ; nous l’avons inventé, mais le code est open-source si vous voulez creuser). Cela montre de meilleures distributions pour chacune des marques (plus large = meilleur). Un billet de blog plus technique qui traite de ces modèles plus complexes peut être trouvé ici.
Le tableau ci-dessous montre les parts de préférence pour chaque répondant de ce modèle. Jetez un coup d’œil aux répondants 1 et 13, que nous avons examinés au début du post. La nette préférence du premier répondant pour Microsoft et Google, et son aversion pour IBM, Nokia et Yahoo transparaît, même si certains ordres ont légèrement changé. Les choix contradictoires du répondant 13 ont été résolus en faveur d’Apple, qu’ils ont sélectionné deux fois comme leur plus préféré.
À partir de ces partages au niveau des répondants, le % de probabilité moyenne fonctionne comme indiqué dans le tableau ci-dessous, qui correspond à nouveau assez étroitement au résultat de l’analyse de classe latente.
Simulation de préférence
Parfois, dans les applications marketing de MaxDiff, les gens choisissent entre des produits alternatifs. Lorsqu’on fait de telles études, il peut être intéressant de comprendre les parts de préférence après avoir supprimé certaines des alternatives. C’est très simple. Tout ce que nous avons à faire est de supprimer les colonnes des alternatives que nous souhaitons exclure, puis de recalculer les chiffres de façon à ce que leur somme soit égale à 100%. Ci-dessous, j’ai recalculé les actions préférentielles en supprimant Samsung et Apple.
Sommaire
Les méthodes d’analyse simples ne sont pas valables pour MaxDiff. Elles conduisent à des conclusions grossièrement trompeuses. L’application de techniques plus avancées, telles que l’analyse de classe latente, donnera, en revanche, des résultats nettement plus significatifs.
Si vous cliquez ici, vous pouvez vous connecter à Displayr et voir toutes les analyses qui ont été utilisées dans ce post. Cliquez ici pour un post sur la façon de le faire vous-même dans Displayr, et ici pour un sur la façon de le faire dans Q.
.