この投稿では、MaxDiff 実験で収集したデータを使用して、嗜好を測定できる仕組みの基本的な仕組みを説明します。 この投稿を読む前に、まずA beginner’s guide to MaxDiffを読んでください。 この投稿はできるだけシンプルになるように努力しましたが、ダミーのためのガイドではありません。 MaxDiffはダミーのためのものではありません。 この投稿では、MaxDiff を分析する最もシンプルな方法から始めて、より厳密なものへと取り組んでいこうと思います。
Counting the best scores (super-simple, super risky)
MaxDiff データを分析する最もシンプルな方法は、何人がそれぞれの選択肢を最も好ましいものとして選択したかカウントアップするという方法です。 下の表はそのスコアです。 Appleが一番です。 Google は 2 番目です。
これは、どの代替案が最悪かという私たちのデータを無視したものです。 少なくとも、これには目を向けるべきでしょう。 それは、興味深いことを示しています。 Apple が最も人気があるのは明らかですが、不評を買っている人もそれなりにいます。 そのため、最高のスコアに注目するだけでは、本当のことはわかりません。
次の表は、その違いを示しています。 これで、Apple と Google が好みでほぼ同点であることがわかりました。 しかし、ベストスコアを見ただけで、これは正しくないことがわかります！
ここで何が起こっているのでしょうか？ まず、Appleは最も人気のあるブランドです。 この最後の表は、誤解を招くだけです。 第二に、あまり明らかではありませんが、最後の表が異なるストーリーを語る理由は、Apple が分裂的なブランドであることです。 アップルには多くの信奉者がおり、かなりの数の支持者がいます。 つまり、回答者レベルでの嗜好の測定と、類似した回答者のグループ化（セグメンテーション）に焦点を当てる必要があるのです。
回答者ごとのベストスコアとワーストスコアを見る
下の表は、データを収集する際に使用したMaxDiff実験デザインです。 データセットの最初の回答者の選択肢は色で示されています。 青はどの選択肢が最良として選ばれたかを示しています。 赤は最悪を示します。
最も簡単な方法は、それぞれの選択肢が選ばれた回数をカウントし、ベストとして選ばれるたびに1、ワーストとして選ばれるたびに-1のスコアを与えるというものです。
Microsoft 3 > Google 1 = Samung 1 = Dell 1 > Apple = Intel = Sony > Yahoo -1 > Nokia -2 > IBM -3
このアプローチは非常にシンプルで、科学とは程遠いものです。 Yahooを見てください。 Apple、Intel、Sonyのそれぞれよりも回答者にとって魅力的ではない、ワースト3位のブランドであることが、我々のカウント分析からわかります。 しかし、質問5をもっと注意深く見てください。 Yahooは、Microsoft、Google、Samsung、Dellと比較されています。 これらは、回答者が実験で最も好ましいと選んだブランドであるため、Apple、Intel、Sonyよりも優れているというデータが出ているのです。 つまり、YahooがApple、Intel、Sonyよりも実際に悪いという証拠はないのである。
より厳密な分析
我々は、どの選択肢がどの他の選択肢と比較されたかを考慮することで、分析をより厳密なものにすることができます。 これは、膨大な疲労につながるため、代替案のすべての組み合わせをテストすることはできないので、違いが生じます。 YahooはApple、Intel、Sonyと変わらないという結論はすでに出ており、以下のようになります：
Microsoft > Google = Samsung = Dell > Apple = Intel = Sony = Yahoo > Nokia > IBM
2番目に好まれるブランドはどれでしょうか？ サムスン、グーグル、デルのそれぞれが一度はベストに選ばれている。 これは、全員が同じ2位ということでしょうか？ いいえ、そうではありません。 質問4では、DellはGoogleに対して、Googleが優先されました。 したがって、次のことがわかります：
Microsoft > Google > Dell > Apple = Intel = Sony = Yahoo > Nokia > IBM
しかし、Samsungをはずしたことに注意してください。 サムスンは問題です。 マイクロソフトとグーグルの間かもしれません。 GoogleとDellの間かもしれません。 あるいは、Dell以下かもしれません。 わかるわけがないのです! Dellと同じ魅力を持っていると推測できます。 サムスンを青で描いたのは、この推測が愚かではないものの、それでも、あまり教養のない推測だからです：
Microsoft > Google > Samsung = Dell > Apple, Intel, Sony, Yahoo > Nokia > IBM
さらに難しい問題が回答者13のデータから提起されています。 彼女はAppleを2回、Samsungを2回、GoogleとIBMをそれぞれ1回ずつベストとしている。 彼女はどれが一番好きなのだろうか？ ここで、本当に厄介なことになった。 このデータからわかることは
- アップル >グーグルが1位（質問1）
- アップル > IBM（質問1）
- IBM>グーグル（質問4）
- グーグル > Samsung (質問5)
- Samsung > Apple (質問6)
- Samsung>IBM（質問6）
このデータは矛盾している。 最初の3点を見てください。 アップル＜9292＞IBM＝グーグルであることを物語っています。
このようなデータに直面したとき、ほとんどの人は、データは悪いものだと言って捨ててしまうのではないでしょうか。 残念ながら、そう単純ではありません。 私たちのほとんどは、アンケートで一貫性のないデータを出していることがわかります。 気が散ったり、飽きたりして、必要以上に気を使わなくなるのです。 そして、考えているうちに気が変わってしまうのです。 MaxDiffの興味深い点は、それが一貫性のないデータをもたらすということではありません。 むしろ、データが矛盾していることが分かるようになることです。 これは実は良いことで、例えば、代わりに回答者にデータのランク付けをお願いしていたとしても、エラーは含まれていたでしょうが、矛盾を見る機会がないので、見ることはなかったでしょう。
まとめ：
- ベストスコアを合計してワーストスコアを引き、それぞれの回答者のスコアを計算することは有効ではない。
- 選択肢の完全な順序付けを得るための十分なデータがない。
- 回答者が一貫性のないデータを提供している。 1930年代から学術研究の活発な分野であった。 これを扱う研究分野はランダム効用モデルとして知られており、この記事を読んでいる方はすでにこのクラスのモデルに精通しているかもしれません（例えば、多項ロジット、潜在クラス ロジット、ランダム パラメータ ロジットはすべてこの問題を解決するモデルです）
問題の第二部分、つまり不完全なデータを持っているということは、他の回答者からデータを借りることによって解決されます。 意外なことに、各回答者の選好を個別に計算するのに十分なデータがある場合でも、通常は類似の回答者のデータと組み合わせて選好を推定する方が良いのです。 これは、各回答者のデータを個別に分析すると、過剰に適合してしまい、嗜好のように見えるものが実はノイズであることを見抜けなかったからだと思います。
この二つの問題は、潜在クラス分析を使って共同で解決します。 以下に説明する特殊なものは、潜在クラス順位ロジット（latent class rank-ordered logit with ties）である。 これは潜在クラス分析のために特別に開発されたエキゾチックなモデルである。 使用できる他の潜在クラス・モデルもあります。 私は数学を説明するつもりはありません。
潜在クラス分析はクラスター分析のようなものです。 たくさんのデータを入れて、いくつのクラス（つまり、クラスター）が欲しいかを指示します。 下の表は、5 つのクラス (つまり、セグメント) の結果を示しています。 各クラスの結果は列で表示されます。 クラスのサイズは一番上に表示されています。
クラス1は、平均して、サムスン > グーグル > マイクロソフト > ソニー > …の順で選好する人々で構成されています。 サンプルの21.4%である。 クラス2は、Appleを強く嗜好する人々で構成されている。 クラス3は、アップルとサムスンの両方が好きな人々で構成されています。 クラス4には、ソニーとノキアを好む人々が登場するが、どのブランドにも超強力な嗜好はない。 クラス 5 も Apple を好み、次に Microsoft を好みます。
Total の列を見ると、驚くようなことがわかります。 Googleのシェアはわずか12.8%です。 サムスンより少ないのです。 これは、ベストとして選ばれた回数に基づいて Google が 2 番目に人気のあるブランドであり、最悪のスコアを考慮すると Apple と首位であるという、先の計数分析の結論と矛盾しています。 潜在クラス分析では、なぜこのように異なる結論になるのでしょうか？ その理由は、先ほどのカウント分析に根本的な欠陥があるからです。
潜在クラスの結果をもう一度見てみると、Googleはすべてのセグメントで中程度のシェアを持っていることがわかります。 この実験では、各人が 6 つの質問に答えました。 これらの質問に対して、それぞれのブランドを最も良いとした回数を以下に示します。 実験デザインは、各選択肢が3回だけ表示されるように作成されています。 下の表の3回の欄を見ると、36％の人がアップルを3回、20％の人がサムスンを3回、12％の人がグーグルを3回ベストとして選んでいることがわかります。 つまり、AppleはGoogleに比べて約3倍も最も好まれる可能性が高いと結論付けることができます。 次に、「1回」と「2回」の欄を見てみましょう。 Googleは、1回だけ選ばれる可能性が最も高いブランドです。 そして、2回目に選ばれる可能性が最も高いブランドでもあります。 つまり、Googleは最も人気のあるフォールバックブランドなのです。 これは、粗雑なカウント分析がなぜ誤解を招きかねないかを浮き彫りにしています。 5761>
上記の5クラス解では、Appleだけが、どのセグメントも明らかに支配しています。 これは洞察ではありません。 むしろ、それは選択されたクラスの数の結果です。 もし、より多くのクラスを選択すれば、嗜好の違いをより鮮明に含むセグメントが得られます。 下の表は、10クラスを示しています。 もっと増やすことは簡単です。 いくつ増やせますか？
- How well our model fits the data.トレードオフするものがいくつかある。 この測定の1つはBICで、潜在クラス表の下部に示されている。 他のすべてが同じであれば，BICが低いほど良いモデルである． この基準では、10クラス・モデルが優れています。 しかし、他のすべてが等しいということはほとんどないので、BICは時々しか役に立たない大まかな目安として扱ってください。
- 総列の安定性。 10クラス解と5クラス解を比較すると、両者の相関が高いことがわかる。 しかし、最も正確な推定は10クラス解です（専門的な読者のために：モデルは非線形であるため、クラス数が誤って指定された場合、他の列の加重合計である合計列は無効となります）
- ステークホルダーにとって関心のあるブランドが、いずれかのセグメントで高い選好スコアを得ているかどうか。 例えば、下の表では、Apple、Samsung、Sony、Googleに関心が集まっていますが、もし、別のブランドの調査を行うのであれば、おそらくクラスの数を増やして、クライアントに響くようなセグメントを見つけたいと思うことでしょう。 BIC が減少し続けるという条件下では、これに関していかがなものでもありません。
- 利害関係者にとってのソリューションの複雑さ。 クラスが少ないほど、わかりやすくなります。
以下のドーナツ チャートは、10 クラスのソリューションに対する選好シェア (すなわち。
Profiling Latent Class
潜在クラスを作成したら、各人をクラスに割り当て、表を作成してクラスをプロファイル化します。 例えば、下の表は、製品の所有者別に5クラスのソリューションを示しています。
時には、調査の各回答者の嗜好シェアを持つことが望ましいことがあります。 一般的には、さらなる分析（例えば、複数のデータソースを使用したセグメンテーション研究）の入力として使用されます。 潜在クラスモデルを推定すると、これらは簡単に計算できます（標準的な出力です）。 しかし、これらは超高精度ではありません。 上で述べたように、個人の実際の選好順序を計算するための情報は不十分で、必然的に個人の選好シェアの計算は、他の回答者から共有されたデータに大きく依存することになり、潜在クラス・モデルがいかにうまくデータを説明できるかに影響されます。 下の表は、5クラスモデルによる回答者レベルの選好度です。
下の表は、各回答者に対して計算した確率パーセントの平均値を示しています。 これらは潜在クラスモデルの合計列の結果と非常に似ていますが、全く同じではありません（繰り返しになりますが、超専門家の方：これは計算の非直線性によるもので、これらの間に大きな差があれば、モデルが悪いことを示す手がかりとなります）。 合計の列は、この表に示されている平均確率 % の列よりも正確です。
以下に、各ブランドの選好分布のヒストグラムをプロットしてみました。 これらの分布は、我々の5クラスモデルに基づいています。 したがって、これらは、以前の分析で明らかにされた以上の嗜好の変動を示すことができません。 もし、もっと多くのクラスを使用すれば、もっとバリエーションが増えるでしょう。
下の表は、ブーストされた変動係数モデルとして知られる、さらに複雑なモデルからの選好シェア分布を示しています。 (これは学術文献には見当たりません。私たちが発明したものですが、調べたいのであれば、コードはオープンソースです)。 これは、それぞれのブランドについて、より良い分布を示しています（より広い＝良い）。 このようなより複雑なモデルを論じた、より技術的なブログ記事はこちらです。
下の表は、このモデルによる各回答者の優先株を示したものです。 冒頭で検討した回答者1と13を見てみましょう。 最初の回答者は、順序が少しずれたものもありますが、マイクロソフトとグーグルが好きで、IBM、ノキア、ヤフーが嫌いだということが、はっきりと表れています。 回答者 13 の矛盾した選択は、最も好きなものとして 2 回選択した Apple に有利に解決されました。
これらの回答者レベルの共有から、平均確率% は次の表のようになり、潜在クラス分析の出力と非常によく一致することがわかります。
プリファレンスシミュレーション
MaxDiffのマーケティングアプリケーションでは、人々が代替品の中から選択することがある。 このような研究を行うとき、いくつかの代替品を取り除いた後の選好シェアを理解することは興味深いことです。 これはとても簡単なことです。 我々がしなければならないのは、除外したい代替品の列を削除し、そして、それらの数字の合計が100％になるようにベースを作り直すことだけです。 以下、Samsung と Apple を削除した優先株を再計算してみました。
まとめ
単純な分析手法は MaxDiff には無効です。 それらは、著しく誤解を招くような結論につながります。 一方、潜在クラス分析のようなより高度なテクニックを適用すると、かなり意味のある結果が得られます。
ここをクリックすると、Displayr にログインして、この投稿で使用されたすべての分析を見ることができます。 Displayr でこれを自分で行う方法についての投稿はこちら、Q でこれを行う方法についての投稿はこちら
です。