Tento příspěvek vysvětluje základní mechanismy měření preferencí pomocí dat získaných v experimentu MaxDiff. Než si přečtete tento příspěvek, nezapomeňte si nejprve přečíst Příručku pro začátečníky k MaxDiff. Usilovně jsem se snažil, aby byl tento příspěvek co nejjednodušší, ale není to příručka pro hlupáky. MaxDiff není pro hlupáky. V tomto příspěvku začnu tím, že se podívám na nejjednodušší způsoby analýzy MaxDiff, a propracujeme se k něčemu přísnějšímu.
Počítání nejlepších výsledků (superjednoduché, superrizikové)
Nejjednodušší způsob analýzy dat MaxDiff je spočítat, kolik lidí vybralo jednotlivé alternativy jako nejvíce preferované. V následující tabulce jsou uvedeny výsledky. Nejlépe je na tom společnost Apple. Google je druhý nejlepší.
Tímto ignorujeme naše údaje o tom, která alternativa je nejhorší. Měli bychom se na to alespoň podívat. Ukazuje nám to něco zajímavého. Apple je sice jednoznačně nejoblíbenější, ale má i dost odpůrců. Takže pouhé zaměření na jeho nejlepší skóre nevypovídá o pravdě.
Další tabulka ukazuje rozdíly. Ta nyní ukazuje, že Apple a Google jsou v preferencích téměř vyrovnané. Z pouhého pohledu na nejlepší skóre však víme, že to není správné!“
Co se zde děje? Za prvé, Apple je nejoblíbenější značkou. Tato poslední tabulka je prostě zavádějící. Za druhé, a to je méně zřejmé, důvod, proč nám poslední tabulka říká něco jiného, je ten, že Apple je značka, která rozděluje. Má spoustu příznivců a dost odpůrců. To znamená, že se musíme zaměřit na měření preferencí na úrovni respondentů a na seskupování podobných respondentů (tj. segmentaci). Jak brzy uvidíme, v této zjednodušené analýze se skrývá třetí problém, na který přijdeme jen tehdy, když zvýšíme teplotu našich statistik.
Pohled na nejlepší a nejhorší hodnocení podle respondentů
Následující tabulka ukazuje experimentální design MaxDiff použitý při sběru dat. Barevně jsou znázorněny volby prvního respondenta v souboru dat. Modrá barva ukazuje, která alternativa byla vybrána jako nejlepší. Červená pro nejhorší. Otázka, na kterou se snažíme odpovědět, zní: „Jaké je pořadí preferencí respondenta mezi 10 technologickými značkami?“
Nejjednodušší řešení je spočítat, kolikrát byla každá možnost vybrána, přičemž za každou volbu, která byla vybrána jako nejlepší, se udělí skóre 1 a za každou volbu, která byla vybrána jako nejhorší, se udělí skóre -1. To vede k následujícímu skóre a pořadí značek:
Microsoft 3 > Google 1 = Samung 1 = Dell 1 > Apple = Intel = Sony > Yahoo -1 > Nokia -2 > IBM -3
Tento přístup je velmi jednoduchý a zdaleka ne vědecký. Podívejte se na Yahoo. Ano, jednou byla vybrána jako nejhorší a podle naší analýzy počítání je to třetí nejhorší značka, která je pro respondenta méně atraktivní než každá z Apple, Intel a Sony. Podívejte se však pozorněji na otázku č. 5. Yahoo bylo srovnáváno se společnostmi Microsoft, Google, Samsung a Dell. Jedná se o značky, které respondent v experimentu vybral jako nejpreferovanější, a data tedy naznačují, že jsou všechny lepší než Apple, Intel a Sony. To znamená, že neexistuje žádný důkaz, že by společnost Yahoo byla ve skutečnosti horší než Apple, Intel a Sony. Analýza počítání je jednoduchá, ale chybná.
Přísnější analýza
Přísnější analýzu provedeme tak, že vezmeme v úvahu, která alternativa byla porovnávána s kterými ostatními. To je rozdíl, protože nelze testovat všechny kombinace alternativ, protože by to vedlo k obrovské únavě. Již jsme dospěli k závěru, že Yahoo se neliší od Apple, Intel a Sony, což vede k:
Microsoft > Google = Samsung = Dell > Apple = Intel = Sony = Yahoo > Nokia > IBM
Která značka je druhá nejpreferovanější? Každá ze značek Samsung, Google a Dell byla vybrána jako nejlepší jednou. Znamená to, že jsou všechny na stejném druhém místě? Ne, to neznamená. Ve čtvrté otázce byl Dell proti Googlu a Google byl preferován. Víme tedy, že:
Microsoft > Google > Dell > Apple = Intel = Sony = Yahoo > Nokia > IBM
Všimněte si však, že jsem odstranil Samsung. Samsung je problém. Může to být mezi Microsoftem a Googlem. Může to být mezi společnostmi Google a Dell. Nebo může být menší než Dell. To nemůžeme nijak zjistit! Můžeme hádat, že má stejnou přitažlivost jako Dell. Samsung jsem nakreslil modře, protože i když tento odhad není hloupý, přesto se jedná o nepříliš vzdělaný odhad:
Microsoft > Google > Samsung = Dell > Apple, Intel, Sony, Yahoo > Nokia > IBM
Složitější problém představují údaje respondenta č. 13. Na základě těchto údajů lze říci, že se jedná o hloupý odhad. Dvakrát zvolila jako nejlepší společnost Apple, dvakrát Samsung a po jednom Google a IBM. Který z nich je jejím favoritem? Zde to začíná být opravdu ošklivé. Z údajů vyplývá, že
- Apple > Google na 1 místě (otázka 1)
- Apple > IBM (otázka 1)
- IBM > Google (otázka 4)
- Google > Samsung (otázka 5)
- Samsung > Apple (otázka 6)
- Samsung > IBM (otázka 6)
Tyto údaje jsou rozporuplné. Podívejte se na první tři body. Říkají nám, že Apple > IBM = Google. Ale poslední tři nám říkají, že Google > Samsung > Apple = IBM.
Instinkt většiny lidí při konfrontaci s takovými daty je říci, že data jsou špatná, a zahodit je. Bohužel to není tak jednoduché. Ukazuje se, že většina z nás uvádí v průzkumech nekonzistentní údaje. Jsme roztržití, nudíme se a dáváme si menší pozor, než bychom měli. V průběhu přemýšlení měníme názory. Zajímavé na MaxDiff není to, že vede k nekonzistentním údajům. Spíše to, že nám umožňuje vidět, že údaje jsou rozporuplné. To je vlastně dobře, protože kdybychom místo toho například požádali respondenta, aby data seřadil, stále by obsahovala chyby, ale nikdy bychom je neviděli, protože bychom neměli možnost vidět rozpory.
Shrnuto:
- Výpočet skóre pro každého respondenta sečtením nejlepších skóre a odečtením nejhorších skóre není platný.
- Nemáme dostatek údajů, abychom získali úplné pořadí alternativ.
- Respondenti poskytují nekonzistentní údaje.
Naštěstí nám s těmito problémy může pomoci trocha statistického kouzla.
Kouzlo – analýza latentních tříd
Problém respondentů poskytujících nekonzistentní údaje není nový. Je aktivní oblastí akademického výzkumu již od 30. let 20. století. Oblast výzkumu, která se tímto problémem zabývá, je známá jako modely náhodného užitku, a pokud čtete tento příspěvek, možná již tuto třídu modelů znáte (např. multinomický logit, logit latentní třídy, logit náhodných parametrů, to vše jsou modely, které tento problém řeší).
Druhou část problému, která spočívá v tom, že máme neúplná data, řešíme vypůjčením dat od jiných respondentů. Pro mě překvapivě, i když máme dostatek údajů pro výpočet preferencí pro každého respondenta zvlášť, je obvykle stále lepší odhadnout preference kombinací jejich údajů s údaji podobných respondentů. Domnívám se, že je to proto, že když analyzujeme data každého respondenta izolovaně, příliš se přizpůsobujeme a nepostřehneme, že to, co se jeví jako preference, je ve skutečnosti šum.
Tyto dva problémy se společně řeší pomocí analýzy latentních tříd. Speciální variantou, kterou ilustruji níže, je latentní třída rank-ordered logit s vazbami. Jedná se o exotický model, speciálně vyvinutý pro analýzu latentních tříd. Existují i jiné modely latentních tříd, které lze použít. Nebudu vysvětlovat matematiku. Místo toho pouze vysvětlím, jak číst výstupy.
Analýza latentních tříd je jako shluková analýza. Vložíte do ní celou řadu dat a řeknete, kolik tříd (tj. shluků) chcete. V následující tabulce jsou uvedeny výsledky pro pět tříd (tj. segmentů). Výsledky pro jednotlivé třídy jsou uvedeny ve sloupcích. Velikost třídy je uvedena nahoře. Pod ní je pravděpodobnost v %, známá také jako podíl preferencí (tj. odhadovaná pravděpodobnost, že osoba v segmentu bude preferovat alternativu ze všech alternativ ve studii).
Třídu 1 tvoří lidé, kteří mají v průměru pořadí preferencí Samsung > Google > Microsoft > Sony > … . Jedná se o 21,4 % vzorku. Třídu 2 tvoří lidé s výraznou preferencí společnosti Apple. Třídu 3 tvoří lidé, kteří mají rádi Apple i Samsung. Ve třídě 4 se objevují lidé, kteří preferují Sony a Nokii, ale nemají super silné preference pro žádnou značku. Třída 5 také preferuje Apple a pak Microsoft.
Podíváte-li se na sloupec Celkem, uvidíte něco, co vás možná překvapí. Podíl společnosti Google činí pouhých 12,8 %. To je méně než Samsung. To je v rozporu se závěry dřívějších analýz počítání, které ukazovaly Google jako druhou nejoblíbenější značku na základě počtu případů, kdy byla vybrána jako nejlepší, a na krku s Applem po započtení nejhorších výsledků. Jak je možné, že nám analýza latentních tříd dává tak odlišný závěr? Důvodem je, že dřívější analýza počítání je zásadně chybná.
Podíváme-li se znovu na výsledky latentní třídy, vidíme, že Google má ve všech segmentech mírný podíl. V tomto experimentu každá osoba vyplnila šest otázek. Počet případů, kdy zvolili každou ze značek jako nejlepší napříč těmito otázkami, je uveden níže. Experimentální design byl vytvořen tak, že každá alternativa byla zobrazena pouze třikrát. Pokud se podíváte na sloupec 3krát v tabulce níže, zjistíte, že 36 % lidí zvolilo 3krát jako nejlepší značku Apple, 20 % zvolilo 3krát značku Samsung a 12 % zvolilo 3krát jako nejlepší značku Google. Můžeme tedy konstatovat, že Apple je zhruba 3x častěji nejpreferovanější ve srovnání s Googlem. Nyní se podívejte na sloupce Jednou a Dvakrát. Značka Google je s největší pravděpodobností vybrána jednou. A je také nejpravděpodobnější značkou, která bude vybrána dvakrát. Google je tedy nejoblíbenější náhradní značkou. To ukazuje, proč mohou být hrubé analýzy počítání tak zavádějící. Lidé jsou požádáni, aby se rozhodli šestkrát, ale experimentální design jim ukáže jejich nejpreferovanější značku pouze třikrát, a analýza počítání tak nadhodnocuje výkon druhých a třetích preferovaných značek.
V pěti třídách výše uvedeného řešení v žádném segmentu jasně dominuje pouze Apple. Nejedná se o žádný vhled. Je to spíše důsledek počtu tříd, které byly vybrány. Pokud vybereme více tříd, získáme více segmentů obsahujících výraznější rozdíly v preferencích. V následující tabulce je uvedeno 10 tříd. Snadno bychom jich mohli přidat více. Kolik dalších? Existuje několik věcí, které je třeba vyměnit:
- Jak dobře náš model odpovídá datům. Jedním z měřítek je koeficient BIC, který je uveden ve spodní části tabulek latentních tříd. Za stejných podmínek platí, že čím nižší je BIC, tím lepší je model. Podle tohoto kritéria je model 10 tříd lepší. Všechno ostatní je však málokdy stejné, proto považujte BIC jen za hrubé vodítko, které je užitečné jen někdy.
- Stabilita celkového sloupce. Porovnáte-li řešení pro 10 a 5 tříd, zjistíte, že jsou vysoce korelovaná. Nicméně právě řešení pro 10 tříd je nejpřesnějším odhadem (pro techničtější čtenáře: jelikož je model nelineární, je celkový sloupec, který je váženým součtem ostatních sloupců, neplatný, pokud je počet tříd špatně specifikován).
- Zda značky, které zajímají zainteresovanou stranu, získají v některém ze segmentů vysoké preferenční skóre. Například v níže uvedené tabulce je velký zájem o značky Apple, Samsung, Sony a Google, ale pokud byste prováděli studii pro jinou ze značek, pravděpodobně byste chtěli zvýšit počet tříd, abyste našli segment, který bude u klienta rezonovat. Za předpokladu, že se BIC stále snižuje, není na tom nic vyhýbavého.
- Složitost řešení pro zúčastněné strany. Čím méně tříd, tím srozumitelnější.
Níže uvedený koblihový graf zobrazuje podíly preferencí pro řešení s 10 třídami (tj, jeho sloupec Celkem).
Profilování latentních tříd
Po vytvoření latentních tříd přiřadíme každou osobu do třídy a poté třídy profilujeme vytvořením tabulek. Následující tabulka například ukazuje naše řešení 5 tříd podle vlastnictví produktu. Porovnáte-li tuto tabulku se samotným řešením latentních tříd, uvidíte, že vlastnictví produktů odpovídá preferencím projeveným v otázkách MaxDiff.
Podíly preferencí na úrovni respondentů
Někdy je příjemné mít k dispozici podíly preferencí pro každého respondenta v průzkumu. Obvykle se používají jako vstupy do dalších analýz (např. segmentační studie využívající více zdrojů dat). Po odhadu modelu latentní třídy je lze snadno vypočítat (jsou standardním výstupem). Nejsou však superpřesné. Jak jsme uvedli výše, k výpočtu skutečného pořadí preferencí dané osoby není dostatek informací, takže jakýkoli výpočet podílů preferencí nevyhnutelně do značné míry závisí na údajích sdílených od ostatních respondentů, což je zase ovlivněno tím, jak dobře model latentní třídy data vysvětluje. Následující tabulka ukazuje podíly preferencí na úrovni respondentů z modelu 5 tříd.
Následující tabulka ukazuje průměr procentních podílů pravděpodobnosti vypočtených k pro každého respondenta. Jsou velmi podobné výsledkům v celkovém sloupci modelu latentních tříd, ale nejsou zcela stejné (opět, pokud jste supertechnici: je to způsobeno nelinearitou ve výpočtech; velký rozdíl mezi nimi by byl vodítkem, že model je špatný). Sloupec Celkem je přesnější než sloupec Průměrná pravděpodobnost % uvedený v této tabulce.
Níže jsem vynesl histogramy rozdělení preferencí pro jednotlivé značky. Tato rozdělení vycházejí z našeho modelu 5 tříd. Nemohou tedy ukázat větší rozdíly v preferencích, než byly odhaleny v předchozí analýze. Pokud bychom použili více tříd, získali bychom větší variabilitu. Existují však lepší způsoby, jak tohoto výsledku dosáhnout.
Následující tabulka ukazuje rozdělení podílů preferencí z ještě složitějšího modelu, známého jako model s posílenými proměnlivými koeficienty. (Tento model v akademické literatuře nenajdete, vymysleli jsme ho my, ale kód je k dispozici jako open-source, pokud se v něm chcete hrabat). To ukazuje lepší rozdělení pro každou ze značek (širší = lepší). Techničtější příspěvek na blogu, který se zabývá těmito složitějšími modely, najdete zde.
Následující tabulka ukazuje preferenční podíly jednotlivých respondentů z tohoto modelu. Podívejte se na respondenty 1 a 13, které jsme zkoumali na začátku příspěvku. U prvního respondenta se projevuje jasná preference společností Microsoft a Google a nechuť k IBM, Nokia a Yahoo, i když se některé pořadí mírně posunulo. Rozporuplný výběr respondenta 13 byl vyřešen ve prospěch společnosti Apple, kterou vybral dvakrát jako nejpreferovanější.
Z těchto podílů na úrovni respondentů vychází průměrná pravděpodobnost %, jak ukazuje následující tabulka, která opět poměrně přesně odpovídá výstupům analýzy latentních tříd.
Simulace preferencí
V marketingových aplikacích MaxDiff se lidé někdy rozhodují mezi alternativními produkty. Při provádění takových studií může být zajímavé pochopit podíly preferencí po odstranění některých alternativ. To je velmi jednoduché. Stačí odstranit sloupce s alternativami, které chceme vyloučit, a pak znovu založit čísla tak, aby se sečetla na 100 %. Níže jsem přepočítal preferenční podíly s odstraněnými společnostmi Samsung a Apple.
Souhrn
Prosté metody analýzy jsou pro MaxDiff neplatné. Vedou k hrubě zavádějícím závěrům. Použití pokročilejších technik, jako je analýza latentních tříd, naopak poskytne podstatně smysluplnější výsledky.
Pokud kliknete sem, můžete se přihlásit do aplikace Displayr a prohlédnout si všechny analýzy, které byly použity v tomto příspěvku. Zde klikněte na příspěvek o tom, jak to udělat sám v Displayr, a zde na příspěvek o tom, jak to udělat v Q.
.