Ez a bejegyzés elmagyarázza a preferenciák mérésének alapvető mechanizmusát a MaxDiff-kísérletben gyűjtött adatok felhasználásával. Mielőtt elolvassa ezt a bejegyzést, mindenképpen olvassa el először A kezdő MaxDiff útmutatóját. Keményen dolgoztam azon, hogy ez a bejegyzés a lehető legegyszerűbb legyen, de ez nem egy buta útmutató. A MaxDiff nem bábuknak való. Ebben a bejegyzésben a MaxDiff elemzésének legegyszerűbb módjaival fogom kezdeni, és haladunk felfelé a szigorúbb módszerek felé.
A legjobb pontszámok számolása (szuperegyszerű, szuper kockázatos)
A MaxDiff-adatok elemzésének legegyszerűbb módja az, hogy összeszámoljuk, hányan választották az egyes alternatívákat a legjobban preferáltnak. Az alábbi táblázat mutatja a pontszámokat. Az Apple a legjobb. A Google a második legjobb.
Ez figyelmen kívül hagyja az arra vonatkozó adatainkat, hogy melyik alternatíva a legrosszabb. Legalább ezt meg kellene vizsgálnunk. Valami érdekeset mutat nekünk. Bár egyértelműen az Apple a legnépszerűbb, azért vannak ellenzői is. Tehát, ha csak a legjobb pontszámaira koncentrálunk, az nem mutatja meg az igazi történetet.
A következő táblázat a különbségeket mutatja. Ez most azt mutatja, hogy az Apple és a Google szinte holtversenyben áll a preferenciák tekintetében. De, ha csak a legjobb pontszámokat nézzük, tudjuk, hogy ez nem igaz!
Mi folyik itt? Először is, az Apple a legnépszerűbb márka. Ez az utolsó táblázat egyszerűen félrevezető. Másodszor, és kevésbé nyilvánvalóan, az utolsó táblázat azért mond mást, mert az Apple egy megosztó márka. Sok híve van, és szép számmal vannak ellenzői is. Ez azt jelenti, hogy a preferenciák mérésére kell összpontosítanunk a válaszadók szintjén, és a hasonló válaszadók csoportosítására (azaz a szegmentálásra). Mint hamarosan látni fogjuk, ebben a leegyszerűsített elemzésben egy harmadik probléma is megbújik, és ezt csak akkor találjuk meg, ha felpörgetjük a statisztikáinkat.
A legjobb és legrosszabb pontszámok megkérdezettek szerint
Az alábbi táblázat az adatgyűjtés során használt MaxDiff kísérleti tervet mutatja. Az adathalmazban az első válaszadó választásait színnel jelöljük. A kék szín azt mutatja, hogy melyik alternatívát választották a legjobbnak. Piros a legrosszabbat. A kérdés, amelyre megpróbálunk választ adni, az, hogy a válaszadó milyen sorrendben részesíti előnyben a 10 technológiai márkát?
A legegyszerűbb megoldás az, hogy összeszámoljuk, hányszor választották az egyes lehetőségeket, és minden egyes alkalommal, amikor a legjobbnak választották, 1 pontot adunk, és minden egyes alkalommal, amikor a legrosszabbnak választották, -1 pontot. Ez a következő pontszámokhoz és a márkák rangsorolásához vezet:
Microsoft 3 > Google 1 = Samung 1 = Dell 1 > Apple = Intel = Sony > Yahoo -1 > Nokia -2 > IBM -3
Ez a megközelítés nagyon egyszerű, és messze nem tudományos. Nézd meg a Yahoo-t. Igen, egyszer a legrosszabbnak választották, és a számolásos elemzésünk szerint ez a harmadik legrosszabb márka, kevésbé vonzó a válaszadó számára, mint az Apple, az Intel és a Sony mindegyike. Nézzük meg azonban alaposabban az 5. kérdést. A Yahoo-t a Microsofttal, a Google-lal, a Samsunggal és a Dell-lel hasonlították össze. Ezek azok a márkák, amelyeket a válaszadó a kísérletben a legkedveltebbnek választott, és így az adatok azt sugallják, hogy ezek mind jobbak, mint az Apple, az Intel és a Sony. Vagyis nincs bizonyíték arra, hogy a Yahoo valójában rosszabb, mint az Apple, az Intel és a Sony. A számlálós elemzés egyszerű, de téves.
Egy szigorúbb elemzés
Azzal tesszük szigorúbbá az elemzést, hogy figyelembe vesszük, melyik alternatívát melyik másikkal hasonlították össze. Ez azért jelent különbséget, mert nem lehet az alternatívák minden kombinációját tesztelni, mivel ez óriási fáradtsághoz vezetne. Már megállapítottuk, hogy a Yahoo nem különbözik az Apple-től, az Inteltől és a Sonytól, ami a következőkhöz vezet:
Microsoft > Google = Samsung = Dell > Apple = Intel = Sony = Yahoo > Nokia > IBM
Melyik márka a második legkedveltebb? A Samsung, a Google és a Dell mindegyikét egyszer választották a legjobbnak. Ez azt jelenti, hogy mindannyian egyformán a második helyen állnak? Nem, ez nem így van. A 4. kérdésben a Dell állt szemben a Google-lel, és a Google-t részesítették előnyben. Így tudjuk, hogy:
Microsoft > Google > Dell > Apple = Intel = Sony = Yahoo > Nokia > IBM
De vegye figyelembe, hogy a Samsungot kivettem. A Samsung problémás. Lehet, hogy a Microsoft és a Google között. Lehet a Google és a Dell között. Vagy lehet, hogy kevesebb, mint a Dell. Semmilyen módon nem tudjuk megmondani! Sejthetjük, hogy ugyanolyan vonzereje van, mint a Dellnek. A Samsungot kékkel rajzoltam, mert bár a tipp nem buta, mégis nem szuper-művelt tipp:
Microsoft > Google > Samsung = Dell > Apple, Intel, Sony, Yahoo > Nokia > IBM
Egy nehezebb problémát vetnek fel a 13. válaszadó adatai. Ő kétszer választotta a legjobbnak az Apple-t, kétszer a Samsungot, egyszer-egyszer pedig a Google-t és az IBM-et. Melyik a kedvence? Itt kezd igazán csúnya lenni a helyzet. Az adatok azt mutatják, hogy:
- Apple > Google az 1. helyen (1. kérdés)
- Apple > IBM (1. kérdés)
- IBM > Google (4. kérdés)
- Google. > Samsung (5. kérdés)
- Samsung > Apple (6. kérdés)
- Samsung > IBM (6. kérdés)
Az adatok ellentmondásosak. Nézze meg az első három pontot. Ezek azt mondják, hogy Apple > IBM = Google. Az utolsó 3 viszont azt mondja, hogy Google > Samsung > Apple = IBM.
A legtöbb ember ösztöne, amikor ilyen adatokkal szembesül, hogy azt mondja, hogy az adat rossz, és kidobja. Sajnos ez nem ilyen egyszerű. Kiderül, hogy a legtöbben ellentmondásos adatokat adunk meg a felmérésekben. Elterelődik a figyelmünk és unatkozunk, és kevésbé vagyunk körültekintőek, mint kellene. Ahogy gondolkodunk, úgy változtatjuk meg a véleményünket. A MaxDiff érdekessége nem az, hogy következetlen adatokhoz vezet. Inkább az, hogy lehetővé teszi számunkra, hogy lássuk, hogy az adatok ellentmondásosak. Ez tulajdonképpen jó dolog, hiszen ha ehelyett például arra kértük volna a válaszadót, hogy rangsorolja az adatokat, akkor azok még mindig tartalmaznának hibákat, de soha nem vettük volna észre őket, mivel nem lett volna lehetőségünk észrevenni az ellentmondásokat.
Összefoglalva:
- Az egyes válaszadókra vonatkozó pontszámok kiszámítása a legjobb pontszámok összegzésével és a legrosszabb pontszámok levonásával nem érvényes.
- Nincs elég adatunk ahhoz, hogy az alternatívák teljes sorrendjét megkapjuk.
- A válaszadók ellentmondásos adatokat szolgáltatnak.
Szerencsére egy kis statisztikai varázslás segíthet ezeken a problémákon.
A varázslat – látens osztályelemzés
A válaszadók ellentmondásos adatszolgáltatásának problémája nem új. Az 1930-as évek óta aktív területe a tudományos kutatásnak. A kutatásnak azt a területét, amely ezzel foglalkozik, véletlenszerű hasznossági modelleknek nevezik, és ha ezt a bejegyzést olvassa, akkor már ismerheti a modellek ezen osztályát (pl. a multinomiális logit, a látens osztályú logit, a véletlen paraméterű logit, mind olyan modellek, amelyek megoldják ezt a problémát).
A probléma második részét, vagyis azt, hogy hiányos adatokkal rendelkezünk, más válaszadók adatainak kölcsönzésével oldjuk meg. Számomra meglepő módon még akkor is, ha elegendő adat áll rendelkezésre az egyes válaszadók preferenciáinak külön-külön történő kiszámításához, általában még mindig jobb a preferencia becslése az ő adataik és a hasonló válaszadók adatainak kombinálásával. Úgy gondolom, hogy ennek az az oka, hogy amikor az egyes válaszadók adatait külön-külön elemezzük, túlságosan alkalmazkodunk, és nem vesszük észre, hogy ami preferenciának tűnt, valójában zaj volt.
Ez a két probléma együttesen oldható meg a látens osztályelemzéssel. A speciális változat, amelyet az alábbiakban szemléltetek, a látens osztályú rangsorolt logit a kötöttségekkel. Ez egy egzotikus modell, amelyet kifejezetten a látens osztályelemzéshez fejlesztettek ki. Vannak más látens osztályú modellek is, amelyek használhatók. Nem fogom elmagyarázni a matematikát. Ehelyett csak azt fogom elmagyarázni, hogyan olvassuk a kimeneteket.
A latens osztályelemzés olyan, mint a klaszterelemzés. Beteszel egy csomó adatot, és megmondod, hogy hány osztályt (azaz klasztert) szeretnél. Az alábbi táblázat öt osztály (azaz szegmens) eredményeit mutatja. Az egyes osztályok eredményei az oszlopokban láthatók. Az osztály mérete a felső sorban látható. Alatta a Valószínűség %, más néven preferenciaarány (azaz annak becsült valószínűsége, hogy a szegmensben lévő személy a vizsgálatban szereplő összes alternatíva közül valamelyik alternatívát preferálja).
Az 1. osztály olyan személyekből áll, akik átlagosan a Samsung > Google > Microsoft > Sony > … közötti preferenciasorrenddel rendelkeznek. Ez a minta 21,4%-át teszi ki. A 2. osztály az Apple-t erősen preferáló emberekből áll. A 3. osztály az Apple-t és a Samsungot egyaránt kedvelő emberekből áll. A 4. osztályban a Sony-t és a Nokiát kedvelő emberek jelennek meg, de egyik márka iránt sincs szupererős preferenciájuk. Az 5. osztály szintén az Apple-t, majd a Microsoftot részesíti előnyben.
Ha megnézzük az Összes oszlopot, akkor láthatunk valamit, ami meglepő lehet. A Google részesedése mindössze 12,8%. Ez kevesebb, mint a Samsungé. Ez ellentmond a korábbi számlálós elemzések következtetéseinek, amelyek szerint a Google a második legnépszerűbb márka a legjobbnak választott értékek száma alapján, és fej-fej mellett áll az Apple-lel, miután a legrosszabb pontszámokat is figyelembe vettük. Hogyan lehetséges, hogy a látens osztályelemzés ilyen eltérő következtetést ad? Ennek az az oka, hogy a korábbi számlálós elemzés alapvetően hibás.
Még egyszer megnézve a látens osztályok eredményeit, láthatjuk, hogy a Google minden szegmensben mérsékelt részesedéssel rendelkezik. Ebben a kísérletben minden személy hat kérdést töltött ki. Az alábbiakban látható, hogy ezeken a kérdéseken belül hányszor választották az egyes márkákat a legjobbnak. A kísérleti elrendezés úgy jött létre, hogy minden alternatívát csak háromszor mutattak meg. Ha megnézzük az alábbi táblázatban a 3-szor oszlopot, akkor látható, hogy az emberek 36%-a háromszor választotta az Apple-t, 20%-uk háromszor a Samsungot, 12%-uk pedig háromszor a Google-t választotta a legjobbnak. Tehát arra következtethetünk, hogy az Apple körülbelül 3-szor nagyobb valószínűséggel a legkedveltebb, mint a Google. Most nézzük meg az Egyszer és Kétszer oszlopokat. A Google a legvalószínűbb márka, amelyet egyszer választanak. És ez a legvalószínűbb márka arra is, hogy kétszer választják. Tehát a Google a legnépszerűbb tartalékmárka. Ez rávilágít arra, hogy a nyers számolási elemzések miért lehetnek annyira félrevezetőek. Az embereket 6 választásra kérik, de a kísérleti terv csak háromszor mutatja meg nekik a legkedveltebb márkát, és a számláló elemzés így túlságosan felfújja a második és harmadik preferált márkák teljesítményét.
A fenti ötosztályos megoldásban csak az Apple dominál egyértelműen bármelyik szegmensben. Ez nem felismerés. Inkább a kiválasztott osztályok számának következménye. Ha több osztályt választunk ki, több olyan szegmenst kapunk, amelyek élesebb preferenciakülönbségeket tartalmaznak. Az alábbi táblázat 10 osztályt mutat. Könnyedén felvehetnénk több osztályt is. Hányat? Van néhány dolog, amivel kompromisszumot kell kötnünk:
- Milyen jól illeszkedik a modellünk az adatokhoz. Ennek egyik mérőszáma a BIC, amely a látens osztályok táblázatainak alján látható. Ha minden más tényező egyenlő, minél alacsonyabb a BIC, annál jobb a modell. E kritérium alapján a 10 osztályos modell jobb. Minden más azonban ritkán egyenlő, ezért a BIC-et csak durva útmutatásként kezelje, amely csak néha hasznos.
- A teljes oszlop stabilitása. Ha összehasonlítjuk a 10 és az 5 osztályos megoldást, láthatjuk, hogy nagymértékben korrelálnak. Azonban a 10 osztályos megoldás az, amely a legpontosabb becslést adja (a műszaki beállítottságú olvasók számára: mivel a modell nem lineáris, a teljes oszlop, amely a többi oszlop súlyozott összege, érvénytelen, ha az osztályok száma rosszul van specifikálva).
- Az, hogy az érdekelt fél számára érdekes márkák magas preferenciapontszámot kapnak-e bármelyik szegmensben. Például az alábbi táblázatban az Apple, a Samsung, a Sony és a Google iránt nagy az érdeklődés, de ha a vizsgálatot egy másik márka esetében végezné, valószínűleg növelni szeretné az osztályok számát, hogy olyan szegmenst találjon, amely rezonál az ügyfélre. Feltéve, hogy a BIC folyamatosan csökken, nincs ebben semmi kivetnivaló.
- A megoldás összetettsége az érdekeltek számára. Minél kevesebb osztály, annál érthetőbb.
A lenti donut-diagram a 10 osztályos megoldás preferenciaarányait mutatja (ill, annak Összes oszlopát).
Látens osztályok profilozása
Miután létrehoztuk a látens osztályainkat, minden személyt egy osztályhoz rendelünk, majd táblázatok létrehozásával profilozzuk az osztályokat. Az alábbi táblázat például az 5 osztályos megoldásunkat mutatja be terméktulajdonlás szerint. Ha összehasonlítjuk ezt a táblázatot magával a látens osztályos megoldással, láthatjuk, hogy a terméktulajdonlás egybevág a MaxDiff-kérdésekben kimutatott preferenciákkal.
Válaszadói szintű preferenciahányadok
Néha jó, ha a felmérésben minden egyes válaszadóra vonatkozóan rendelkezünk preferenciahányadokkal. Általában ezeket további elemzések (pl. több adatforrást használó szegmentációs vizsgálatok) bemeneteként használják. A látens osztálymodell becslése után ezek könnyen kiszámíthatók (ez egy standard kimenet). Azonban nem szuperpontosak. Amint azt fentebb tárgyaltuk, nincs elegendő információ egy személy tényleges preferenciasorrendjének kiszámításához, így elkerülhetetlen, hogy a preferencia-részesedések számítása nagymértékben a többi válaszadó által megosztott adatokra támaszkodjon, amit viszont az befolyásol, hogy a látens osztálymodell mennyire jól magyarázza az adatokat. Az alábbi táblázat az 5 osztályos modellből származó, válaszadói szintű preferenciahányadokat mutatja.
Az alábbi táblázat az egyes válaszadókra kiszámított valószínűségi százalékok átlagát mutatja. Ezek nagyon hasonlóak a látens osztályos modell összes oszlopában szereplő eredményekhez, de nem teljesen azonosak (ismét, ha szuper-technikusok vagyunk: ez a számítások nemlinearitásából adódik; a köztük lévő nagy különbség arra utalna, hogy a modell rossz). Az Összes oszlop pontosabb, mint az ebben a táblázatban látható Átlagos valószínűség % oszlop.
Az alábbiakban az egyes márkák preferenciaeloszlásainak hisztogramjait ábrázoltam. Ezek az eloszlások az 5 osztályos modellünkön alapulnak. Így nem képesek a preferenciákban nagyobb eltérést mutatni, mint ami a korábbi elemzés során kiderült. Ha több osztályt használnánk, nagyobb variációt kapnánk. Vannak azonban jobb módszerek is ennek az eredménynek az elérésére.
Az alábbi táblázat egy még összetettebb modell, az úgynevezett boosted varying coefficients modell preferenciamegoszlásait mutatja. (Ezt nem fogja megtalálni a tudományos szakirodalomban; mi találtuk ki, de a kód nyílt forráskódú, ha bele akar ásni). Ez jobb eloszlásokat mutat minden egyes márka esetében (szélesebb = jobb). Egy technikai jellegű blogbejegyzés, amely ezeket az összetettebb modelleket tárgyalja, itt található.
Az alábbi táblázat az egyes válaszadók preferencia-részesedését mutatja be ebből a modellből. Nézzük meg az 1. és a 13. válaszadót, akiket a bejegyzés elején vizsgáltunk. Az első válaszadó egyértelmű preferenciája a Microsoft és a Google iránt, valamint az IBM, a Nokia és a Yahoo iránti ellenszenve átüt, még akkor is, ha a sorrend némileg eltolódott. A 13. válaszadó ellentmondásos választása az Apple javára oldódott fel, amelyet kétszer is a legpreferáltabbnak jelölt meg.
Ezekből a válaszadói szintű arányokból a Mean Probability % az alábbi táblázatban látható módon alakul ki, ami ismét elég jól egyezik a látens osztályelemzés eredményével.
Preferencia-szimuláció
A MaxDiff marketingalkalmazásaiban az emberek néha alternatív termékek között választanak. Ilyen tanulmányok készítésekor érdekes lehet megérteni a preferenciahányadokat, miután eltávolítottunk néhány alternatívát. Ez szuperegyszerű. Mindössze annyit kell tennünk, hogy töröljük a kizárni kívánt alternatívák oszlopait, majd a számokat újraalapozzuk, hogy azok összege 100% legyen. Az alábbiakban a Samsung és az Apple eltávolításával újraszámoltam az elsőbbségi részvényeket.
Summary
A MaxDiff esetében az egyszerű elemzési módszerek érvénytelenek. Durván félrevezető következtetésekhez vezetnek. A fejlettebb technikák, például a látens osztályelemzés alkalmazása viszont lényegesen értelmesebb eredményeket ad.”
Ha ide kattint, bejelentkezhet a Displayr-be, és megtekintheti az összes olyan elemzést, amelyet ebben a bejegyzésben használtunk. Ide kattintva talál egy bejegyzést arról, hogyan végezze el ezt saját maga a Displayrben, ide kattintva pedig arról, hogyan végezze el a Q-ban.