Výsledky testu dotazování obrazu vnímání kolekce objektů
(Brand Image, Customer/Employee Satisfaction, Life Style, etc.)

Problém

Navržený postup s akronymem OBIMA - Object Image Analysis je založen na dříve publikované myšlence (McCullough, 2013). Bylo nutno zjistit, zda je tento postup života a konkurence schopný. 

Řešení

Testovací dotazník jsem navrhl jako zjišťování obrazu 4 značek (Apple, Lenovo, Samsung a Sony) na základě 12 aspektů. Charakteristicky těchto značek jsou dostatečně známé natolik, aby se v testu mohla potvrdit nebo vyvrátit užitečnost nově navrženého postupu.

O vyplnění dotazníku jsem požádal mailem asi 100 pracovníkům firem, ve kterých by o daný typ výsledků mohl být zájem. Rovněž jsem vyzval své kolegy v g82, s.r.o. Dotazník otevřelo 57 a dokončilo 47 respondentů. Dostatečný objem dat vhodných pro zpracování mělo 52 rozhovorů. Děkuji všem, kdo byli ochotni dotazník vyplnit. 

Průměrná doba dotazování od otevření dotazníku až do jeho opuštění byla necelých 14 minut, modus byl asi 11 minut.

Někteří respondenti přerušili vyplňování a vrátili se k němu později. Doby delší než 28 min byly cenzurovány na hodnotu 28 min.

Efekty aspektů (částečné utility) byly odhadnuty programem CBC-HB 5.5.3 (Sawtoothsoftware, Inc.). Použitý model chování je velmi robustní, jak ukazuje obrázek průběhu výpočtu níže. Už po 1000 iteracích se výsledné hodnoty stabilizovaly.

Kvalita odhadů je plně srovnatelná s jinými studiemi atributů s nominálními hladinami. 

Výsledky

Obrázek níže znázorňuje výsledky v procentech "vlivu", jak je obvyklé při použití postupu MaxDiff (MXD - Maximum Difference Scaling). Obrázek znázorňuje i vypočtenou hodnotu prahu (černý sloupec) mezi pozitivní a negativní percepcí. Ta je zde navíc. Postup MaxDiff neumožňuje práh (tzv. ukotvení, viz. dále) určit bez dalších doplňujících otázek.

Pokud by se tato úloha řešila jako MaxDiff se 48 výroky (12 výroků pro 4 značky), bylo by nutno pro přibližně stejnou efektivitu dotazování vytvořit asi 80 obrazovek pro 2 volby (nejvíce a nejméně odpovídajícího výroku) z 5 zobrazených výroků. Takový počet obrazovek není únosný. Minimální možný počet by byl asi 30 obrazovek. Snížení na 20 obrazovek by už bylo na úkor spolehlivosti. V testovaném postupu dotazování bylo vytvořeno 8 obrazovek, každá s možností nejvýše 4 voleb výroků v pozitivním a 4 voleb v negativním smyslu pro pro 4 značky, a 24 obrazovek s možností nejvýše 2 voleb značek pro 12 pozitivních a 2 voleb značek pro 12 negovaných výroků, tj. celkem 32 obrazovek. Náročnost dotazování z pohledu počtu obrazovek a počtu voleb je tedy blízká minimalistickému postupu MaxDiff. Obrazovky, ke kterým respondent neměl vztah, neznal odpověď anebo odpovědi by nebyly pravdivé mohl respondent přeskočit. U postupu MaxDiff není takové vynechání odpovědi možné, navíc vynucená odpověď často vnáší do dat chybnou informaci. 

Poznámka k postupu MaxDiff

• Jeden obří MaxDiff je ve skutečnosti nepoužitelný. Respondent by musel vyjádřit nejméně 30 souhlasů a 30 nesouhlasů pro kombinace různých značek a jejich různých charakteristik. To lze jen těžko požadovat. Proto se používá tzv. MaxDiff se štítkem (labeled MaxDiff), kdy respondent vybírá mezi různými charakteristikami stejné značky. Tento postup vyžaduje o něco více voleb, v daném případě pro každou značku asi z 8 obrazovek po 4 položkách. Preference se získají jen mezi výroky jedné značky, nikoliv mezi výroky pro různé značky. Právě tento nedostatek řešil McCullough rozšířením o postup Q-Sort značek pro každou charakteristiku. Jeho postup však neumožňuje odhad prahové hodnoty mezi pozitivním a negativním vnímáním, tzv. ukotvení. Vyžadovalo by to přidání dalších otázek a nepřijatelně prodloužilo dotazování. 
• Ukotvení v postupu MaxDiff vyžaduje za každou obrazovkou volby položit otázku na hodnocení volby, obvykle na škále. To v zásadě zdvojnásobuje počet otázek. Použitá škála vyžaduje transformaci na nějakou
  hodnotu pravděpodobnosti, a tato transformace nebývá spolehlivá. Tyto problémy OBIMA zcela eliminuje, protože pravděpodobnost odpovídající prahu vnímání odvozuje z četnosti provedených voleb v pozitivní a negativní oblasti vnímání výroků.

Z pohledu interpretace není prezentace výsledků v podobě obvyklé pro postup MaxDiff zcela šťastná, jsou-li pro interpretaci důležité i negativní percepce. Problém je v tom, že vypočtený "vliv" je vždy kladný a rozdíly mezi položkami s malým "vlivem" jsou nutně také malé, i když jejich vzájemné poměry mohou být stejně velké jako u vlivných položek. Není právě snadné interpretovat vztah mezi vnímáním výroku "cenově výhodné a dostupné" pro Apple s hodnotou [pozitivního] vlivu 0.12% a prahem vnímání s hodnotou vlivu 0.62%. Pokud je práh percepce mezi vnímáním pozitivních a negativních aspektů známý, lze vytvořit procentuální stupnici vnímání zhruba odpovídající často používaným top-boxům s kladnými a zápornými hodnotami, jak je tomu na obrázku níže. 

Výsledky jsou v souladu s dobře známým charakterem posuzovaných značek. Diskriminační schopnost mezi značkami a jejich aspekty je také dobrá. Charakteristická je rozporuplnost vnímání výrobků Apple, které si pořizuje jen "někdo". Ostatní 3 značky jsou chápány vesměs pozitivně. Samsung dominuje, Sony je charakteristická kvalitou, kterou si nechá zaplatit, a Lenovo nabízí užitnou hodnotu za rozumnou cenu.

Práh vnímání je určen samostatně pro každého respondenta. Vypočtené procentuální hodnoty percepce budou dobře (i když asi ne absolutně) odpovídat skutečnému zastoupení vnímání v dotazovaném vzorku. Případné segmentace mohou proto mít dobrou vypovídací hodnotu, a to i proto, že určené hodnoty vnímání nejsou vtěsnány mezi dolní a horní hodnotu použité škály v dotazníku (hodnoty utilit nemají žádné omezení).

Konstrukce postupu OBIMA je založena na četnostních charakteristikách a dovoluje řadu dalších zjištění, velmi podobných těm, které jsou dostupné z provozu webových stránek. Tak např. nejvíce vyzývavým byl výrok "Cenově výhodné a dostupné", na který kliklo nejvíce respondentů. Naproti tomu byl pro respondenty nejméně zajímavým výrok "Velmi dobrý servis", nespíš proto, že jen málo respondentů má se servisem nějakou reálnou zkušenost.

Diskuse

Několik respondentů mi poslalo k dotazníku pár poznámek, za které opravdu velmi děkuji. Není nic horšího, než když se vývojář setkává s netečností a nezájmem. Poznámkám rozumím a výtky chápu, ale některé z nich si zaslouží komentář.

Velmi sofistikované ...
Vůbec ne. Je to nejprve třídění výroků pro jednotlivé značky, potom třídění značek pro jednotlivé výroky.

Pro praktické použití trochu dlouhé ...
Dotazování je delší než vyplnění klasické baterie škálových otázek, kdy zjevně převládá tendence označit neutrální odpověď. Ambicí postupu OBIMA je, aby dotazník stimuloval respondenta k relevantním odpovědím.

Poznámka

V realizaci dotazníku byla každá volba aspektu nebo značky směrována na webový server, na něm vygenerována nová vizualizace téže obrazovky bez právě zvolené položky a odeslána do prohlížeče. Čas k tomu potřebný byl asi 10 až 20% celkové doby dotazování. V další verzi dotazníku bude tato funkce realizována přímo ve webovém prohlížeči, tj. bez prodlev serveru.

Míváme 30 výroků a 20 značek ...
OBIMA spoléhá na nejdůležitější vlastnosti objektů. Výzkumy důležitosti aspektů ukazují, že jen velmi zřídka je pro uživatele důležitých víc než asi 4 nebo 5 pozitivních aspektů a zhruba stejný počet negativních. Stejně jako je zákazník marketu schopen výběru z ještě většího počtu produktů, je respondent schopen označit právě ty vlastnosti, které jsou pro něj důležité. Nedůležité vlastnosti může ignorovat, takže na ty důležité má při dotazování více času.

Mám pocit, že se to pořád opakuje ...
Já se naopak domnívám, že baterie škálových otázek vyvolávají tento pocit silněji. Zatímco v baterii musí respondent zaškrtnout odpověď u každé položky, OBIMA dovoluje přechod na další sadu položek i bez odpovědi. Takový respondent pak dostane nižší váhu v celkových výsledcích. 

Často jsem volil(a) v pořadí uvedeném na obrazovce ...
Respondent bude muset být předem upozorněn, že je důležité pořadí volby, ne jen volba samotná. To jsem v testovacím dotazníku opomenul a dostatečně nezvýraznil u jednotlivých otázek. Respondent by měl pochopit princip stupně vítězů. Pokud tomu tak není, je případné zkreslení omezeno znáhodněným pořadím objektů i jejich aspektů pro každého respondenta, a omezení počtu možných voleb.

Někdy nešla vybrat z mého pohledu správná odpověď ...
Stačilo vybrat možnost souhlasu "S žádným z uvedených / nevím". Je to validní a ve výpočetním algoritmu respektovaná odpověď. V další verzi dotazníku bude dostupné samostatné tlačítko pro pokračování.

To nebyl dotazník, ale test osobnosti ...
Dotazník OBIMA je náročnější než škálové baterie. Vyžaduje angažovanost a zamyšlení. U většiny respondentů tomu tak bylo.

Dokola se opakují otázky, u kterých mám pocit, že už jsem na ně odpověděl ...
Na 4 značky je to dlouhé a druhá polovina de facto duplikuje tu první ...
Dotazník má dvě hlavní části, třídění výroků pro jednotlivé značky a třídění značek pro jednotlivé výroky. V první části by tento pocit nastat neměl, pokud respondent rozlišuje mezi značkami. Něco bude potřeba podniknout s druhou částí, ale vynechat ji nelze.

Poznámka

• Předběžná analýza ukazuje, že zisk informace z třídění značek je u některých značek relativně malý oproti jiným značkám. Zdá se (ale není ještě ověřeno, počet značek byl malý), že tuto část dotazníku bude možno zkrátit omezením jen na ty výroky, které byly zvoleny častěji, než je nějaký vhodně zvolený počet voleb.
• Mějme dvě značky, A a B, které mají stejné pořadí preferencí vlastností 1 a 2. Bez třídění obou značek pro každou z obou vlastností by se vůbec nedalo zjistit, jestli je určitá vlastnost lepší u značky A nebo B. Ani po třídění značek nejsou k dispozici preference mezi všemi značkami. Ty se pro daného respondenta získají až při výpočtu zohledněním celého dotazovaného vzorku.
• Druhá polovina dotazníku - třídění značek, má také funkci zkvalitnění výsledků. Pokud respondent neodpovídá v obou částech konzistentně, jeho vliv na výsledná data se sníží. V extrémním případě lze takového respondenta identifikovat a ze zpracování vyřadit. 

Postrádal jsem "únikové možnosti" ve formě "NEVÍM"...
Na otázku "Se kterým z výroků ... souhlasíte?" bylo možno volit poslední položku "S žádným z uvedených / nevím".
Zobrazení další obrazovky bylo automatické. V příští verzi dotazníku přesunu tuto odpověď na tlačítko pro pokračování.

Ve výzkumech používáme více přímočaré formulace, např. "Jaká vlastnost se hodí nejvíce?" ...
Požadavky klienta je samozřejmě nutno respektovat, protože nejlépe zná své zákazníky.

Nefunguje "progress bar" ...
Bohužel, bylo tomu tak. Dotazník byl realizován v software Sawtooth SSI-Web dvěma hlavními smyčkami, uvnitř kterých se při standardním nastavení "progress bar" nemění, takže zhruba jen dvakrát poskočil.

Souhrn

Z mého pohledu postup OBIMA splnil očekávání. Určité úpravy algoritmu budou nutné pro snížení celkové délky rozhovoru, ale zásadní zkrácení by bylo na úkor vypovídací schopnosti a spolehlivosti výsledků.

Postup OBIMA - Object Image Analysis je univerzální. Lze ho aplikovat na jakoukoliv množinu objektů, jejichž vlastnosti lze třídit podle vhodných kritérií. Je-li objektů mnoho a délka dotazníku by přesáhla únosnou míru, je možné vytvořit znáhodněné podmnožiny objektů a výsledky spojit známými postupy bayesiánské matematické statistiky.