Hlédik Erika Hlédik Erika Tel: Szoba: E II. 30

Piackutatás Hlédik Erika

Hlédik Erika Email: [email protected] Tel: 467-7866 Szoba: E II. 30

Piackutatás – a tárgy tematikája

A marketing és piackutatási probléma meghatározása, a kutatási folyamat felvázolása

A probléma-meghatározás folyamata, kutatási terv készítése

A kvalitatív és kvantitatív kutatás közötti különbségek megismerése a kutatás céljai alapján

Betekintés a különbözı kvalitatív és kvantitatív kutatási módszerekbe

A különbözı mérési skálák és a kérdıívszerkesztés szabályainak megismerése

Mintavétel és mintanagyság meghatározása

A piackutatási eredmények értelmezése a statisztikai adatok alapján

Kutatási jelentés, szóbeli prezentáció készítése

2 Piackutatás /Hlédik Erika

3

Követelmények- szeminárium

Szemináriumi feladatok (60%): Mélyinterjú készítése és elemzése csoportokban kiadott guide alapján

Kérdıíves adatfelvétel kiadott kérdıív és mintakeret alapján

Kutatási terv készítés

ZH (40%)

a kötelezı irodalom, az elıadások, szeminárium anyaga

Piackutatás /Hlédik Erika

4

Követelmények

Plusz pontok szerzésének lehetısége (min. 10 elıadáson való részvétel) – a szemináriumi munkán elért pontszám 10%-kal növelhetı)

Minimális elvárás – min. 51 % elérése a minden szemináriumon kiadott feladat esetében, illetve minimum 51% teljesítése a Zh-n.

KM:

Vizsga – a zh-n 66%-ot elért hallgatók esetében a vizsgajegy kiváltható a szemináriumokon szerzett pontszámmal.

Egyébként a vizsga és a szemináriumi munka 50%-50%-os súllyal számít be a vizsgajegybe.


Szakirodalom Kötelezı szakirodalom: Veres-Hoffmann - Kozák: Bevezetés a piackutatásba 1-219. oldal Ajánlott: 1. N. K. Malhotra: Marketingkutatás, Mőszaki Könyvkiadó, Budapest, 2007 2. Earl Babbie: A társadalomtudományi kutatás gyakorlata, Balassi K., Budapest, 2003 3. Wendy Gordon – Roy Langmaid: Kvalitatív piackutatás, HVG 1997 4. Sajtos László - Mitev Ariel: SPSS kutatási és adatelemzési kézikönyv, Alinea Kiadó, 2007


Hasznos linkek Piackutató szövetségek: – Professzionális Piackutatók Szövetsége: – Piackutatók Magyarországi Szövetsége : Legismertebb piackutató ügynökségek: – AGB Nielsen: – GFK Hungaria: – Research International Hoffmann: – Szonda Ipsos: – TNS (Taylor Nelson Sofres): Szaklapok: – Kreatív : – Marketing&Média: – Marketing & Menedzsment: Nemzetközi oldalak: – ESOMAR:

www.piackutatas.org www.pmsz.org www.agbnielsen.net www.gfk.hu www.hri.hu www.szondaipsos.hu www.tns-global.hu www.kreativ.hu www.fn.hu/media www.m-and-m.hu www.esomar.org 6


Hogyan indul a folyamat?

El kell jutnom odáig, hogy kutatásra van szükségem

általában

marketing probléma, -kérdés

Biztos, hogy szükséges primer kutatás?

Költségek

Mit szeretnék megtudni?

Kivel? (= kutató cég kiválasztása)

Milyen módszerrel?

Mennyi idı áll rendelkezésemre a döntésig?

Piackutatás /Hlédik Erika …………

kutatási igény

kutatási projekt

Jellemzı marketing-problémák, -kérdések, amelyek esetén piackutatásra van szükség – 1. A

marketing-munka szinte minden fázisához ill. mind a 4P-hez kapcsolódhat kutatás.

Termék

(PRODUCT):

Piaci helyzet: Milyennek látnak minket az ügyfelek az adott piacon? Hogyan változott a

márkám / díjcsomagjaim / szolgáltatásaim ismertsége az elmúlt idıszakban? Mennyire ismertek a versenytársak termékei? Új szolgáltatás / termék bevezetése: Egy konkrét szolgáltatás / termék-koncepció tesztelése a bevezetés elıtt (pl.: mennyire vonzó / mennyire kelti fel az ügyfelek érdeklıdését az új díjcsomag egy rövid leírás alapján? Érdekelné-e az ügyfeleimet, ha az utazásokon kívül az utasbiztosítást is az irodánál kötheti meg?).

Újrapozícionálás: pl.: jó az nekünk, ha a diákok utazási irodájának tartanak bennünket, vagy szeretnénk ha a fiatal családok is utaznának velünk? Hogyan tegyük népszerőbbé férfi tusfürdınket?)

Termékfejlesztés: Milyen szolgáltatásokat / tulajdonságokat hiányolnak / értékelnének leginkább a vásárlóim? Tényleg azokat a mobiltelefon funkciókat szeretnék használni, amelyeket én (a cég) fontosnak tartok?

Piaci igények feltárása: ha pl. egy új szolgáltatás-területre szeretnénk belépni (pl.: egy kábeltelevízió szolgáltatónak eddig nem volt telefonszolgáltatása, de szeretne belépni erre a piacra, vagy egy utazási iroda repülıjegyek értékesítésével is foglalkozni kezd)


Jellemzı marketing-problémák, -kérdések, amelyek esetén piackutatásra van szükség – 2.

Ár (Price) Ár-tesztelés:

Milyen ár mellett lennének hajlandók a vásárlók áttérni egyik díjcsomagról a másikra? Melyik az a maximális ár, amit még hajlandóak kifizetni a magazinért? Mennyivel többet hajlandóak fizetni az elıfizetıim az „extra” szolgáltatásokért az alapdíjon felül?

Hely (Place)

A szolgáltatások esetében döntı jelentıségő lehet a tevékenység

folytatásának a helye: személyes kontaktus esetén (ügyfélszolgálati iroda, fodrászüzlet, bankfiók, autószerviz, étterem,..), telefonon (telefonos ügyfélszolgálat), vagy online ügyfélszolgálat. Telephelykutatás: Hol érdemes fiókot/éttermet/autószervizt nyitnom, hogy a szolgáltatásomat sokan, könnyen elérhessék?


Jellemzı marketing-problémák, - kérdések, amelyek esetén piackutatásra van szükség 3. PROMOTION:

Új reklámanyagok tesztelése: kreatív- ill. kreatív koncepció –tesztelés Koncepció-tesztelés:

pl. azt az irányt válasszuk, amelyik fı

motívuma a bizalom, vagy azt, amelyiknek a mellékhatásmentesség? Kreatív-tesztelés:

pl. a sapkás bácsit válasszuk a képre, vagy a

nagymamát az unokával?

Kommunikáció tesztelése: Megértik-e a vásárlók az üzenetünket? –

Message Recall Test-ek – folyamatosan monitorozható

Vállalati image: PR-téma – Milyen a cég image-e a vásárlók szemében?

Egyesülés után pl. különösen fontos lehet! A lista nem teljes: bármikor felmerülhet egy egyedi kérdés!

A piackutatás szerepe és helye a munkafolyamatban

A piackutatás szerepe:

Feltár

piac megismerése

Irányt mutat

pozícionálás, piaci rések meghatározása

Segít a döntésben

koncepció, termékfejlesztés, kreatív fejlesztés

Visszajelzést ad

kampányhatékonyság

A kutató segít, a kutatás eszköz, a kutatás információt ad

A döntés viszont az ügyfél kezében van!


A piackutatás szerepe és célja A piackutatás magába foglalja az információknak a feltárását, győjtését, elemzését és felhasználását.

Egy másik megközelítés, ami alapján a piackutatás szerepét meghatározhatjuk az az, hogy a vezetés milyen célra használja azoknak eredményeit.

A piackutatást általában

Tervezésre - melyik marketinglehetıség ígéretes a cég számára, és melyik nem az

Problémamegoldásra - olyan rövid- és hosszútávú döntésekre összpontosít, amelyeket a cégnek meg kell tennie a marketing mix részeiként

Ellenırzésre használják - segít a vezetésnek megtalálni a problémát és megoldást javasolni

A piackutatás fı célja, hogy információk győjtésével segítse a vezetık munkáját. 12 Piackutatás /Hlédik Erika

Ki végez piackutatást? A cégek három fı típusa készít piackutatást:

Gyártók és szolgáltatók

Reklámügynökségek

Piackutató ügynökségek


Köszönöm a figyelmet!

Piackutatás Hlédik Erika


A piackutatás folyamata

3

Piackutatás folyamata Marketing probléma

Konceptualizáció

Operacionalizálás

Kutatási módszer kiválasztása

Populáció és a mintavétel

Terepmunka

Adatfeldolgozás, elemzés

Kutatási jelentés Piackutatás /Hlédik Erika

Forrás: Babbie,Társadalomkutatás gyakorlata

Konceptualizáció Konceptualizáció - Az a folyamat, amelynek során meghatározzuk, hogy az egyes kifejezéseken mit fogunk érteni. (pl. lojalitás) Az operacionalizálás során a változók méréséhez vezetı konkrét empirikus eljárásokat nevezzük meg. •Mérés - Miként mérjük a vizsgált változókat? – A mérés terjedelme (pl. egy sem) – az elérendı precizitás meghatározása, mérési szint •Kérdıívszerkesztés

4

Piackutatás

5

Piackutatás osztályozása Piackutatás fajtái

szekunder

Korábbi kutatások eredményeként „másodkézbıl” állnak rendelkezésre.


primer

A vállalat egy konkrét marketingprobléma megoldására elsıdlegesen győjtött információk.

6


primer

szekunder Belsı vállalati információk

Megkérdezésen alapuló

Külsı, hazai Teszt, kísérlet Nemzetközi

ON-LINE Piackutatás /Hlédik Erika

Megfigyelés

7


primer

szekunder Belsı vállalati információk Külsı, hazai

Nemzetközi

ON-LINE Piackutatás /Hlédik Erika

Kvalitatív

Kvantitatív

Piackutatás célja A kutatás célja lehet: – Feltáró – a probléma megismerése, döntési alternatívák vázolása » kvalitatív technikák – Leíró – esemény, helyzet leírása (piaci jellemzık, funkciók leírása, termékjellemzık leírása, célcsoport leírása) » megkérdezés és megfigyelés – Magyarázó (ok-okozati) – a marketingváltozók kapcsolatának meghatározása (miért) 8 Piackutatás » kísérlet

9

Kutatási terv Probléma meghatározása Szekunder kutatás Mintatervezés Kérdıívfejlesztés Adatgyőjtés módszere Adatfeldolgozás módja


Határidık, költségvetés

A kutatások osztályozása primer

- szekunder

egyedi (customized) - elıfizetéses (szindikált)

fogyasztói piac - szervezeti piac (business to business)

rendszeresség szerint •

folyamatos kutatás

•

eseti, ad hoc kutatás

•

tracking kutatás, szabályos idıközönként követjük a vizsgált változókat

A kutatási módszer kiválasztása A megkérdezés módszerelemei

kommunikációs mód: személyes, telefonos, írásbeli, internetes

sztenderdizálás foka: kötetlen , sztenderdizált

tárgy: egy téma, több téma

gyakoriság: egyszeri, ismételt, panel

feljegyzési forma: személyes, mechanikus

megkérdezettek: személyes, háztartás, vállalat, intézmény

Kommunikáció módja I.

Személyes megkérdezés:

hol: otthon, bevásárlóhely, utca, ...

papírral és tollal (PPI - paper and pencil interview)

CAPI (Computer Assisted Personal Inteviewing) - laptopokkal készül

+ kérdezıbiztosi hibák csökkentése + gyors adatfeldolgozás + komplex kérésprogramok - technikai hibák - alkalmazás korlátozott célcsoportban

Kommunikáció módja II.

Telefonos megkérdezések

megfelelı telefonellátottság 60-70%

rövidebb interjúk

PPI

CATI (Computer Assisted Telephone Inteviewing) +gyors, kevesebb hiba + a kérdezı ellenırizhetısége + speciális réteg elérhetı vele + nemzetközi kutatások - idıkorlát

bemutatóanyagokat nem lehet használni

magas beruházási költségek

kapacitás

Kommunikáció módja III -IV.

Írásbeli megkérdezés postai

úton, postai panel (pl. újság olvasói, rádióhallgatottság)

olcsó és gyors

„kemény kérdések”- ellátottság, beszerzési szándék

nehéz kontrollálni a kitöltı személyt

merítési szint, emlékeztetı levelek

Internetes megkérdezés email,

web (HTML)


Kvalitatív piackutatás

Piackutatás – elıadás

1

Tartalom

Kvantitatív és kvalitatív kutatás Kvalitatív kutatási módszerek Mélyinterjú (részletesen) Fókuszcsoport (részletesen) Megfigyelés

Konkrét kutatási példák

Tartalomelemzés Esettanulmány

2

(1)

A piaci információkkal szemben támasztott követelmények A piackutatás célja és feladatai: Pontos és megbízható információk szolgáltatása - a piacról - termékekrıl, szolgáltatásokról, jelenségekrıl - tendenciákról, eseményekrıl, a piac szereplıirıl, összefüggésekrıl Elvárások:

• Relevancia • Teljesség • Pontosság • Idıszerőség • Mérhetıség • Gazdaságosság

3

(1)

A kutatás megtervezése

T Z Z Z Z Z Z Z Z Z Z

•

PROBLÉMA VAGY CÉL MEGFOGALMAZÁSA (+HIPOTÉZIS)

•

SZEKUNDER KUTATÁS

•

A VIZSGÁLAT ELEMZÉSI EGYSÉGE: – kik / mik az alanyok tervezett MINTAVÉTEL – hogyan biztosítja a minta reprezentativitását

•

A MÉRÉS: – melyek a kutatás változói (dimenziók, fogalmak) – hogyan definiálom ıket pontosan (konceptualizáció) – hogyan teszem ıket mérhetıvé (operacionalizáció) – a mérıeszköz bemutatása (konkrét kidolgozott kérdések / kérdéslista-vázlat)

•

ADATGYŐJTÉSI TECHNIKÁK: – kvalitatív és kvantitatív

•

ADATGYŐJTÉS ÉS ELLENİRZÉS + ADATFELDOLGOZÁS – adatok összegyőjtése – adatok rögzítése (átirat vagy adatmátrix) – adatellenırzés, adatjavítás ADATELEMZÉS (elemzési terv + kidolgozás) IDİZÍTÉS, HATÁRIDİK + KÖLTSÉGVETÉS / ERİFORRÁSOK

• •

4

(1)

Tipikus kutatási problémák… •

Van-e igény az új termékünkre?

•

Ki a fogyasztóm és mekkora a potenciális piacom?

•

Milyen a vásárlási döntési folyamat?

•

Mik a fogyasztói preferenciák?

5

(1)

…és megoldásaik: módszerválasztás Feltáró kutatások: Nem ismert a probléma természete kvalitatív technikák Leíró kutatások: Cél, hogy pontos képet adjon a fogyasztók szokásairól, értékítéletérıl, szociodemográfiájáról, stb. kvantitatív technikák

6

Mindkét esetben lehet kvalitatív, kvantitatív kutatásnak relevanciája!

(1)

Amikor a kvali+kvanti egymást támogatja Pilot-mélyinterjúk vagy fókuszcsoportok a kérdıív tematika elıkészítéséhez: pl. ügyfél-elégedettség

(TRI*M alapozó)

A kvantitatív eredmények finomhangolása: pl. megvan a fogyasztói szegmens és annak mérete: mivel tudom megragadni ıket? 7

(2)

Primer kutatási módszerek

8

Kvantitatív

Kvalitatív

• Megfigyelı jellegő • Mystery shopping • Felméréses, megkérdezéses • Önkitöltıs kérdıívek • Postai kérdıívek • Szóbeli megkérdezés • Bevásárlóhelyi megkérdezés • Telefonos megkérdezés (CATI) • Online megkérdezés (online, CAWI) • Kísérlet

• Interjúk (egyedi, páros, stb.) • Fókuszcsoportos beszélgetések +Megfigyelés (!) +Esettanulmány +Tartalomelemzés

(3)

Primer kutatási módszerek

Kvantitatív szemléletmód: - Számolásra és mért adatokra fókuszál és mennyiségben méri a szituációkat és jelenségeket - Rendszerességeket és szabályszerőségeket keres 9

Kvalitatív szemléletmód: - Érthetı szituációkra fókuszál / jelenségek egy beavatott nézıpontból -Specifikumokat keres -„miért?”, „hogyan?”-ra keres választ (1)

Kvalitatív: „HOGYAN?” , „MIÉRT?” • A vásárlói, illetve fogyasztói magatartás (vélemények, attitődök, motivációk) vizsgálata • Leírni és (ok-oksági összefüggésekkel) megmagyarázni a fogyasztók adott szituációban mutatott viselkedését • Igény a kvalitatív kutatásra a következık miatt: - komplexebb fogyasztói környezet - differenciált kínálat - a fogyasztói döntés emocionális arányának erısödése

10

(2)

Kvalitatív és kvantitatív módszer I. A kvantitatív módszerek • azon alapulnak, hogy az emberi hozzáállás, magatartás is mérhetı, tehát számszerősíthetı • valamint hogy az így nyert adatok statisztikai módszerekkel elemezhetık • a kvantitatív eljárást megfelelı elemszámú mintán kell végezni • az eredmények megbízhatósága és pontossága meghatározható • standardizált kérdıív alkalmazása

11

(1)

Kvalitatív és kvantitatív módszer II.

A kvalitatív módszerek • általában mélyebb, árnyaltabb ismeretek megszerzésére irányulnak • viszonylag kis elemszámú mintán történik az adatfelvétel • a kapott eredmények nem számszerősíthetık, nem mérhetık • a kvalitatív vizsgálatok abban az esetben alkalmazhatók sikeresen, amikor a különbözı viselkedésformák, magatartásbeli sajátosságok mozgatórugóit igyekeznek feltárni.

12

(1)

Kvalitatív és kvantitatív módszer III. Megnevezés

Minıségi vizsgálat

Mennyiségi vizsgálat

Cél (kérdés)

megérteni a probléma okait és a motivációkat Mit, miért hogyan?

meghatározni a mintából nyert adatokat és általánosítani az eredményeket Mennyi?

Minta

kis minta, nem feltétlenül reprezentatív (max. 100 fı)

reprezentatív nagy minta (min. 50 fı)

Adatgyőjtés

nem strukturált (személyhez igazodó)

strukturált (standard)

Adatelemzés

nem statisztikai

statisztikai

Eredmények típusa

állítás, értelmezés, leírás

adatok, mutatók, tendenciák, összefüggések

Eredmény

kiinduló probléma megértése

döntési javaslatok

Felhasználás

feltárás, megértés, megismerés feltárt jelenségek verifikálása, bizonyítás

Tudományos háttér

pszichológia, szociálpszichológia, antropológia, nyelvészet

13

matematika, statisztika, demográfia, szociológia

(4)

Kvalitatív módszerek Egyéni mélyinterjú Páros / háromszög interjú megerısítés – páros döntés ütköztetés Kiscsoportos interjú 4-5 fı aktivitás homogenitás Klasszikus fókuszcsoport 6-10 fı 1,5-2 óra forgatókönyv videó-felvétel, átiratok Kreatív csoport 5-6 fı 2 óra, 4-5 óra kreativitás kellékek 14

(5)

Interjú: interjú típusok

Erısen formalizált

Közepes mértékben formalizált

Nem formalizált

Strukturált interjúk

Félig-strukturált interjúk

Strukturálatlan interjúk

Pl. survey kérdıív

Pl. mélyinterjúguide, fókuszcsoport guide

adatmátrixba rendezhetı, vannak benne számszerősítve – elemzésben számszerősíthetı arányokra, méretekre, részek is, de összefüggésekre is alapvetıen kvalitatív fókuszálhatok elemzést igényel 15

Pl. narratív mélyinterjú

kvalitatív adathalmaz – elemzése logikai rendezéssel, tartalomelemzéssel stb.

(5)

„Interjú kör” Bevezetés Bemutatkozás Válaszadó választás Interjú tárgya Jegyzetek vagy felvételek készítése Személyes kérdések Anonimitás Interjú hossza

Kérdésfeltevés Egy idıben egy téma Rövid, világos és tárgyilagos Nyitott kérdések

Válaszok rögzítése Összegzés Jegyzetelés / kiírás Befejezés Összegzés Ígéret Egyéb kapcsolat

16

Megvizsgálni a válaszokat Bátorítás Kidolgozás Tisztázás Kérdés megismétlése Válasz megismétlése

A válaszok értékelése Teljesség Világosság Fontosság Következetesség

(5)

Példák mélyinterjús kutatásra I.

4 páros interjú általános iskolásokkal és 4 mélyinterjú iskolavezetıkkel az iskolai étkeztetésrıl (iskolai büfé kínálata, preferenciák) 20 mélyinterjú különbözı iskolázottságú magyarokkal, illetve újságírókkal véleményformálókkal a flamandokról, a nép image-érıl vállalati flottamenedzserek, gazdasági igazgatók és ügyvezetık körében 10 mélyinterjú az autólízingelésrıl (attitőd, hajlandóság – potenciális ügyfelek) 2 db 6 fıs csoport és 6 mélyinterjú a margarin-használatról háziasszonyok körében

17

(4)

Példák mélyinterjús kutatásra II.

18

erektilis diszfunkcióban (korai magömlés) szenvedı férfiakkal egyéni mélyinterjúk (társuk miatt érintett nıkkel fókuszcsoport!) 22 mélyinterjú háziorvosokkal és oltóközpontok vezetı orvosaival: hepatitis vakcina attitődökrıl utazók körében 14 mélyinterjú orvosokkal és diabetológusokkal új termék bevezetésérıl, szóróanyagok tesztelése a Soros Alapítvány Oktatási és Egészségügyi Megaprogramjával kapcsolatos szakértıi vélemények (20-20 mélyinterjú 10-10 támogatóval/ellenzıvel – szakértık, újságírók, politikusok)

(5)

Fókuszcsoport

19

(4)

Kvalitatív kutatási design példa: „biztosító kvali alapozó” Javasolt kutatási design: ∑ 6 db, egyenként 6 fıs csoport Helyszín

Nagykanizsa (2 csoport) Vegyes, de minimum 3 férfi csoportonként szervezés a Biztosító ügyfél listájából

Budapest (2 csoport)

Nem Biztosító ügyfél

Debrecen (2 csoport)

Biztosítási szerzıdések száma

Több biztosítással rendelkezik: van életbiztosítása, és mellette vagy lakás vagy gépkocsi (lehetıleg CASCO) biztosítása is van

Életbiztosítás típusa

A részvevık körében, csoportonként vegyesen tradicionális / befektetéses / hitelhez kapcsolódó

Életkor (év) Anyagi helyzet Iskolai végzettség Idıpont

30 – 39

40 – 55

30 – 39

40 – 55 30 – 39 40 – 55 C1, B Minimum középiskola, de csoportonként legalább 4 fı felsıfokú végzettséggel rendelkezik 2008 november 5. 2008 november 6. 2008 november 4. (kedd) (szerda) (csütörtök) 16.30

19.00

16.30

19.00

16.30

19.00

Az interjúalanyok szervezése ügyfél adatbázisból történik, a résztvevık 5000 Ft értékben, az elküldött interjúalanyok (létszám felettiek) 2000 Ft értékben kapnak ajándékutalványt A csoportokról szó szerinti kiírás és videofelvétel készül, ezenkívül lehetıség van Budapesten a csoportos beszélgetések élıben történı nyomon követésére (detektívtükrön keresztül) ill. vidéken zárt láncú video-hálózaton keresztül. A csoportos beszélgetések tanulságait, eredményeit részletes szöveges magyar nyelvő elemzı prezentációs anyagban foglaljuk össze a Biztosító számára (PPT formátumban) Az eredmények átadása elektronikusan történik, ezen kívül ajánlati árunk magyar nyelvő prezentáció költségeit is tartalmazza (egy alkalommal)

20

(5)

Példák fókuszcsoportos kutatásokra I.

Telecom/IT: • videotelefonok és a hozzájuk tervezett tarifacsomagok koncepciótesztje – 4 fókuszcsoport • ügyfél-szegmentációs kutatás vezetékes telefon használókkal – 8 csoport • mobilszolgáltató márkaimage-e: 4 csoport • 6 csoport: tarifacsomag tesztje erdélyi rokonokat gyakran hívók körében FMCG: • kávé kóstoló csoport: 4-féle instant kávé vak kóstoló tesztje • instant kávé: 6 csoport és 12 mélyinterjú ırölt-pörkölt kávé fogyasztók körében • vízlágyítóval kapcsolatos attitődök és használat háziasszonyok körében (4-6 csoport) • 8 mélyinterjú és 6 csoport 20-29 éves dohányosokkal egy cigarettamárkáról, amelyet ki akarnak vonni a magyar piacról Autó: • új autómárka 2 csoport: élı tesztelés, majd beszélgetés 21

(4)

Példák fókuszcsoportos kutatásokra II.

Média: • férfiaknak szóló magazin elıtesztje (kész lapszám: elsı példány: olvasás+beszégetés) – 2 csoport és 6 mélyinterjú • 2 csoport az egyik nıi újság olvasóival és 4 csoport egy másik nıi újságot elhagyó olvasókkal • új napilap-design koncepciótesztje – 4 csoport Health care: • felfújódást megszüntetı tablettával kapcsolatos kutatás ilyen problémával küzdı körében – 4 csoport • C-vitamin pezsgıtabletta reklámjának elıtesztje – 2 csoport • új intim betét koncepció-teszt – 4 csoport 12-16 éves lányok körében • 4 csoport férfiakkal, akik eldobható borotvát használnak Egyéb: • HR-vezetıkkel 2 csoport az on-line távtanulási lehetıségek és egy konkrét lehetıség megítélésérıl (koncepcióteszt) 22

(4)

Konkrét fókuszcsoport példa

fókuszcsoport guide! (bemutatás) validált képszettek! (bemutatás)

23

(15)

Megfigyelés I. •

a cselekvés, beszéd, teljesítmény, viselkedés stb. közvetlen észlelésen alapuló adatgyőjtési módja A megfigyelı lehetséges pozíciói: Teljes részvétel

Elsıdleges részvétel

Másodlagos részvétel

Nem vesz részt

Egészen résztvevı

Résztvevıként megfigyelı

Megfigyelıként résztvevı

Egészen megfigyelı

Résztvevı megfigyelés Pl. etnográfusok, antropológusok

Strukturált megfigyelés

A részt vevı megfigyelés adatai: • a kutató (szótlanul) megfigyel, miközben a célcsoporttal közös tevékenységet végzi tárgya: gazdasági jelenség, emberi magatartás elınye: kis ráfordítás, gyors eredmény, rugalmasság 24 hátránya: látszat ≠ valóság, szubjektivitás

(3)

Megfigyelés II. Példák: Pl. néhány esetben a próbavásárlás (kvanti-kvali) Pl. forgalomszámlálás, látogatószámlálás, utasszámlálás (kvanti!) Pl.: játszótéren a szülık viselkedése Pl. áruházban a polcok forgalma, reakciók

25

(3)

Tartalomelemzés •

kutatási eljárás, amely segítségével a szövegadatokból olyan következtetések vonhatók le, amelyek a közleményekben nyíltan nincsenek kimondva, de a szöveg szerkezetébıl, az elemek együttes elıfordulásából és azok törvényszerően visszatérı sajátosságaiból kiolvashatók (pl. szóhasználat, ismétlések, szünetek stb.) tudatos, módszeres formában végezzük az összesítéseket kvalitatív elemzés, minthogy a közölt tartalmak látens szintjét, mélyrétegét próbálja megragadni a közlések értelmét kategóriákba rendezzük

• • •

26

(3)

Esettanulmány I. • • •

egy meghatározott esettel kapcsolatban végezzük az adatokat rendszerszerően vizsgáljuk (adatgyőjtés) és elemezzük „a kutató teljesebb képet nyerhet arról, hogy miért úgy történtek a dolgok ahogy, és mit lenne még érdemes közelebbrıl is megvizsgálni a jövıben”

„célja, hogy az olvasó az író helyébe tudja magát képzelni, és a kezdeti probléma felvetésétıl, a rossz megoldásokon, hibákon keresztül egészen a megoldásig mintegy „átélje” a megoldás menetét”

27

1. definíciós fázis: körüljárjuk a problémát, adatokat győjtünk, tömören megfogalmazzuk 2. két vagy több megoldási opció (minél inkább érzi az olvasó a probléma súlyát, annál jobb) 3. javasolt/megvalósult megoldás menetét, amely kielégítı, vagy még annál is jobb eredményt produkál (sikertörténet!)

(3)

Esettanulmány II.

Pl. piackutatásban, de orvostudományban, közgazdaságtanban, jogtudományban és oktatástudományban, szociális munkában is Pl.: intézmény-látogatás pl. nyelviskola-image; szelektív hulladékgyőjtés bevezetési lépései, megtakarítási tervek sikere egy vállalatnál stb. • több, mint a tények szimpla leírása • Eszköz: saját megoldásunk helyességérıl, hatékonyságáról való „meggyızésére” is, pl. sikeres üzleti megoldás • problémakör pontos definiálása: szőkítsük a megoldásra váró problémák, kérdések számát maximum 3-4-re + plasztikusan írjuk le Hármas felosztás : 1. probléma 2. megközelítés/megoldás 3. eredmény/kimenetel 28

(3)

Primer kutatások az Interneten Kvantitatív kutatások: • címlistás kérdıívek • nyitott (weboldali) kérdıívek • pop-up (minden n-dik látogató számára jelenik meg) • kérdıíves lekérdezés Kvalitatív kutatások: • levelezés • virtuális csoportok • közösségek • fókuszcsoportok • mélyinterjúk • online kísérletezések

29

(2)


30

Piackutatás Elıadás Hlédik Erika 2010. Április 10-17.


Kvantitatív kutatás Mintavétel




Mintavétel - Áttekintés a különbözı mintavételi tervekrıl, amelyek segítségével meghatározhatjuk, hogy az alapsokaság mely elemeitıl győjtjük be a kutatáshoz szükséges adatokat. Tipikus kérédsek: • Vegyünk-e mintát? • Ha igen, milyen eljárással? • Milyen típusú mintát vegyünk? • Mekkora legyen a mintanagyság? • Mit tegyünk a nemválaszolási hibák ellenırzése és módosítása érdekében? Piackutatás /Hlédik Erika

Minta és cenzus Cenzus – A sokaság elemeinek teljeskörő számbavétele A sokaság paraméterei a teljeskörő felvétel után közvetlenül kiszámíthatók. Minta – A sokaság elemeinek egy csoportja, amelyet azért választottak ki, hogy részt vegyenek a kutatásban. A mintajellemzıket ezt követıen arra használjuk, hogy következtetéseket vonjunk le belılük a sokasági paraméterekre.

Minta vagy cenzus? Cenzus – nagy elemszám, magas költségek, idıigényes – néha nem lehetséges


Példák 1. Fogászat - ügyfél elégedettség 2. Kisgyermekes anyukák, pelenkavásárlási szokások 3. Új ízesítéső Túró Rudit szeretnénk bevezetni a magyar piacra. A termék bevezetése elıtt szeretnénk megtudni, hogy a fogyasztók mely rétegei (nem és életkor szerint) kedvelik ezt az ízesítést.


Mintavételi eljárás Az alapsokaság meghatározása A mintavételi keret meghatározása A mintavételi technika kiválasztása A mintanagyság meghatározása A mintavétel kivitelezése


Populáció (alapsokaság) Populáció – Azoknak az elemeknek az összessége, amelyek valamilyen közös jellemzıvel bírnak és megfelelnek a marketing kutatási probléma céljának. Például: Lakossági: •

„18-49 éves felnıtt magyar lakosság”

•

„18 év feletti nık”

•

„BGF hallgatók”

B2B: • Bank – alapsokaság - a bank ügyfelei

Célcsoport – Lehetnek egyének, háztartások, cégek, intézetek, … Piackutatás /Hlédik Erika

Célcsoport Célcsoport – Azoknak az elemeknek az összessége, amelyek

rendelkeznek a kutató által keresett információval és amelyekrıl a kutató következtetéseket szeretne levonni. - Pontos állításokat fogalmazunk meg, hogy kinek kell, és kinek nem szabad a mintába kerülnie. Célcsoport Minta: 15+ feletti lakosság, N=1000 Országosan reprezentatív minta a válaszadó neme, kora, iskolai végzettsége és lakhelyének típusa szerint. A kérdezésbıl kizárjuk a populáció azon tagjait, akik az elmúlt 6 hónapban részt vettek piackutatásban, illetve a következı foglalkozások képviselıit: újságírók, média, marketing, piackutatás,… területén dolgozók.


Sokasági elem, mintavételi egység Sokasági elem – az az egység, amelyrıl vagy amitıl az információt keressük. Megkérdezéses felméréseknél: válaszadó

A mintavételi egység sokasági elem vagy egy olyan egység, amely magában foglalja a sokasági elemet, és a mintavételi folyamat egy fázisában kiválasztásra alkalmas. Például: 15 év feletti férfiak 2 mód: • közvetlen – a mintavételi egység a sokasági elem • a mintavételi egység a háztartás, a sokasági elem a háztartásban élı összes 15 év feletti nı


Mintavételi keret Mintavételi keret – A sokaság elemeinek megjelenítése, egy lista, vagy a sokaság beazonosítására szolgáló irányadás Például: telefonkönyv, levelezılista, hozzáférhetı iparági listák, adatbázisok… Adatbázisok: Hoppenstadt, TOP 200, Dunn&Bradstreet,…


Mintavételi technikák Mintavételi technikák

Véletlen MT

Nem véletlen MT

Egyszerő véletlen mintavétel

Önkényes mintavétel

Szisztematikus mintavétel

Elbírálásos mintavétel

Rétegzett mintavétel Csoportos mintacétel Egyéb


Kvótás mintavétel Hólabda mintavétel

Mintavételi technikák Véletlen mintavétel – mintavételi eljárás, ahol a sokaság valamennyi eleme ismert valószínőséggel kerülhet a mintába. Képesek vagyunk arra, hogy egy adott mintanagysághoz tartozó összes lehetséges mintát meghatározzuk, mint ahogy az egyes minták kiválasztásának valószínőségét is. Nem kell minden mintának azonos kiválasztási valószínőséggel rendelkeznie, de képesnek kell lennünk arra, hogy egy adott mintanagysághoz tartozó bármely minta kiválasztási valószínőségét meghatározzuk. Nem véletlen mintavétel – a minta inkább a kutató személyes megítélésén alapszik, mint a mintaelemek véletlen kiválasztásán. A kutató önhatalmúlag, valamilyen meggyızıdése alapján döntheti el, mely elemek kerüljenek a mintába. A nem véletlen minták jó becslést adhatnak a sokasági jellemzıkkel kapcsolatosan. A minta eredményeire vonatkozó pontosságról azonban nem tesznek lehetıvé objektív értékelést. Mivel egyik sokasági elem esetén sem tudjuk meghatározni azt, hogy milyen valószínőséggel kerülhetnek a mintába, a kapott becslések statisztikailag nem általánosíthatók a sokaságra. Piackutatás /Hlédik Erika

Nem véletlen mintavétel Elbírálásos mintavétel – önkényes mintavételi technika, ahol a sokaság elemeit a kutató saját belátása alapján választja ki. + a kutatások korai szakaszában hasznos lehet, amikor a kutatót a probléma feltárásában, megismerésében segíti - Veszélyes lehet leíró vagy ok-okozati viszonyok vizsgálatakor, ha technika gyengéit figyelmen kívül hagyjuk. Examples: Új termék keresletének meghatározására tesztpiacok kiválasztása, áruházak kiválasztása egy új eladótéri reklámrendszer tesztelésére

Hólabda mintavétel – Nem véletlen mintavétel, ahol a válaszadók kiinduló csoportját véletlenszerően választják ki. A többi válaszadó a kiinduló csoport által javasoltakból, vagy az adott információk alapján kerül kiválasztásra. (a javasoltak által újabb javasoltakhoz jutunk el.) Példa: Speciális célcsoportok elérésére, elszórt kisebbségek tagjai, … Piackutatás /Hlédik Erika

Nem véletlen mintavétel Önkényes mintavétel – Nem véletlen mintavétel, amely megpróbál kényelmesen elérhetı elemekbıl egy mintát nyerni. A mintavételi egységek kiválasztása elsısorban a kérdezıre hárul . Például: Utcai megkérdezések, bevásárlóhelyi megkérdezések, magazinokból kitéphetı önkitöltıs kérdıívek, …

Kvótás mintavétel – Nem véletlen, két szakaszból álló, korlátozottan önkényes mintavétel. Az elsı szakaszban a kutató felállítja a sokaság kontrollkategóriáit, azaz a kvótákat. A második szakaszban a mintaelemeket önkényesen vagy elbírálásos alapon választják ki.


Nem véletlen mintavétel Technika

Önkényes mintavétel

Elbírálásos mintavétel

Erısségek

Gyengeségek

Kiválasztás önkényessége, a minta nem reprezentatív, leíró Legolcsóbb, legkevésbé idıigényes, legkényelmesebb és ok-okozati kutatásoknál nem ajánlott Alacsony ár, önkényes, nem túl Szubjektív, általánosítást nem idıigényes tesz lehetıvé

Kvótás mintavétel

A minta bizonyos jellemzık tekintetében ellenırzött, alacsony költségek

Nincs biztosítva a reprezentativitás

Hólabda mintavétel

Kevés jellemzı becsülhetı

Idıigényes


Véletlen mintavétel Egyszerő véletlen mintavétel – ahol a sokaság valamennyi eleme ismert és azonos valószínőséggel kerülhet a mintába. Minden egyes elemet a többitıl függetlenül egy véletlen eljárással választják ki egy mintavételi keretbıl. Példa: Lottó,

Szisztematikus mintavétel – ahol a mintát oly módon kapják, hogy véletlenszerően kijelölnek egy kiindulópontot a mintavételi keretben, és ezt követıen minden i-edik elemet kiválasztják. Példa: Az alapsokaság nagysága:100000 Mintaméret: 1000 Mintavételi intervallum :100 Véletlen-szám generálás 1-100 Piackutatás /Hlédik Erika Véletlen kiválasztás: 55 a mintába kerülı sorszámok: 55, 155, 255, ……

Véletlen mintavétel Rétegzett mintavétel – A rétegzett mintavétel kétlépcsıs folyamat, amelyben a sokaságot részsokaságokra, más néven rétegekre osztják, majd minden egyes rétegbıl véletlen eljárással választják ki a mintaelemeket. 2 lépés: 1. Kiválasztják a rétegeket, amelyekben minden eleme csak egyetlen réteg eleme lehet. 2. Minden rétegbıl véletlen eljárással kiválasztják a mintaelemeket. Példa: ………

Arányosan rétegzett mintavétel – az egyes rétegekbıl kiválasztott minta nagysága arányos az adott rétegnek a teljes sokasághoz viszonyított nagyságával. Nem arányosan rétegzett mintavétel– a relatíve „kis arányú” rétegek nagyobb súllyal szerepeltetjük a mintában, mint azt a részarányuk biztosítani. Pl. azokból a rétegekbıl, ahol nagyobb a szórás , több elemet veszünk


Véletlen mintavétel Cluster (csoportos) mintavétel – véletlen minta kétlépcsıs eljárás: 1. Elıször a célsokaságot egymást kizáró, de együttesen véve a sokaságot egészében lefedı részsokaságokra bontjuk. 2. A csoportokból véletlen mintát veszünk Examples: ……….

Egylépcsıs mintaétel – a kiválasztott csoport minden eleme bekerül a mintába Kétlépcsıs mintavétel – a kiválasztott csoportokból véletlenszerően kiválasztunk elemeket. +: Területi mintavétel


Véletlen mintavétel Technika

Erısségek

Gyengeségek

Egyszerő véletlen mintavétel (EVM)

Könnyen átlátható, az eredmények általánosíthatóak

Nehéz a mintavételi keret felállítása. Drága, kisebb pontosság,

Szisztematikus

Növelheti a reprezentativitást, könnyebb alkalmazni, mint az EVM-et,

Csökkentheti a reprezentativitást

Rétegzett mintavétel

Minde fontos részsokaság bekerül a mintába

Nehéz releváns rétegképzı ismérvet találni, drága

Cluster

Könnyő alkalmazni, költséghatékony

Nem pontos, nehéz az eredmények számítása, interpretálása


Mintanagyság meghatározása


Piackutatás / ErikaHlédik


Probléma Baromfifeldolgozó vállalat marketingmenedzsere meg akarja tudni, hogy a budapesti kétfıs háztartások mennyit költenek évente felvágottra. Primer kutatást szeretne készíteni. Mekkora mintát kell vennie?

Mintanagyság A szükséges mintanagyság meghatározása: (1) statisztikai megközelítés – az elıre meghatározott pontossági szint, a megbízhatósági intervallum és a standard hiba figyelembe vételével (2) az elemzések, és az alminták elemzéséhez szükséges minimális elemszám alapján (3) hasonló / korábbi kutatásokban használt elemszámok (4) a kutatáshoz rendelkezésre álló erıforrások.

Market Research / ErikaHlédik

Mintanagyság Pontosság – a maximálisan megengedhetı eltérés a mintastatisztika és a sokasági paraméter között (e.g. +/- 500 Ft …) Megbízhatósági intervallum – az a sáv, amelybe a valódi sokasági paraméter esni fog az adott megbízhatósági szintet feltételezve. Megbízhatósági szint - az a valószínőség, amellyel a megbízhatósági intervallum tartalmazza a sokasági paramétert


Mintanagyság

Változó

Sokaság

Minta

Átlag

µ

X

Arány

π

p

Variancia

б2

s2

Szórás

б

s

Nagyság

N

n

Standard hiba

SE

se


Megbízhatósági intervallumon alapuló megközelítés

-3.

-1.96

-1

0

+1

+1.96

+3.00

95%

95%-os megbízhatósági intervallum


s.d

Mintanagyság meghatározás • átlagbecslés – a vizsgált változó valamilyen átlagos értékkel jellemezhetı, és e körül szóródnak az értékek – pl. éves költés húsárura, n = Zp2 * s2 / ∆2 • aránybecslés – a vizsgált fogyasztócsoportot két részre osztja, amelybıl az egyik a szóban forgó kritérium alapján alapvetıen különbözik egymástól – márkát ismerık vagy fogyasztók aránya n = Zp2 * p (1-p) / ∆2

Minimálisan szükséges mintanagyság meghatározása: Normális eloszlást feltételezve a minimálisan szükséges mintanagyság: 2 – n=(zp * s / ∆max) • zp - a megbízhatóságtól függı érték, amelyet a megválasztott konfidencia % függvényében táblázatból vehetünk • ∆max -az átlagbecslés megengedett eltérése a tényleges átlagtól • s - a válaszok szórásának becsült értéke zp tipikus értékei:

Zp

(95)= 1,96

Zp (97)= 2,17

Zp

(99)= 2,33

Zp (99,9)= 3,1

Feladat – Baromfifeldolgozó vállalat marketingmenedzsere meg akarja tudni, hogy a budapesti háztartások mennyit költenek évente felvágottra. – A marketingmenedzser keresett összeg szórását 10 000 forintra becsüli és – 95%-os megbízhatósági szintet vár el a kutatástól. – Mekkora mintát kell vennie?

Zp(95)= 1,96 táblázatból s= 10000 ∆max = 1000 +/- 1000 Ft eltérés megengedhetı 2 n= (1,96 * 10000 /1000) n= 384,16 n= 385 fı • Mekkora mintára van szükség, ha a megbízhatósági szint 97%, 99%, 99,9%?

• Mekkora mintára van szükség, ha a megbízhatósági szint 97%, 99%, 99,9%? 97% : n= 471 99% : n= 543 99,9% : n= 961

• szórás becslése: • elızı kutatások alapján • Pilotminta • 3σ szabály ( távolság 6)

Aránybecslés: • Cseh közvéleménykutató cég +/- 0,02 pontosságú becslést kíván és 99,9%-os megbízhatóságú becslési intervallumot. A próbakutatás során 50 fı közül a legnagyobb pártot 15-en választanák. Becsüljük meg, hogy a végsı kutatáshoz mekkora minta szükséges?

n = Zp2 * p (1-p) / ∆2

Példa:

Zp (99,9)=3,1 ∆=0,02 p= 15/50 = 0,3 n= (3,1)2 *(0,3*0,7)/(0,02)2 n= 5045,2 n= 5046 • Feladat: mekkora mintanagyság szükséges 99%- , 97%-,95%-os konfidencia intervallum esetén? • Mintanagyság +/- 3, 4, 5% pontosságú becslés esetén...

Mintanagyság meghatározása 3. Az elemzések, és az alminták elemzéséhez szükséges minimális

elemszám alapján • Praktikus megfontolások

N=600

Teltip|Kor

…- 19

20-29

30-49

Budapest

50

50

50

Megyeszékhely

50

50

50

Város

50

50

50

Község

50

50

50

Mintanagyság meghatározása 4. Hasonló / korábbi kutatásokban használt elemszámok

Tipikus mintaelemszámok* személy vagy háztartás Alminták száma

B2B, intézmény

Országos

regionális vagy speciális

Országos

regionális vagy speciális

Nincs vagy kevés Átlagos

1000-1500

200-500

200-500

50-200

1500-2500

500-1000

500-1000

200-500

Sok

2500+

1000+

1000+

500+

*Churchill&Brown: Basic Marketing Research


Piackutatás Elıadás Hlédik Erika 2009. Április 8..





Kérdıívszerkesztés

Kérdés típusok Kérem, mondja meg, mi az Ön legmagasabb befejezett iskolai végzettsége? EGY VÁLASZ! JELÖLJE! FIGYELJE A KVÓTÁT! 8 általános, vagy kevesebb szakmunkásképzı, szakiskola befejezett középiskola/ technikum/felsıfokú tanfolyam befejezett fıiskola, egyetem

Piackutatás / Hlédik Erika

1 2 3 4

Kérdés típusok És becslése szerint összességében hány oldalt olvasott illetve nézett át ebben a lapszámban? EGY VÁLASZ! Az egészet, majdnem minden oldalt. Az oldalaknak körülbelül a háromnegyedét. Az oldalaknak körülbelül a felét Az oldalaknak körülbelül az egynegyedét Csak néhány oldalt. NT/NV


1 2 3 4 5 9

Kérdés típusok Neme: NE KÉRDEZZE, CSAK JELÖLJE! FEJEZZE BE A KÉRDEZÉST! Férfi Nı


1 2

Kérdés típusok

. Az elmúlt egy évben megjelent 12 lapszámból körülbelül hány lapszámot olvasott? ÍRJA LE! …………………. lapszám

NT/NV


99

Kérdés típusok Az alábbiakban állításokat/ tulajdonságokat olvasok fel, amelyek egy lapra jellemzıek lehetnek. Kérem, értékelje egy 1-tıl 5-ig terjedı skálán, hogy az alábbi tulajdonságok mennyire illenek az …….. magazinra. Az 5-ös érték azt jelenti, hogy teljesen ráillik, az egyes pedig azt, hogy egyáltalán nem illik rá. A köztes értékekkel árnyalhatja véleményét. MUTASSA A …. KÁRTYÁT! EGY VÁLASZ SORONKÉNT! Egyáltalá n nem illik a lapra

Teljesen ráillik a lapra

NT/NV

Sok mindent megtudhatok belıle

1

2

3

4

5

99

Jól informált

1

2

3

4

5

99

Alaposan utánajárnak a témáknak

1

2

3

4

5

99

Más, mint a többi lap

1

2

3

4

5

99

Nyitott a világra

1

2

3

4

5

99

Megbízható

1

2

3

4

5

99

Felelısségteljes

1

2

3

4

5

99

Igényes megjelenéső

1

2

3

4

5

99

Szókimondó

1

2

3

4

5

99

Szórakoztató

1

2

3

4

5

99


Kérdés típusok A ……….. szolgáltatásaira gondolva van-e olyan problémája, észrevétele, ami azonnal, elsıre eszébe jut? Amennyiben, van, kérjük, ossza meg velünk! ………………………………………………………………………… ……………………… ………………………………………………………………………… ………………………


Kérdés típusok Milyen egyéb témáról olvasna még szívesen? ÍRJA LE A VÁLASZT! ………………………………………………………..


Kérdés típusok Az alábbi kártyán különbözı témákat lát. Melyekbıl szeretne többet látni a lapban? MUTASSA A KÁRTYÁT! TÖBB VÁLASZ LEHETSÉGES

Emberek sikertörténetei

1

Kudarcba fulladt próbálkozások

2

Hatóságok ellenőrzési funkciójának életszerű bemutatása

3

Egyéni panaszok kivizsgálása

4

Visszaélések felderítése, oknyomozó írások

5

Társadalmi igazságtalanságokat feltáró írások

6

Sztárok világa

7

Híres emberek magánélete a jóízlés határain belül

8

Egészség, életmód

9


Kérdés típusok Van az Ön személyes tulajdonában, használatában....... ? OLVASSA EGYENKÉNT AZ ALÁBBI LISTÁT! KARIKÁZZA BE A SOR VÉGÉN LÉVİ KÓDOT HA A MEGKÉRDEZETT RENDELKEZIK VELE ! automata mosógép mélyfagyasztó mikrohullámú sütı mosogatógép színes TV videomagnó videokamera CD lemezjátszó személyi számítógép vezetékes telefon mobil telefon lakossági folyószámla bankkártya ….


01 02 03 04 05 08 09 10 11 14 15 16 17

Kérdıívszerkesztés A kérdıív összeállítása és a szerkesztés folyamata

felmérni kívánt témákat győjtjük össze

kérdések sorrendje

próbakérdezés

kérdıív hossza, figyelem 40-50 perc

Sorrendiség a kérdıívben

általánostól a konkrét kérdések felé

ismeret - használat - beállítódás, attitőd - statisztika

szőrıkérdıív

Kérdéstípusok

nyitott - zárt Piackutatás / ErikaHlédik

Kérdıívszerkesztés szabályai: a

legáltalánosabb résszel kezdjük

a

bevezetés meghatározza az interjú további menetét

lágy a

átvezetés egyik részbıl a másikba

kijelentések és állítások logikus sorrendje

legkényesebb személyes

kérdések a lezáró-összefoglaló részben

adatokat a legvégén


Kérdéstípusok

Nyitott kérdés - strukturálatlan, a kérdezett szabadon kifejtheti a véleményét

+ több, pontosabb információ

-

drága, kódolás

-

torzítás, a kérdezıtıl függ, mit ír le

elıre

kódolás

Példa:

Miért nem volt elégedett a …. szolgáltatással?

………… ………… ………… Piackutatás / ErikaHlédik

Zárt kérdés

Kérdéstípusok

elıre megadott lehetıség közül választ

alternatív - két válaszlehetıség van

(igen/nem, egyetértek/nem értek egyet) pl. Volt Ön tegnap moziban? 1 - igen 2 - nem kiegészítı alternatívák : nem tudja/ mindkettı/ egyik sem szelektív

- legalább három válaszlehetıség

Ön milyen márkájú sört vásárolt az elmúlt három hónapban? 1 Amstel 2 Borsodi 3 Dreher 4 ….. skálakérdések Milyen gyakran szokott Ön színházba járni? 1 - havonta többször 2 - havonta 3 - ritkábban 4 - szinte soha Piackutatás / ErikaHlédik 0 - nem tudja

Szőrıkérdıív


Forrás: Szonda Ipsos, Piackutatás / ErikaHlédik

A kérdések megfogalmazása 1. Kerüljük a befolyásoló kérdéseket • •

„Ön jobban szereti a szép sárga autót, mint az unalmas kéket?” „Ön szerint a megfontolt befektetések jobbak, mint a kockázatosak?

2. Fontos az egyszerő és pontos utasítások használata •

Ha a Q3.ban a válasz 5, a Q7-ben a válasz nem, akkor hagyja ki a kıvetkezı két kérdést és rangsorolja az ottani 18 állítást fontosság szerint

3. Kerüljük az általánosítást és a becsléseket •

Ön hányszor volt moziban az elmúlt évben?

4. Fontos a köznapi és egyértelmő/érthetı szavak használata • •

Ön szerint van szignifikáns kapcsolat a két termék között? Ön szerint megfelelı az üdítıitalok terjesztése?

5. Kettızött állítások kerülése •

Mit gondol a Coca Cola finom és frissítı ital?


A kérdések sorrendje

A kutatás bemutatása a kérdezı neve, a kutatócég neve, a kutatás célja, a kérdıív hossza, a

felhasználás módja,..

Alapadatok

kezdetnek egyszerő, érdeklıdést felkeltı kérdések

az általános kérdésektıl a speciális kérdések felé haladva

a magatartásra vonatkozó kérdések megelızik az attitődre vonatkozó kérdéseket

a nehéz és szenzitív kérdéseket a kérdıív végére hagyni

témakörönként haladni

szőrıkérdések alkalmazása

Szocio-demográfiai adatok

a válaszadó neme, kora, iskolai végzettsége, lakhelye típusa, foglakozása, a

cég típusa, beosztás, alkalmazottak száma

Azonosító adatok a Piackutatás válaszadó neve, címe, a kérdezı neve, a kérdezés idıpontja,.. / Hlédik Erika

Mérés és skálaképzés • Mérés – Számok vagy szimbólumok vizsgálati egységek jellemzıihez történı, elıre meghatározott szabályok szerinti hozzárendelése. Skála

Alap összehasonlítás

Középérték*

férfi/nı

Nominális/ azonosítás névleges

fogyasztó/nem fogyasztó

Modusz

Foglalkozás márkapreferencia

Ordinális/ sorrend sorrendi intervallumok összehasonlíthatósága

Interval

Arány

Példa

fix nullpont, skálaértékek arányainak összehasonlíthatósága

társadalmi státusz kategóriák attitőd,

Medián

Átlag vélemény kor,

mértani átlag,

jövedelem, piaci részesedés

harmonikus átlag

*All the comparisions applicable to a given scale are permissible with all scales below it in the table.


Vásárlásra szánt összeg

Valid

Missing

500 1000 1100 1200 1500 1600 1700 1800 2000 2200 2300 2400 2500 2700 2800 3000 3200 3400 3500 3600 3800 4000 4500 5000 5500 6000 7000 7600 8000 10000 12000 12500 15000 20000 40000 Total Nincs válasz Nem tudja Válaszmegtagadás Total

Total

Frequency 3 27 1 1 26 4 1 1 86 1 1 1 31 2 2 91 1 1 16 1 1 49 12 76 3 16 11 1 13 10 2 1 4 2 1 500 963 32

Percent ,2 1,8 ,1 ,1 1,7 ,3 ,1 ,1 5,7 ,1 ,1 ,1 2,1 ,1 ,1 6,1 ,1 ,1 1,1 ,1 ,1 3,3 ,8 5,1 ,2 1,1 ,7 ,1 ,9 ,7 ,1 ,1 ,3 ,1 ,1 33,3 64,2 2,1

5

,3

1000 1500

66,7 100,0


Valid Percent ,6 5,4 ,2 ,2 5,2 ,8 ,2 ,2 17,2 ,2 ,2 ,2 6,2 ,4 ,4 18,2 ,2 ,2 3,2 ,2 ,2 9,8 2,4 15,2 ,6 3,2 2,2 ,2 2,6 2,0 ,4 ,2 ,8 ,4 ,2 100,0

Cumulative Percent ,6 6,0 6,2 6,4 11,6 12,4 12,6 12,8 30,0 30,2 30,4 30,6 36,8 37,2 37,6 55,8 56,0 56,2 59,4 59,6 59,8 69,6 72,0 87,2 87,8 91,0 93,2 93,4 96,0 98,0 98,4 98,6 99,4 99,8 100,0

Statistics

N Mean Median Mode Std. Deviation Variance Skewness Std. Error of Skewness Kurtosis Std. Error of Kurtosis Range Minimum Maximum Sum Percentiles

Valid Missing

25 50 75

Vásárlásra szánt összeg 500 1000 3795,40 3000,00 3000 2941,51 8652503,85 5,195 ,109 50,046 ,218 39500 500 40000 1897700 2000,00 3000,00 5000,00

Skálaképzés Skálaképzési technikák

Összehasonlító skálák

Páros

Rangsor

Konstans összegő

Nem-összehasonlító skálák

Q-sort és egyéb

Likert Piackutatás / Hlédik Erika

Folytonos értékelıskálák

Szemantikus Differenciál

Diszkrét értékelıskálák

Stapel

Összehasonlító skálák • Páros összehasonlító skála– a válaszadó egyszerre két tárgyat értékel, és kiválaszt közülük egyet valamilyen szempont alapján.

•Példa: Kérem az összes márka esetében döntse el, hogy a két márka közül melyiket részesítené elınyben. Márka

A

B

C

A

-

A

A

B

A

-

B

C

A

B

-


Összehasonlító skálák • Konstans összegő skála – a válaszadók meghatározott szempont alapján adott pontértéket vagy más konstans összeget (pl. pénzösszeg) osztanak el a vizsgálati egységek között.

•Példa: …. Kérem osszon el 100 pontot a következı attribútumok között…. Termék

A

B

C

Ár

20

50

100

Márka

50

10

0

….

25

10

0

csomagolás

5

30

0


Összehasonlító skálák • Rangsor skála – respondents are presented with several objects simultaneously and ask to order or rank them according to some criterion.

•Példa: Kérem rangsorolja s következı márkákat minıségük alapján :

Márka Márka


Rangsor Rangsor

AA

4

BB CC

1 5

DD EE FF

3 6 2

Összehasonlító skálák • Likert skála – egyetértés foka 1-tıl (egyáltalán nem ért egyet) 5-ig (teljes mértékben egyetért) •attitődök mérése •Pl.: Az alábbiakban állításokat/ tulajdonságokat olvasok fel, amelyek egy lapra jellemzıek lehetnek. Kérem, értékelje egy 1-tıl 5-ig terjedı skálán, hogy az alábbi tulajdonságok mennyire illenek az …….. magazinra. Az 5-ös érték azt jelenti, hogy teljesen ráillik, az egyes pedig azt, hogy egyáltalán nem illik rá. A köztes értékekkel árnyalhatja véleményét.

Teljesen ráillik a lapra

Egyáltalá n nem illik a lapra

NT/NV

Sok mindent megtudhatok belıle

1

2

3

4

5

9

Jól informált

1

2

3

4

5

9

Alaposan utánajárnak a témáknak

1

2

3

4

5

9

Más, mint a többi lap

1

2

3

4

5

9

Nyitott a világra

1

2

3

4

5

9


Itemized Rating Scales • Szemantikus –

7 fokozatú skála kétpólusú felirattal •Pl. márka-, termék imázs

•Példa:

A német autókra jellemzı, hogy drága

olcsó

biztonságos


nem biztonságos

Itemized Rating Scales • Stapel skála – 10 kategória, -5-tıl 5-ig, semleges 0 nélküli érték • attitőd, imázs •Példa:

Most arra kérem, hogy osztályozza le 1-tıl 10-ig sorban mind az öt márkát, ahol a 10-es azt jelenti, hogy nagyon jó a véleménye a márkáról, az 1es pedig azt, hogy nagyon rossz. Tehát összességében hányas osztályzatot ad a(z) .......... márkának? ┌&&&&&&&&&&&&&&&┬&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&┬&&&&(┌&&&┬&&&( )"A" márka ) 10 09 08 07 06 05 04 03 02 01 )0-X-)) ) )429 ├&&&&&&&&&&&&&&&┼&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&┼&&&&7├&&&┼&&&7 )"B" márka ) 10 09 08 07 06 05 04 03 02 01 )0-X-)) ) )431 ├&&&&&&&&&&&&&&&┼&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&┼&&&&7├&&&┼&&&7 )"C" márka ) 10 09 08 07 06 05 04 03 02 01 )0-X-)) ) )433 ├&&&&&&&&&&&&&&&┼&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&┼&&&&7├&&&┼&&&7 )"D" márka ) 10 09 08 07 06 05 04 03 02 01 )0-X-)) ) )435 ├&&&&&&&&&&&&&&&┼&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&┼&&&&7├&&&┼&&&7 )"E" márka ) 10 09 08 07 06 05 04 03 02 01 )0-X-)) ) )437 <&&&&&&&&&&&&&&&=&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&=&&&&><&&&=&&&>




Piackutatás Elıadás Hlédik Erika 2010. Április 14.


Adatelemzés

3

Adatok elemzése: • Leíró statisztika módszereivel • egyváltozós elemzések (pl. gyakoriság, átlag, szórás …) • kétváltozós elemzések (kereszttáblák) • Többváltozós elemzések segítségével • Varianciaanalízis • Regresszióanalízis • Klaszterelemzés • Faktoranalízis • Többdimenziós skálázás (MDS) • Conjoint analízis Piackutatás

4

Leíró statisztika

Gyakorisági eloszlás, keresztábla, χ2 - statisztika

Helyzetmutatók átlag

- leggyakoribb középérték

módusz

- a leggyakrabban elıforduló érték

medián

- sorrendbe rendezve a középsı érték

Szóródási mutatószámok terjedelem variancia szórás

(range) - a legkisebb és a legnagyobb érték közötti különbség

- átlagtól való eltérések számtani közepe

(standard deviation) - a variancia négyzetgyöke


Gyakoriság

6

Gyakoriság, százalékos megoszlás,…


7


8

Kereszttábla 1. feladat

Piackutatás

VASAROLT:MUZLIK * KERDEZETT NEME Crosstabulation Count

VASAROLT:MUZLIK NEM IGEN Total

KERDEZETT NEME FERFI NO 322 423 76 177 398 600

Total 745 253 998

1. Számítsák ki, hogy a férfiak és a nık hány százaléka vásárolt müzlit az elmúlt hónapban! 2. Számítsák ki, hogy a müzlivásárlók között milyen arányban vannak nık és a férfiak! 3. χ2 - statisztika segítségével állapítsák meg, hogy a müzlivásárlás és a vásárló neme között létezik-e összefüggés! Piackutatás

9

10

Megoldás VASAROLT:MUZLIK * KERDEZETT NEME Crosstabulation

1.

VASAROLT:MUZLIK NEM

IGEN

Total

2.

Count % within VASAROLT:MUZLIK Count % within VASAROLT:MUZLIK Count % within VASAROLT:MUZLIK

KERDEZETT NEME FERFI NO 322 423

Total 745

43,2%

56,8%

100,0%

76

177

253

30,0%

70,0%

100,0%

398

600

998

39,9%

60,1%

100,0%

sorszázalék

VASAROLT:MUZLIK * KERDEZETT NEME Crosstabulation

VASAROLT:MUZLIK NEM

IGEN

Total

Piackutatás

Count % within KERDEZETT NEME Count % within KERDEZETT NEME Count % within KERDEZETT NEME

KERDEZETT NEME FERFI NO 322 423

Total 745

80,9%

70,5%

74,6%

76

177

253

19,1%

29,5%

25,4%

398

600

998

100,0%

100,0%

100,0%

oszlopszázalék

11 VASAROLT:MUZLIK * KERDEZETT NEME Crosstabulation

1. lépés

VASAROLT:MUZLIK NEM IGEN Total

2. lépés

χ2

=

(322 - 297)2 297

+

KERDEZETT NEME FERFI NO 322 423 297,1 447,9 76 177 100,9 152,1 398 600 398,0 600,0

Count Expected Count Count Expected Count Count Expected Count

(423 - 448)2 448

+

(76 - 101)2 101

+

Total 745 745,0 253 253,0 998 998,0

(177 - 152)2 152

=

Chi-Square Tests

Pearson Chi-Square Continuity Correction Likelihood Ratio Fisher's Exact Test Linear-by-Linear Association N of Valid Cases

a

Value 13,688b 13,143 14,031

df 1 1 1

Asymp. Sig. (2-sided) ,000 ,000 ,000

Exact Sig. (2-sided)

,000 13,674

1

Exact Sig. (1-sided)

,000

,000

998

a. Computed only for a 2x2 table b. 0 cells (,0%) have expected count less than 5. The minimum expected count is 100,90.

H0: χ2 sz << χ2 krit !!!!!!! Táblázatból DF = (2-1)*(2-1)=1, χ2 krit =3,81 TehátPiackutatás elvethetjük azt a feltevést, hogy nincs kapcsolat a változók között.

13,7

12

Müzlivásárlás megoszlása nemek szerint % 100 80 60

71

81

% 40 20

30

19 0 Férfi

Nı vásárolt

Bázis: N=998 N=998 Piackutatás

nem vásárolt

13

2. feladat

Piackutatás

14

1. Számítsák ki, hogy a férfiak és a nık hány százaléka vásárolt szénsavas üdítıt az elmúlt hónapban! 2. Számítsák ki, hogy a szénsavas üdítıt vásárlók között milyen arányban vannak nık és a férfiak! 3. χ2 - statisztika segítségével állapítsák meg, hogy a szénsavas üdítıt vásárlás és a vásárló neme között létezik-e összefüggés! Piackutatás

15

1.

2.

Piackutatás

16

3.

Piackutatás

17

Szénsavas üdítıital vásárlás megoszlása nemek szerint % 100 22

26

78

74

Férfi

Nı

80

%

60 40 20 0

vásárolt

Bázis: N=998 N=998 Piackutatás

nem vásárolt

18

3. feladat

Piackutatás

19

Értékelés 5-ös skálán (1 –nem fontos, 5 –nagyon fontos)

Megkérdezett sorszáma

1

2

3

4

5

6

7

8

9

10

Értékelés

1

2

4

4

4

2

4

3

5

4

Kérem, határozza meg az átlagot, a móduszt, mediánt és a terjedelmet, valamint a minimum és maximum értékeket.

Piackutatás

20

Megkérdezett sorszáma

1

2

3

4

5

6

7

8

9

10

Értékelés

1

2

4

4

4

2

4

3

5

4

Átlag: 3,3 Módusz:4 Medián:4 Terjedelem:4

Piackutatás

21

4. feladat

Piackutatás

22

Ügyfélszolgálat elérhetıségével való elégedettség Mennyire elégedett az ügyfélszolgálat elérhetıségével?

1 nagyon elégedetlen

5 nagyon elégedett

2

3

4

N

N

N

N

N

N

"A" cég

8

12

68

80

52

220

"B" cég

0

4

92

96

40

232

"C" cég

8

4

92

132

56

292

"D" cég

0

4

44

128

76

252

16

24

296

436

224

996

Összesen

Elemezze a kereszttáblát! Piackutatás

Összesen

23

Átlag + TOP2 Mennyire elégedett az ügyfélszolgálat elérhetıségével?

1 %

2 %

3 %

4 %

5 %

Összesen TOP2 BOX

%

Átlag

"A" cég

4

5

31

36

24

100

60

3,7

"B" cég

0

2

40

41

17

100

59

3,7

"C" cég

3

1

32

45

19

100

64

3,8

"D" cég

0

2

17

51

30

100

81

4,1

2

2

30

44

22

100

66

3,8

Összesen

Piackutatás

24

Ügyfélszolgálat elérhetıségével való elégedettség 5. Nagyon elégedett

24

"A" cég

10

5

40

45

32

20

30

40

13

17

44

30

50

60

% Piackutatás Bázis: Teljes minta (N=996), százalékos megoszlás

70

4

20

51

22

0

1. Egyáltalán nem elégedett

31

30

"D" cég

Összesen

2

41

19

"C" cég

3

36

17

"B" cég

4

80

20

22

90

100

%

25

Ügyfélszolgálat elérhetıségével való elégedettség 5. Nagyon elégedett

17

10 Bázis: Teljes0minta (N=223)

30

5

40

44

20

13

31

41

22

20

32

36

17

Piackutatás

1. Egyáltalán nem elégedett

45

24

Összesen

2

51

19

"A" cég

"B" cég

3

30

"D" cég

"C" cég

4

40

%

20

30

50

60

70

4

80

22

90

100

26

Kutatási jelentés felépítése • • • • • •

Bevezetés (A kutatás háttere és a kutatás célja) Összefoglalás/ Vezetıi összefoglaló A kutatás módszertana A kutatás eredményei Következtetések és javaslatok Mellékletek

Piackutatás

Ábrák készítése

28

A szelektív hulladékgyőjtést ismerık aránya 4% 0%

Igen Nem NT-NV

96%

Bázis: Total (N=1002)

Kérdés: Hallott Ön a szelektív hulladékgyőjtésrıl?

gyakoriság

A következı termékek közül Ön melyeket vásárolta az elmúlt hónapban? (Összes válaszadó, N=998)

keksz

28

72 59

sör szénsavas üdítı

41 79

26

müzlik 0

74 20

40 igen

Leíró statisztika

21

60

80

100

%

nem

29

gyakoriság Ön milyen márkájú sört vásárolt az elmúlt hónapban? (százalékos megoszlás az elmúlt hónapban sört vásárlók körében, N=590) A márka neve 46

K 42

B 38

A 31

L 23

C 21

N

20

M 18

D 13

I

12

R G

11

H

11 10

E 9

P

21

Egyéb márka

%

N=590

10%

20%

30%

40%

50%

Példa 120

100

80

60

40

20

Std. Dev = 16,12 Mean = 46,9 N = 1000,00

0 20,0

30,0

25,0

40,0

35,0

50,0

45,0

60,0

55,0

70,0

65,0

80,0

75,0

90,0

85,0

95,0

a vásárlók kora

Leíró statisztika

31

Példa

AZ EGY HÓNAPBAN A. ÉS B. TERMÉK VÁSÁRLÁSÁRA SZÁNT ÖSSZEG JELLEMZİI

Érvényes N Átlag (Ft) 95%-os konfidencia intervallum alsó (Ft) felsı (Ft) 5%-os nyesett átlag (Ft) Minimum (Ft) Maximum (Ft)

Leíró statisztika

(N=1500) A. TERMÉK 1000 3884 3567 4201 3569 500 8000

B. TERMÉK 500 3665 3335 3995 3496 600 6000

TELJES MINTA

1500 3820 3576 4063 3547 500 8000

32

33

A szelektív hulladékgyőjtés elutasításának okai 32

A győjtıhelyek messze vannak a lakóhelyemtıl

26

Körülményesnek tartom, hogy otthon kell többfelé válogatni

16

Nincs hely a lakásban

10

Nem tudom, hol vannak a győjtıhelyek Nem tartom fontosnak

9

Szerintem nincs értelme

9

Nincs lehetısége, nincs győjtıhely, nincs meg a feltétel

8

Nincs rá idım

8

Tudom-láttam, de ürítéskor összeöntik a hulladékot

7

Nem tudom, hogyan kell szelektálni

3

Elégetem

2

Kevés szemetem van

2

Egyéb

1

NT-NV

0

Bázis: Akik nem győjtik szelektíven a háztartási hulladékot (N=540)

%

3 10

20

30

40

Kérdés: Ha nem: miért nem?

50

34

A hírlevél hasznosságára vonatkozó attitődök Alminták szerinti bontás Nagyon hasznos

Inkább hasznos

20

Total

N=60

Inkább nem hasznos

Egyáltalán nem hasznos

54

N=55

NT-NV

13

5

8

N=60 39

Egyéb ker. egységek

N=60 Szakboltok

25

13

Hivatalok, cégek

N=60

0

55

20

30

40

6

25

23

47 10

6

6

63

N=100

7

Hipermarket

3 3 3

56

15

Szupermarket

52

N=100

50

13

7

60

70

3

5

27 80

90

% Bázis: Akik ismerik a hírlevelet (N=158)

Kérdés: Mennyire tartja hasznosnak a munkája szempontjából a hírlevelet?

100

35

Internetezési szokások Nemek szerint 88,0 88,5

Levelezés, e-mail 73,1 66,4

Böngészés

62,0 63,7

Információk, hírek olvasása

59,3 54,9

Chatelés, fórumok

64,8

Letöltés

38,1 46,3 43,4

Szabadidıs és kulturális programok keresése

40,7 44,2

Tanulás

47,2

Játék

36,3

Hivatali ügyintézés

23,1 23,9

Munkavégzés

20,4 23,9

Vásárlás

15,7 10,6

Bázis: Azok, akik interneteznek (N=221) Férfiak, akik interneteznek (N=108) Nık, akik interneteznek (N=113)

Hirdetések értékelése

36

Az ember inkább vásárol lapban látott hirdetés hatására ……………….. 0

10

20

Total

4

7

20

Férfi [N=150]

5

5

21

Nı [N=150]

14-17 [N=45] 18-29 [N=210] 30-35 [N=45]

9

3

3 4

40

Teljes mértékben egyetért

Bázis: Teljes minta (N=300)

5

12 7

3

2

11 11

26

11

100

11

20

13

22

90

23

11

23

4

80

11

29

13

70

11

21

22 16

60

27

18

6

50

24

19

4

7

30

18

26 22

Egyáltalán nem ért egyet

9 16

NT-NV

37

Dobozdiagram (boxplot) Dobozdiagram (boxplot) 45000 40000 35000 30000

Extrém értékek Vásárlásra szánt összeg (Ft)

25000 20000 15000

Outliner értékek 10000

25-75%

5000

medián

0 N=

500

38

Kísérlet: • laboratóriumi körülmények • természetes körülmények • Kísérleti módszerek: – Termékteszt – Bolti teszt – Piacteszt – Mystery shopping Piackutatás

39

Panelkutatások: • Fıbb jellemzık • Panelvizsgálati típusok: – Access panel – – – –

Vállalati B2B panel Fogyasztói panel Kiskereskedelmi panel Közönségmérı panelek a televíziós és rádiós piacon

– Internetes panelek Piackutatás

40


Piackutatás

Hlédik Erika Hlédik Erika Tel: Szoba: E II. 30

Recommend Documents