KWANTITATIEF TESTEN
·· experimenteel ontwerp (MIT 14) ·· statistische analyse (MIT 15)
tips ·· Google ·· Wikipedia ·· MIT 14, 15 ·· stats.stackexhchange.com ·· ander onderzoek dat lijkt op het jouwe
experimenteel ontwerp
kwantitatieve test ·· ·· ·· ·· ··
grote sample size strak protocol heldere onderzoeksvraag alle variabelen ge-elimineerd significantie van de conclusies wiskundig getoetst
signaal: afhankelijke variable ·· ·· ·· ·· ·· ··
conversie efficientie learnability satisfaction? desirability? understanding?
vormen ·· ·· ·· ··
lab test vragenlijst online demo A/B test
Lab test ·· ·· ·· ·· ··
interviewen is moeilijk respondenten zijn duur respondenten vinden het niet leuk respondenten zijn snel “op” zeer nauwkeurige controle over de variabelen ·· Veel extra data voor exploratie (bijv. video-opnames) ·· te combineren met kwantitatief onderzoek ·· Eye trackers
Vragenlijst ·· ·· ·· ··
framing effect komt vaak neer op meningen vragen goed voor extra info goedkoop veel respondenten
Online demo ·· minder controle dan lab test ·· makkelijk grote sample size ·· tools: usabilla etc. ·· houtje-touwtje: Google forms, clickmaps, php scriptjes.
A/B test ·· echte klanten zien je ontwerp ·· meteen enorme sample size ·· ongecontroleerde variabelen gesampled uit de perfecte distributie. ·· Werkt zo goed dat het verleidelijk is om puur op conversie te optimaliseren.
Tips voor dit project maak het jezelf makkelijk: ·· kies een vraag die simpel te testen is ·· kies een bestaand experimenteel ontwerp ·· plan ALLES grondig van te voren
OPDRACHT A (20 min) brainstorm onderzoeksvragen (10min) ·· wat is makkelijk te onderzoeken? ·· wat willen we echt weten? literatuuronderzoek (10 min)
controlled randomized double blind
Between of within between subjects ·· respondent krijgt A of B ·· meer respondenten nodig within subjects ·· respondent krijgt eerst A, dan B ·· learning effect, fatigue ·· soms krachtiger analyse.
Randomization between subjects ·· A of B willekeurig kiezen within subjects ·· welke eerst willekeurig kiezen ·· meer dan twee opties (A, B, C): Latin squares, zie MIT 14
Variatie Alle extra variabelen vast ·· goed gecontroleerd ·· zegt niks over generalisatie Alle extra variabelen verschillend ·· volgens verwachte distributie ·· bij te lage sample size kan variatie enorme effecten veroorzaken
Blocking A
rt e p
B
ex
be
gin
ne
r
A B
multiple testing randomization
Self-reporting ·· “Vind je deze interface prettig?” ·· “Hoe vaak per dag check je je e-mail?” ·· Bijna altijd onbetrouwbaar ·· Bijna altijd een zwaktebod
Experimenteel ontwerp is een kunst ·· internal validity ·· external validity ·· reliability
kwalitatief en kwantitatief onderzoek ·· Meer rendement per respondent ·· Zorg dat je kwantitatief eerst doet, en een heldere lijn trekt. ·· Alternatief: nacoderen
OPDRACHT B (20 min) ·· ontwerp je experiment ·· bouw het ·· test het
pauze tot 11:40
Statistiek descriptieve statistiek ·· gemiddelde, variantie ·· bar charts, scatterplots hypothesetoetsen ·· t-toets, etc.
Look at your data
Show your spread
Show your spread
Hypothese toetsen
·· Fisher ·· Neyman-Pearson
Fisher Hypothesen bewijzen kan niet, je kunt ze allen ontkrachten. H0: de nulhypothese Meestal: is het ge-observeerde effect waar, of if het puur toeval (H0)
Neyman-Pearson Maar wat nou als ik een beslissing moet maken? type 1 error, type2 error alternatieve hypothese gaan we vandaag niet op in.
Distributies bernoulli
binomiaal
normaal
Wat is een statistic? distributie
data
statistic ·· gemiddelde ·· variantie ·· etc.
Als je de distributie van je data weet of aanneemt (H0), dan weet je ook de distributie van je statistic.
Tweezijdig
reject
don’t reject
reject
Eénzijdig
don’t reject
reject
Testing Iedere rejection region is toegestaan. Kies p, en de rejection region, voordat je gaat samplen.
OPDRACHT C (20 min) Maak nepdata voor je experiment. Wat verwacht je voor data te krijgen? Plot je data (met spread) Literatuuronderzoek: welke toetsen worden in de literatuur gebruikt?
A/B test A: 80% conversie, n=1000 B: 95% conversie, n=20 H0: B is niet beter dan A. statistic: aantal conversies, 19 verdeling vd data: Bernoulli verdeling van de statistic: Binomiaal
Binomiaal: n=20, p=0.8
belangrijk verschil ·· verdeling van je DATA ·· verdeling van je STATISTIC
Likert scale disagree totally, disagree, neutral, agree, agree totally
Niet-numerieke data: alleen ordinaal Verdeling van de data: geen idee H0: A & B hebben dezelfde verdeling Mann-Whitney U test
Student’s t One sample, two sample, paired Verdeling van de data: normaal Verdeling van de statistic: student’s t
Hypothesetoets kiezen en uitvoeren ·· Let op de aannames ·· Let op wat je moet rapporteren Software ·· R ·· SPSS ·· Excel ·· Zelf programmeren ·· SciPy (python)
OPDRACHT D (20 min) Bedenk hoe je je data gaat analyseren. Welke toets is in deze situatie geschikt? Voer de toets uit op je nepdata uit de vorige opdracht.
