Kutatástervezés és értékelés az egy szempontos ANOVA használata
Illusztráció a négyzetes összeg felbontásához Adat
=
véletlen komponens Átlag csoportosítási komponens Nagy átlag
rögzített érték
Az ANOVA modellje
xij M Ai e ij
• az adat összetevői i=(nagy átlag)+(kezelési átlag)+szórás(reziduális, véletlen tényező) az Ai kezelések esetében • Emlékezzünk az oszlopgrafikonra, ahol i - 1, 2 A1, A2, - az oszlop átlag eij - az adat eltérése az Ai –től • Ai lehet rögzített érték, a kezelés adott nagyságú hatása • Ai lehet véletlentől függő valószínűségi változó maga is
Kitérő: A nyílt hozzáférés (Open Access) • Közpénzből dolgozik a tudományos kutatás • Eredményei közkinccsé kell váljanak • A közlemények hozzáférhetősége – Medline és társai – Pubmed Central és társai
• Az adatok hozzáférhetősége – Reprodukálhatóság – Ellenőrizhetőség – Tovább elemzés lehetőségei
Kitérő: a kutatás reprodukálhatósága • A kutatás minősége – – – –
Fontos a kérdés Választ ad a kérdésre A válasz általánosítható (valamilyen körre) A kutatási eredmény ismételten megkapható azaz az eredmény reprodukálható
• Statisztikai elemzés – Milyen valószínűséggel találtunk eltérést a null hipotézistől
Két kiugró tanulmány a reprodukálhatóságról • Pszichológia – Open Science Collaboration – 100 tanulmány 2008-ban jelentős lapban – A korábbi eredmények harmada-fele volt reprodukálható
• Kísérleti rákkutatás – Amgen cég kutatói - 10 év jelentős új eredményeit közlő cikkei – Reprudukálható volt 11%
Jellegzetes jelenségek • Már majdnem kész a cikkünk, csak a statisztika hiányzik. Segítség! • Átgondolatlan vagy nem létező előzetes kérdések = lehet, hogy nincs érvényes következtetés • A tervezésben sorrend fontos, mindent a maga helyén kell csinálni • A statisztikai meggondolások a tervezési szakasz során, annak közepén kerüljenek sorra.
A kutatás teljes folyamatának áttekintése • Tervezési szakasz • Adatgyűjtési szakasz • Értékelési szakasz – exploráló adatelemzés – statisztikai elemzés
• Jegyzőkönyvezés, dokumentálás • Közlés
Ezen előadás legfontosabb mondanivalói • A kutatás legfontosabb lépése a tervezés • A tervezés és az értékelés szorosan összefüggenek • Az eredmények értékelésében kell a statisztikai szemlélet • Néhány statisztikai módszert magunk is elvégezhetünk • Érdemes statisztikai szakértőtől tanácsot kérni • A statisztikai tervezés és értékelés: szolgáltatásként is rendelkezésre kell álljon
A társadalom érdeke, hogy a kutató objektiv legyen •A kutatás objektivitását egyre több jogszabály, előírás próbálja biztosítani. •Ez különösen fontos a gyógyszerek, készülékek, eljárások kipróbálásakor •Ez ugyanolyan fontos az elméleti hipotézisek vizsgálatánál •Good Laboratory Practice •Good Clinical Practice •Etikai kódex(ek)
A „feltáró” kutatás (elővizsgálatok)
• Van feltételezésünk, de keveset tudunk: – – – –
A kísérletben alkalmazott módszerekről A módszer hibájáról A várható szóródásról Kísérleti beavatkozásainktól várható változások (?) irányáról és méretéről – A kísérletezés költségeiről, komplikációkról
„Bizonyító” kutatás • Ennek tervezéséhez – van határozott ismeretünk (előkísérletből, adatbányászatból) • a célról • a populációról • a változókról • a várható szóródásról • a kiértékelés módszeréről • a várható, vagy megismerni kívánt mértékű (nagyságú) eredményről (szükséges a vizsgálat erejének számításához)
Az adatok integritása • Minden adat rögzítendő • Minden nem tervezett tulajdonság jegyzőkönyvezendő • „Hibás adat” azonosítása, kezelése, eltávolítása hogyan történhet? • Outlier adat sorsa (nincs ismert hibája, csak az értéke „kilóg”) • A rögzített adatok ellenőrizendők számitás előtt és után (gyakori hibaforrás?)
A szoftver, a számítások integritása • • • •
Jó és hiteles szoftvert használjunk A célnak pontosan megfelelő számítást végezzünk Az elemzett adatok köre rögzítendő A rögzített adatok ellenőrizendők számítás előtt és után • Az elemzés menete, eredménye ellenőrizendő, fileba vagy papírra nyomtatandó • Statisztikai jegyzőkönyvezés (is) kell (GLP) • Példa:
A szisztémás hibák elleni védekezés (minimalizálásuk) eszköze – a randomizálás • Segít biztosítani a módszer kinduló feltételeinek teljesülését (véletlen minta) • Sokféleképen lehet randomizálni – egyszerűen – blokkokban – rétegezetten
– A vak és a kettős vak módszer véd a szubjektív hibák ellen (blind, double blind: „vak” – vagy „redőny, ”? • Lásd Chamberlin cikkét • Néha a vak kisérletezés nem könnyű
Kísérleti elrendezések egyes típusai (a megvalósítás terve) • Random elrendezés
(véletlenszerűen kiválasztott k csoport)
• Randomizált blokk elrendezés, (ahol kísérlet-technikai csoportosítás is történik) – Független alanyok, kísérleti egységek – önkontroll, egy alanyon több mérés – vegyes: egyes tényezők független alanyon, más tényezők önkontrollos elrendezésben
• Faktoriális elrendezés (ahol sok szempont, faktor szerinti elrendezést vizsgálunk)
• Latin négyzet elrendezés (ahol kevés alanyon kell sok szempont szerint vizsgálni)
Lebonyolítás • Legyen-e közbülső elemzés, vagy fix méret, végső elemzéssel • Kizárási feltételek (egyes adat, alany „kiesése”) • Meddig folytassuk? – Cut your losses? – Döntésig – Előre tervezett időpontig, vagy mennyiségig?
Jegyzőkönyvezés (statisztikai...) • • • • • •
Az adatok részletes vizsgálatának alapja Outliers és a jegyzőkönyv Outliers és statisztikai kritériumok Outliers és a report, cikk irása Kizárási feltételeket előre kell(ene) megadni A hiányzó értékek esete (“pótlás”, dummy)
Javasolt munkarend • • • • • • • • •
Előzetes kísérletek, tájékozódás. A kísérleti hipotézis megfogalmazása A statisztikai hipotézis megfogalmazása A feltételek megvizsgálása Adat elemzés, átalakítás Elemzés Illusztrálás Dokumentálás, a statisztikai jegyzőkönyvezés Véleményezés, rögtön az elemzés végén.
Adatelőkészítés • Mérési jegyzőkönyv feldolgozása – Kézi adatbevitel – Elektronikus rekordok átvitele, kivonatolása átrendezése
• Statisztikai elemzésre felkészítés – Jelölés, csoportosító változók bevitele – Hiányzó adat(ok) kezelése – Segéd változók, mellékes adatok felvitele • Elemzéshez használható lehet
Adatok ellenőrzése, ábrázolás • Adatrögzítési, átalakítási hibák elleni védekezés • Grafikai bemutatás segíti az áttekintést • Előzetes elemzés, egyszerű módszerekkel
A feltételek ellenőrzése • Az eloszlás normalitásának vizsgálata – Nagyobb adatmennyiség kell hozzá – A mintából nem mindig végezhető el
• A szórásnégyzetek homogenitásának vizsgálata (homoscedascitás) – A mintából végezhető – Bartlett próba és társai – Levene teszt
Transzformálás, ha kell Kölcsönösen egyértelmű átalakítás • Mértékegység választás… • Szigorúan monoton függvények használata – y=x2 , y=sin(x), y=log(x), y=ex és inverzeik, stb – A lognormális eloszlás
Egyirányú átalakítás • Osztályokba sorolás • Rangtranszformáció
Transzformálás (szisztémás adatátalakítás) • Mindig történik (valamilyen) transzformálás A mérés során (műszerbe építetten, kalibrálásnál, számolásnál) gyakori a lineáris, vagy nem líneáris transzformáció A mérési célú transzformációnak van (?) szaktudományos alapja Példa: logit transzformáció radioimmun mérések kiértékelésénél linearizálja a kalibrációs görbét
A statisztikai célú transzformáció a kiértékelés lehetőségeit módosítja Példa: a szórás arányos a csoport átlagával – a logaritmikus transzformáció ezt eltüntetheti
• Lehetőleg a tervezési szakaszban meg kell adni a lehetséges eljárást. • Ne attól tegyük függővé a transzformálást, hogy utána kijön-e a kívánt eredmény….
Elemzés első szakasza: az ANOVA • Az egy szempontos ANOVA esete egyszerű – A több szempontos ANOVA-nál a modell választás kritikus lehet
• Ha az ANOVA eredménye nem szignifikáns – Befejeződik a statisztikai elemzés – Folytatódhat a kutatás • További adatgyűjtéssel ugyanazon kérdésről • Módosított vizsgálati feltételekkel
Az elemzés második szakasza: eltérések vizsgálata • Tervezett összehasonlítások – Dunnett próba, egy kontrollhoz minden más – Elemszám optimum: ha m darab kezelt csoport mind j, akkor a kontroll legyen j*√m elemszámú. – Kontrasztok – koefficiensekkel (ci) úgy hogy ∑ci=0
• Minden lehetséges összehasonlítás – Páros – Kontraszt
• Fischer LSD, Newman-Keuls, Tukey, Scheffé – Power?
Jegyzőkönyvezés, dokumentálás • Good laboratory practice… • A dokumentálás teljes körű legyen • Nyers adatok, adatfeldolgozás (célszoftver?) – Célszoftver validálás – Szelekció?
• Ábrázolás, a felhasznált adatok reprezentatívak-e? Visszakereshetők-e? • Statisztikai szoftver, verziószám, dátum? • A munkamenet dokumentálása, • Archíválás
