Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE”
Naam:
J. de Graaf
Studentnummer:
3226204
Blok 6:
Afstuderen: definitief verslag
Datum:
10 juli 2009
Opleiding:
Universiteit Utrecht, Masteropleiding Verplegingswetenschap UMC-Utrecht
Begeleider:
Drs. G. v.d. Hooft- Leemans
Blokdocent:
Dr. H. van Os- Medendorp
Tijdschrift:
Nurse Education Today
Referentiestijl:
APA
Aantal woorden artikel:
4946
Aantal woorden samenvatting:
274
Aantal woorden abstract:
264
Abstract Title: Validity and reliability of the Questionnaire: “Willingness to adopt EBE”. Background: Evidence Based Education (EBE) in higher nursing education is necessary because of developments in professional practice, recommendations of the Dutch Council of Higher Education and criteria of the NVAO accreditation framework. Aim and research questions: Validation of the questionnaire, measuring the willingness to adopt EBE and knowledge generation about factors influencing implementation of EBE was conducted by using the following research questions. What is the validity and reliability of the questionnaire used in higher nursing education and how are individual an organisational characteristics influencing the willingness to adopt EBE? Method: In a descriptive psychometric research the answers of teachers of all seventeen bachelor nursing faculties the Netherlands are used to investigate the internal consistency, construct validity and criterion validity of the questionnaire. Also investigation of the correlations between individual and organisational characteristics toward willingness to adopt EBE was carried out. Results: The Cronbach’s Alpha of the questionnaire was significant (0.81). A positive significant Pearson’s correlation coefficient of 0.70 was found between the characteristic of organisation culture and willingness to adopt EBE. Conclusions: The internal consistency of the questionnaire is high. The characteristic of organisation culture correlates significant positive high with willingness to adopt EBE. Recommendations: Review of the eight subscales and reformulation and/or removal of negative correlating questions with the total questionnaire are recommended. Managers of bachelor nursing faculties are recommended to investigate the amount of support of the culture within the department to implement EBE because of the substantial influence of culture on willingness to adopt EBE in this research. Keywords: Evidence Based Education, willingness to adopt EBE, validity and reliability, nursing teachers, implementation of EBE.
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
2
Samenvatting Titel: Validiteit en betrouwbaarheid van de vragenlijst:”Bereidheid tot adoptie van EBE”. Inleiding: Evidence Based Education (EBE) in hogere opleidingen voor verpleegkunde is noodzakelijk door ontwikkelingen in de beroepspraktijk, aanbevelingen van de onderwijsraad en criteria van het NVAO accreditatiekader. Doel en onderzoeksvragen: Het valideren van de vragenlijst, die adoptie van EBE bij docenten meet en kennisvermeerdering over beïnvloedende factoren bij implementatie van EBE in de verpleegkundige onderwijspraktijk heeft aan de hand van de volgende vragen plaatsgevonden. Wat is de betrouwbaarheid en validiteit van de vragenlijst “Bereidheid tot adoptie van EBE” bij gebruik in het hoger verpleegkundig beroepsonderwijs en wat is de invloed van persoon- en organisatiekenmerken op de adoptie van EBE? Methode: In een beschrijvend psychometrisch onderzoek zijn de antwoorden van docenten van alle 17 hogere opleidingen verpleegkunde in Nederland gebruikt om de interne consistentie, begripsvaliditeit, criteriumvaliditeit van de vragenlijst te onderzoeken. Daarnaast is de samenhang tussen persoon -, organisatiekenmerken en bereidheid tot adoptie onderzocht. Resultaten: De Cronbach’s Alpha van de vragenlijst bedroeg 0.81. De Pearson’s correlatiecoëfficiënt tussen het organisatiekenmerk cultuur en de bereidheid tot adoptie van EBE is positief en bedraagt 0.70. Conclusie: De interne consistentie van de vragenlijst “bereidheid tot adoptie van EBE is hoog. Het organisatiekenmerk cultuur correleert significant hoog positief met de bereidheid tot adoptie van EBE (r = 0.70) Aanbevelingen: Heroverweging van de acht subschalen en herformulering en/of verwijdering van negatief correlerende vragen met de totale vragenlijst wordt aanbevolen. Managers van hogere opleidingen verpleegkunde wordt aanbevolen onderzoek te doen naar de mate ondersteuning van implementatie van EBE door de cultuur binnen de opleiding, vanwege de grote invloed van cultuur op de bereidheid tot adoptie van EBE in dit onderzoek. Trefwoorden: Evidence Based Education, bereidheid tot adoptie van EBE, validiteit en betrouwbaarheid, verpleegkunde docenten, implementatie van EBE.
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
3
1. Inleiding Evidence Based Education (EBE) wil zeggen, dat zowel voor de inhoud van de beroepsopleiding als de keuze van didactische werkvormen, gebruik wordt gemaakt van de resultaten van wetenschappelijk onderzoek. Davies (1999) is één van de eersten die EBE beschrijft aansluitend op Evidence Based Practice (EBP) in de gezondheidszorg. Hij gebruikt de volgende definitie: “a set of principles and practices for enhancing educational policy and practice” en onderscheidt twee niveaus, waarop EBE opereert. Het eerste niveau is het gebruik van bewijs verkregen door literatuur en onderzoek. Het tweede niveau is het meewerken aan opsporen van leemtes in bewijs en het plannen en uitvoeren van onderzoek om deze leemten op te vullen. Belangrijke ontwikkelingen uit de beroepspraktijk en het onderwijs worden in de curricula van Hogere beroepsopleidingen verpleegkunde (Hbo-v) geïntegreerd. Eén van de ontwikkelingen in de beroepspraktijk, die te maken heeft met de inhoud van het curriculum is de gerichtheid van de overheid op marktwerking in de zorg. Het effect hiervan is, dat zorginstellingen de effectiviteit van uitgevoerde interventies dienen te verantwoorden om deze gefinancierd te krijgen. In de medische praktijk is EBP hiervoor al langer een gehanteerde methodiek. De laatste jaren doet deze methodiek zijn intrede in de verpleegkundige beroepspraktijk. De EBP methodiek richt zich op het toepassen van resultaten van wetenschappelijk onderzoek om de kwaliteit van zorg te verbeteren en het handelen te verantwoorden (Cox et al. 2005). Het Ministerie van onderwijs speelt direct en indirect een rol bij didactische keuzes, die onderwijsinstellingen maken. In het rapport ‘Versteviging van kennis in het onderwijs’ beveelt de Onderwijsraad (2006) aan om onderzoeksresultaten in het onderwijs te verankeren. In 2007 worden de aanbevelingen uit hetzelfde rapport verder aangescherpt na reacties uit het onderwijsveld. Eerder verscheen van de Onderwijsraad het rapport: ‘Naar meer evidence based onderwijs’ (2006). Hierin wordt meer aandacht gevraagd voor het introduceren van bewezen effectieve onderwijsmethoden. De Nederlands Vlaamse accreditatieorganisatie (NVAO), verantwoordelijk voor het waarborgen van de kwaliteit van het hoger onderwijs, beoordeelt opleidingen op kennisontwikkeling, die plaats vindt via vakliteratuur, aan de beroepspraktijk ontleend studiemateriaal
en
(toegepast)
onderzoek.
Bovenstaande
ontwikkelingen
in
de
beroepspraktijk, aanbevelingen van de Onderwijsraad en criteria van het NVAO accreditatiekader, noodzaken verpleegkundige opleidingen aandacht te besteden aan EBE.
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
4
1.1. Literatuur en theoretisch kader Wil men EBE introduceren binnen een opleiding (Kuiper, 2005), dan betekent dit verandering voor studenten en docenten van de opleiding en begeleiders in het werkveld. Het curriculum en de werkprocessen veranderen mee. Veranderingen liggen op organisatie- en individueel niveau. Van Linge (2006) stelt, dat kenmerken van organisatie, omgeving, personen en innovatie elk invloed hebben op het implementatieproces en om verschillende interventies vragen. Van Linge (2006) beschrijft twee essentiële begrippen bij veranderen. Het eerste begrip is adoptie. Adoptie is de beslissing om een verandering of innovatie te gebruiken. Het kan de beslissing zijn van een organisatie of een persoon. Het tweede begrip is implementeren. Implementeren wordt door Van Linge (2006) omschreven als het geheel van activiteiten en gebeurtenissen dat leidt tot het gebruik van de verandering of innovatie. De drie fundamenten van het innovatiecontingentiemodel van Van Linge (2006) zijn de configuratiebenadering (nadruk op combinaties van kenmerken van organisaties, innovaties, personen en omgeving), de gelaagdheid van systemen (operationele laag: structuur, expliciete laag: beleidsdoelen en dieptelaag: cultuur) en de strategiecontingentiebenadering (bewuste keuze voor een innovatiestrategie). In de literatuur wordt beschreven, dat de persoonskenmerken opleidingsniveau en opleidingservaring (Aarons, 2004; Mc. Cluskey, 2005; Melnyk et al., 2008; Taylor et al., 2001), kennis over EBE (Baum, 2003; Murphy et al., 2007; Kouhpayehzadeh et al., 2006), vaardigheden m.b.t. EBE (Davies, 1999; Eitel & Steiner, 1999; Johnston et al., 2003; Williams & Coles, 2007) en attitude (Aarons, 2004; Keys, 2007; Zembylas & Barker, 2007) invloed hebben op de bereidheid tot adoptie van EBE: Aarons (2004) en Borg (2007) vinden dat naast persoonskenmerken het organisatiekenmerk cultuur een belangrijke invloed heeft op de mate van adoptie van EBE bij docenten. Van Linge (2006) beschrijft in zijn innovatiecontingentiemodel eveneens, dat cultuur een kenmerk is, dat een rol speelt bij de implementatie van innovaties. Cultuur wordt door Van Linge (2006) omschreven als een aangeleerd stabiel iets, dat mensen met elkaar delen en dient voor interne samenhang en externe aanpassing. Cultuur is niet zichtbaar en kan omschreven worden als ongeschreven wetten, die het denken en handelen sturen. Voor een succesvolle implementatie van een innovatie dienen de cultuur van personen, organisatie en innovatie bij elkaar te passen (Van Linge, 2006). EBE is te karakteriseren als een innovatie en bij de implementatie hiervan dienen de cultuur van het team docenten, de organisatie van de opleiding en EBE bij elkaar te passen. Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
5
In het gebruikte theoretisch kader worden de factoren beschreven, die een rol spelen bij adoptie en implementatie van EBE, maar niet welke rol. En zijn er geen gevalideerde instrumenten beschreven, die de eerder genoemde kenmerken van personen en organisaties, die een rol spelen bij adoptie en implementatie van EBE meten. Wel is er in het kader van een afstudeeronderzoek van de Master Verplegingswetenschap aan de universiteit van Utrecht door Kuijken (2007) een vragenlijst ontwikkeld voor docenten in het middelbare beroepsonderwijs (Mbo) om de bereidheid tot adoptie van EBE te meten. Het begrippenkader voor het ontwikkelen van de vragenlijst is gebaseerd op de door Rogers (2003) vijf beschreven kenmerken van innovaties: relatieve voordeel, verenigbaarheid, complexiteit, probeerbaarheid en observeerbaarheid. Deze kenmerken zijn ook te herkennen in het innovatiecontingentiemodel van Van Linge (2006). De vragenlijst bestaat uit negenenveertig vragen verdeeld over acht subschalen: EBE competentie (4 vragen), veranderbereidheid (6 vragen), randvoorwaarden (5 vragen), sociale factoren
(6
vragen),
opvattingen
over
wetenschappelijk
onderzoek
(5
vragen),
belemmeringen tot veranderen (10 vragen), persoonlijke kenmerken (8 vragen) en individuele waarden (5 vragen). De subschalen zijn gebaseerd op de in de literatuur beschreven beïnvloedende factoren van adoptie van innovaties in het algemeen en EBE in het bijzonder. De inhoudsvaliditeit van de vragenlijst “Bereidheid tot adoptie van EBE door docenten in het Mbo” (Kuijken 2007) is gewaarborgd door de gevolgde methodiek (Lynn, 1986). Kuijken (2007) beveelt aan om de vragenlijst verder te onderzoeken op criterium- en begripsvaliditeit en de betrouwbaarheid van het meetinstrument (Polit & Beck, 2004). De doelgroep van Kuijken (2007) voor het ontwikkelen van een vragenlijst voor het meten van adoptie van EBE was Mbo-docenten. 1.2. Probleem, doel en onderzoeksvragen Er is een vragenlijst beschikbaar voor het meten van de bereidheid tot adoptie van EBE door docenten (Kuijken, 2007), maar deze is onvoldoende gevalideerd. Het is niet bekend of deze vragenlijst geschikt is voor gebruik in het Hbo. Persoon- en organisatiekenmerken, die een rol spelen bij invoering van EBE worden in de literatuur beschreven, maar er is nauwelijks onderzoek gedaan naar de invloed van deze kenmerken op de bereidheid tot adoptie van EBE van docenten. Kennis van de invloed van deze kenmerken op de bereidheid tot adoptie van EBE van docenten is van belang voor opleidingsmanagers
voor
het
kiezen
van
de
juiste
interventies
tijdens
implementatieproces van EBE.
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
6
het
Het doel van dit onderzoek is enerzijds het onderzoeken van de validiteit en betrouwbaarheid van de vragenlijst van Kuijken (2007) bij gebruik in het hoger verpleegkundig beroepsonderwijs en anderzijds kennisvermeerdering van de invloed van persoon- en organisatiekenmerken op de adoptie van EBE bij docenten van hogere opleidingen verpleegkunde. Met het beschikbaar komen van een gevalideerde vragenlijst kan informatie verzameld worden over de mate van bereidheid tot adoptie van EBE door docenten. Deze informatie kan opleidingsmanagers hulp bieden bij het succesvol implementeren van EBE binnen hun opleiding. Uit bovenstaande vloeien de volgende twee centrale vraagstellingen voort: 1.
Wat is de validiteit en betrouwbaarheid van de vragenlijst: “Meten van de bereidheid tot adoptie van EBE door docenten in het Mbo” bij gebruik in het hoger verpleegkundig onderwijs?
2.
Welke invloed hebben persoon- en organisatiekenmerken op de bereidheid tot adoptie van EBE van docenten in het hoger verpleegkundig onderwijs?
Subvragen bij onderzoeksvraag 1 zijn: 1.1. Wat is de interne consistentie van de vragenlijst: “Meten van de bereidheid tot adoptie van EBE door docenten in het Mbo” bij gebruik in het hoger verpleegkundig onderwijs? 1.2. Wat is de criteriumvaliditeit van de vragenlijst: “Meten van de bereidheid tot adoptie van EBE door docenten in het Mbo” bij gebruik in hoger verpleegkundig onderwijs? 1.3. Wat is de begripsvaliditeit van de vragenlijst: “Meten van de bereidheid tot adoptie van EBE door docenten in het Mbo” bij gebruik in het hoger verpleegkundig onderwijs? Subvragen bij onderzoeksvraag 2 zijn: 2.1. Welke sterkte en richting van samenhang is er tussen persoonskenmerken opleidingsniveau, opleidingservaring, kennis over EBE, vaardigheden m.b.t. EBE en attitude en de bereidheid tot adoptie van EBE bij docenten in het hoger verpleegkundig onderwijs? 2.2. Welke sterkte en richting van samenhang is er tussen het organisatiekenmerk cultuur en de bereidheid tot adoptie van EBE bij docenten in het hoger verpleegkundig onderwijs?
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
7
2. Onderzoeksmethode In een psychometrisch onderzoek (Polit & Beck, 2004) worden de antwoorden van de respondenten kwantitatief gebruikt om de mate van validiteit en betrouwbaarheid van de vragenlijst te onderzoeken. 2.1. Onderzoekspopulatie De onderzoekspopulatie voor het valideren van de vragenlijst “Meten van de bereidheid tot adoptie van EBE” zijn docenten in het hoger verpleegkundig beroepsonderwijs. De vragenlijst is door Kuijken (2007) ontwikkeld voor docenten in het middelbare beroepsonderwijs. Mogelijke verschillen in opleidingsniveau, kennis en vaardigheden op het gebied van EBE tussen Mbo- en Hbo-v docenten kunnen opgespoord worden, omdat hiernaar gevraagd wordt in de vragenlijst. Er zijn verspreid over Nederland 17 hogere opleidingen verpleegkunde. 2.2. Steekproeftrekking, -methode en -omvang Alle 17 hogere opleidingen verpleegkunde in Nederland zijn geselecteerd voor het onderzoek en alle docenten in dienst van deze opleidingen maken deel uit van het onderzoek. Hiermee vallen onderzoekspopulatie en steekproef samen, een zogenaamde 100% gelegenheidssteekproef (Polit & Beck, 2004). Rekening houdend met de gekozen statistische technieken zijn minimaal 200 respondenten nodig. Terwee et al. (2007) noemen het aantal benodigde respondenten bij een factoranalyse een kwestie van debat. Vuistregels variëren van vier tot tien respondenten per vraag met een minimum van honderd respondenten om de stabiliteit van de variantiecovariantie matrix te verzekeren. De hogere opleidingen verpleegkunde hebben gezamenlijk 700 docenten in dienst. 2.3. Werving en non-response Werving van de deelnemers heeft digitaal plaatsgevonden. Na toestemming van de desbetreffende manager is een e-mail met informatie over het onderzoek en een internetlink naar de vragenlijst verstuurd naar alle docenten. Veel mensen ervaren een digitale vragenlijst niet als anoniem (Polit & Beck, 2004)). In de instructie van de vragenlijst is aandacht besteed aan de waarborging van de anonimiteit. De respons bij verzonden vragenlijsten is over het algemeen laag en bij digitale vragenlijsten nog lager (Polit & Beck, 2004). Persoonlijke afname van de vragenlijst was gezien de omvang van de deelnemers en de afstand tussen de hogescholen geen optie, gelet op kosten en beschikbare onderzoekstijd. De respons is bevorderd door het invullen van de vragen zo gemakkelijk mogelijk te maken (lay-out en instructie), het sturen van een
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
8
herinnering twee en vier weken na de eerste mail en gebruik van een contactpersoon per opleiding, die docenten mondeling motiveerde de vragenlijst in te vullen. 2.4. Dataverzameling Voor het meten van de bereidheid tot adoptie van EBE is gebruik gemaakt van de door Kuijken (2007) ontwikkelde vragenlijst. De inhoudsvaliditeit van het meetinstrument is in het ontwikkelstadium gewaarborgd door het volgen van de ‘concept mapping’ techniek (Lynn, 1986). Via deze methode zijn de acht subschalen: EBE competentie, veranderbereidheid, randvoorwaarden,
sociale
factoren,
opvattingen
over
wetenschappelijk
onderzoek,
belemmeringen tot veranderen, persoonlijke kenmerken en individuele waarden opgespoord. De vragenlijst is nog niet getest op betrouwbaarheid. In totaal bestaat de vragenlijst uit 49 vragen (zie bijlage 1), die onderverdeeld zijn in acht subschalen. Het aantal vragen per subschaal varieert van 4 tot 10 vragen per schaal. De vragen worden met behulp van een vierpunts Likert schaal: 4 = zeer eens, 3 = eens, 2 = oneens, 1 = zeer oneens, gescoord. De keuze voor een vierpuntsschaal door Kuijken (2007) vloeit voort uit de toepassing van de door Lynn (1986) ontwikkelde ‘Content Validity Index’ om de inhoudsvaliditeit van de vragenlijst te bepalen. De opgetelde scores van de totale vragenlijst (minimum score 49 en maximum 196), subschalen en afzonderlijke vragen worden bij de verschillende analyses gebruikt. “Bereidheid tot adoptie van EBE” is geoperationaliseerd met de volgende acht subschalen: EBE competentie (minimum score 4, maximum 16), veranderbereidheid (minimum score 6, maximum 24), randvoorwaarden (minimum score 5, maximum 20), sociale factoren (minimum score 6, maximum 24), opvattingen over wetenschappelijk onderzoek (minimum score 5, maximum 20), belemmeringen tot veranderen (minimum score 6, maximum 24), persoonlijke kenmerken (minimum score 6, maximum 24) en individuele waarden (minimum score 8, maximum 32). Voor de vergelijking van de uitkomst van de vragenlijst met een ander vergelijkbaar criterium is gebruik gemaakt de visuele analoge schaal (VAS) van Van Linge (2006) “Bereidheid tot adoptie”. Op een schaal van 0 – 10 wordt de mate van bereidheid tot adoptie van EBE, die de respondent bij zichzelf ervaart, ingevuld. Er zijn geen gegevens beschikbaar over de betrouwbaarheid van de VAS “Bereidheid tot adoptie”. Wel is er onderzoek gedaan naar verschillende VAS schalen, die subjectieve fenomenen in de gezondheidszorg, zoals kwaliteit van leven, pijn en depressiviteit, meten. De resultaten van deze onderzoeken variëren en worden afhankelijk geacht van het feit of de VAS het globale begrip of een Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
9
aspect hiervan meet (Gift, 1989). De VAS wordt aanbevolen om een eerste indruk te krijgen van de te bestuderen subjectieve ervaring. De Boer et al. (2004) vergeleken de validiteit en betrouwbaarheid van een meer-item met een één-item vragenlijst (VAS), die beiden het begrip kwaliteit van leven meten. Zij concludeerden, dat de onderzochte VAS een goede validiteit en een excellente betrouwbaarheid vertoonde en bevelen gebruik van de VAS aan voor het meten van een globaal begrip. Het onderdeel demografische gegevens bestaat uit: geslacht, leeftijd, opleidingsniveau, aantal jaren ervaring als docent en kennis van EBE. De variabele opleidingsniveau is geoperationaliseerd in de volgende niveaus: middelbaar, hoger of universitair niveau. Het aantal jaren ervaring als docent is de operationalisatie van opleidingservaring. De variabele kennis over EBE is geoperationaliseerd als gevolgd hebben van 0, 1 of meerdere cursussen op het gebied van EBE. De demografische gegevens leeftijd, geslacht en opleidingsniveau maken onderdeel uit van de vragenlijst ontwikkeld door Kuijken (2007). De variabele in welke sector men werkt wordt weggelaten, omdat de vragenlijst alleen wordt uitgezet bij docenten in één sector. Voor dit onderzoek zijn aantal jaren ervaring als docent en gevolgd hebben van een cursus op het gebied van EBE toegevoegd. De attitude van de docent is geoperationaliseerd met de subschaal opvattingen over wetenschappelijk onderzoek (minimum score 5, maximum 20). In deze subschaal worden vragen gesteld over de betekenis, die wetenschappelijk onderzoek heeft voor de docent. De som van de scores van deze subschaal wordt vergeleken met de score van de totale vragenlijst. De variabele vaardigheid m.b.t. EBE wordt geoperationaliseerd door de subschaal EBE competentie (minimum score 4, maximum 16) met vragen over wetenschappelijke kennis en vaardigheden, die nodig zijn om evidence based te werken. Het organisatiekenmerk cultuur is geoperationaliseerd met de subschaal sociale factoren (minimum score 6, maximum 24). In deze subschaal zijn zes vragen opgenomen, die refereren naar de cultuur m.b.t. EBE binnen het team, de organisatie en de deelnemers (studenten).
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
10
Bovengenoemde demografische gegevens, vaardigheid m.b.t. EBE, attitude en cultuur hebben, zoals in de inleiding is verondersteld, invloed op de bereidheid tot adoptie van EBE en zijn gebruikt voor het onderzoeken van de invloed die zij hebben op de gezamenlijke score van de vragen van de vragenlijst “Bereidheid tot adoptie van EBE”. De vragenlijst is digitaal afgenomen. Digitale afname van een vragenlijst mag bekend verondersteld worden bij docenten in het hogere beroepsonderwijs en sluit aan bij hun autonomie en werkplanning. Maken, afnemen en invullen van digitale vragenlijsten maakt deel uit van de taken van een docent in het hogere beroepsonderwijs. 2.5. Data-analyse Voor het bepalen van de interne consistentie van de vragenlijst “Bereidheid tot adoptie van EBE” zijn de 49 vragen van deze lijst gebruikt. Hierbij is de correlatie tussen de scores op de subschalen en de score van de totale vragenlijst berekend. De correlatiemaat hiervoor is de Cronbach’s Alpha. Een uitkomst beneden 0.30 wordt doorgaans als te laag beoordeeld en vanaf 0.80 als hoog (Polit & Beck, 2004). Daarnaast heeft een item-analyse plaatsgevonden, die bestaat uit de item-totaalcorrelaties. De criteriumvaliditeit van de vragenlijst “bereidheid tot adoptie van EBE” is vastgesteld door de totaalscore te vergelijken met de score op de VAS “bereidheid tot adoptie van EBE”. Het instrument wordt valide bevonden als de totaalscore een hoge correlatie vertoont met de score op het criterium (Polit & Beck, 2004). De correlatiemaat is de Pearson’s correlatiecoëfficiënt, die tussen -1 (perfect negatief verband) en +1 ( perfect positief verband) ligt (Vocht A. de, 2007). Om de begripsvaliditeit te onderzoeken is een factoranalyse uitgevoerd. In een factoranalyse wordt de gemeenschappelijke variantie binnen een set variabelen tegenover de unieke variantie van individuele variabelen uitgezocht (Heus, P. de, et al., 2008). Voorafgaand aan de factoranalyse is de Kaiser-Meyer-Olkin maesure of sampling adequacy (KMO) en Bartlett’s Test of Sphericity gedaan. Bij een KMO-waarde van > .60 en een significante ‘Barlett’s Test of Sphericity’ (p < .05) is het zinvol een factoranalyse uit te voeren. De samenhang tussen persoonskenmerken en organisatiekenmerk cultuur en de bereidheid tot adoptie van EBE is onderzocht door de Pearson’s correlatiecoëfficiënt te berekenen. 2.6. Ethische aspecten De ingevulde vragenlijsten zijn anoniem opgenomen in een database. Deelnemers gaven hiervoor toestemming door de vragenlijst in te vullen.
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
11
3. Resultaten In de periode februari t/m april 2009 zijn managers van 17 beroepsopleidingen hogere verpleegkunde benaderd met het verzoek de vragenlijsten per email voor te leggen aan hun docententeam. Alle opleidingen hebben hier toestemming voor gegeven. De data zijn geanalyseerd met behulp van SPSS 15 voor Windows. In totaal hebben 153 docenten de vragenlijst teruggestuurd. Dit is 21 % van alle docenten werkzaam bij de 17 opleidingen. Eén vragenlijst is om onverklaarbare redenen niet ingevuld. Deze is voorafgaand aan de analyses verwijderd. Van de overgebleven 152 docenten zijn 100 (65,4 %) vrouw en 52 (34,6 %) man. De leeftijd van de respondenten is enigszins scheef verdeeld en ligt tussen 25 en 62 jaar met een gemiddelde van 27,5 jaar, een mediaan van 28,5 jaar en een modus van 33 jaar. De gemiddelde leeftijd van de vrouwen is 25, 7 en van de mannen 31,2 jaar. Het verschil van de gemiddelde leeftijd tussen vrouwen en mannen blijkt niet significant te zijn. Van 61 respondenten (40,1 %) is de hoogst genoten opleiding Hbo- en van de resterende 91 (59,9%) wetenschappelijk niveau. De getallen voor vrouwen zijn respectievelijk Hbo 42 % (N = 42) en wetenschappelijk niveau 58 % (N = 58) en mannen Hbo 36,5 % (N = 19) en wetenschappelijk niveau 63,5 % (N = 33). Het aantal jaren ervaring als docent ligt tussen 1 en 37 jaar met een gemiddelde van 13,6 jaar. De helft van de respondenten (76 = 50 %) heeft geen cursus op het gebied van EBE gevolgd. Van de andere helft hebben 40 respondenten (26,3 %) één cursus en 36 (23,7 %) meerdere cursussen gevolgd. De uitgevoerde betrouwbaarheidsanalyse om te bepalen of interne consistentie van de vragenlijst voldoende is om verdere analyses te rechtvaardigen, laat een Cronbach’s Alpha van 0.81 zien. De acht subschalen laten de volgende Cronbach’s Alpha’s zien: EBE competentie 0.80, veranderbereidheid 0.83, randvoorwaarden 0.67, sociale factoren 0.72, opvattingen over wetenschappelijk onderzoek 0.51, belemmeringen tot veranderen 0.51, persoonlijke kenmerken 0.79 en Individuele waarden 0.76. Bij de item-analyse zijn er geen vragen gevonden, die de Cronbach’s Alpha aanzienlijk verlagen. Gevonden verlagingen van de Cronbach’s Alpha varieerden van 0.01 tot 0.03. Een aantal vragen lieten negatieve correlaties zien met de som van de totale vragenlijst. Deze bevonden zich vooral in de subschalen randvoorwaarden, opvattingen over wetenschappelijk onderzoek en belemmeringen tot veranderen, de drie subschalen met de laagste Cronbach’s Alpha waarden van respectievelijk 0.67, 0.51 en 0.51. Voor het bepalen van de relatie tussen items en subschalen zijn deze vragen omgepoold. Tevens zijn de correlaties met de eigen subschaal vervangen door de zogenaamde item-rest correlaties, zodat een totaalscore
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
12
zonder bijdrage van het betreffende item werd verkregen. In tabel 1 is per vraag de hoogste correlatie met een ander subschaaltotaal en de hoogste correlatie met gecorrigeerd eigen subschaal totaal gemarkeerd. Uit de correlaties tussen items en subschalen blijken de schalen randvoorwaarden, opvattingen over wetenschappelijk onderzoek en belemmeringen tot veranderen vragen te bevatten, die lager correleren met de eigen dan een andere subschaal. Zes van de acht vragen van de subschaal belemmeringen tot veranderen correleren lager met de eigen dan de subschaal persoonlijke kenmerken. De KMO-waarde van 0.78 en de Chi-square van de Bartlett’s Test of Sphericety van 547.29 met een significantie van 0.00 is voldoende om een factoranalyse te mogen doen. De uitgevoerde factoranalyse (om de begripsvaliditeit te bepalen) over de 49 vragen laat 13 factoren zien met een eigenwaarde ≥ 1, die samen 66 % van de variantie verklaren. Wanneer de vragen van de subschalen randvoorwaarden, opvattingen over wetenschappelijk onderzoek en belemmeringen tot veranderen worden verwijderd, stijgt de KMO naar 0.88 en worden er 6 factoren met een eigenwaarde ≥ 1 gevonden en een verklaarde variantie van 63%. Vervolgens is gekeken naar het “knik criterium”. Hierbij wordt een grafiek (screen plot in SPSS) gemaakt, waarin men de eigenwaarden afzet tegen het factornummer (Meerling, 1988). Een dergelijke grafiek vertoont meestal een knik. Volgens het “knik criterium” worden de factoren, die corresponderen met punten van de grafiek vanaf de knik of lager als niet relevant beschouwd. Het argument hiervoor is, dat deze factoren niet veel nieuws meer aan de oplossing toevoegen. Het beeld van de screen plot toont voor de knik vier factoren, die 42% van de variantie verklaren. In tabel 2 zijn per geroteerde factor de vragen (met bijbehorende subschaal), die hierop het hoogste laden, gemarkeerd. Daarmee is in de tabel zichtbaar onder welke factor de verschillende subschalen met alle, de meeste of enkele vragen te rangschikken zijn. De correlatie tussen cultuur en de bereidheid tot adoptie van EBE is positief significant op 0.01 significantieniveau met een Pearson’s correlatiecoëfficiënt van 0.70. De antwoorden op de VAS ‘bereidheid tot adoptie van EBE’ zijn significant positief scheef verdeeld. Drie respondenten scoren zichzelf extreem laag. Dezelfde drie respondenten scoren ook laag op de vragenlijst en vormden hierdoor geen reden tot verwijdering voor de bepaling van de correlatie tussen de VAS en de vragenlijst. De meeste respondenten geven zichzelf een hoge score op de VAS.
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
13
De correlatie tussen de VAS en vragenlijst bleek significant positief (Pearson’s correlatiecoëfficiënt 0.47 op 0.01 significantieniveau). Significante positieve correlaties bij 0.01 significantieniveau zijn gevonden tussen de volgende variabelen: opleidingsniveau en EBE competentie (0,40), EBE competentie en bereidheid tot adoptie van EBE (0.50). Het aantal gevolgde cursussen EBE heeft een significante positieve correlatie (0.20) op significantieniveau 0.05 met EBE competentie en de vragenlijst bereidheid tot adoptie van EBE. In tabel 4 zijn de correlaties tussen de verschillende variabelen opgenomen. 4. Discussie De interne consistentie van de vragenlijst is hoog (Cronbach’s Alpha 0.81). Uitgaande van de gevonden resultaten in de itemanalyse en de factoranalyse wordt de indeling in de acht subschalen niet ondersteund. De lagere Cronbach’s Alpha bij de subschalen randvoorwaarden (0.67), opvattingen over wetenschappelijk onderzoek (0.51) en belemmeringen tot veranderen (0.51) en negatieve correlaties doen vermoeden, dat de bijbehorende vragen of niet goed geformuleerd of niet representatief zijn voor het concept van de betreffende subschaal. De vragen dragen echter wel bij aan de verklaring van het concept “bereidheid tot adoptie van EBE”. De verlaging (variërend van 0.01 tot 0.03) van de Cronbach’s Alpha bij verwijdering van een vraag, is geen directe reden tot verwijdering van die vraag. Deze is afhankelijk van de belangrijkheid van de vraag voor het te meten begrip (de Heus, et al., 2008), maar gebeurt wel altijd bij een verschil van 0.5. Het vinden van vier factoren met het “knik criterium” betekent een andere subschaal indeling. Door de vragen met de hoogste factorlading op dezelfde factor onder te brengen in één subschaal ontstaan vier subschalen, die op het eerste gezicht overeen komen met samenvoegingen
van
de
subschalen
EBE
competentie
en
veranderbereidheid,
randvoorwaarden en sociale factoren, opvattingen over wetenschappelijk onderzoek en belemmeringen tot veranderen en persoonlijke kenmerken en individuele waarden. De respons in dit onderzoek is laag te noemen, maar in de literatuur bekend bij digitale vragenlijsten Polit & Beck, 2004). De reden van de non respons kon niet achterhaald worden. Hoewel de respons lager is dan de gewenste minimale 200, valt deze met 152 bruikbare respondenten ruim binnen het minimum van 100 (Terwee et al., 2007). Ook de gevonden KMO-waarde van 0.78 is meer dan voldoende om waarde toe te kennen aan de verkregen resultaten uit de factoranalyse. Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
14
Het organisatie kenmerk cultuur correleert hoog positief significant (0.70) met de bereidheid tot adoptie van EBE. Dit ondersteunt de veronderstellingen van Aarons (2004), Borg (2007) en Van Linge (2006) dat cultuur van invloed is op de bereidheid tot adoptie van EBE. De correlatie tussen de score op de VAS “bereidheid tot adoptie van EBE” en de vragenlijst “bereidheid tot adoptie van EBE” is positief significant, maar niet erg hoog. Een verklaring hiervoor zou kunnen zijn, dat veel mensen een hoge dunk van zichzelf hebben, zoals blijkt uit de scores op de VAS, maar dat dit genuanceerd wordt door de aard van de vragen in de vragenlijst. Polit & Beck (2004) beschrijven de geneigdheid van respondenten om zichzelf onder- dan wel over te schatten. Scheef verdeelde antwoorden op de VAS worden in de literatuur beschreven (Gift,1989) en verklaard door de geneigdheid van respondenten om dichter bij de extremen dan in het midden te scoren. De vraag of “Bereidheid tot adoptie van EBE” gezien kan worden als een globaal begrip en of de respondenten hebben geantwoord op dit begrip of een aspect hiervan (Gift, 1989; De Boer et al., 2004) kan in dit onderzoek niet beantwoord worden. De gevonden correlaties tussen opleidingsniveau en EBE competentie, EBE competentie en bereidheid tot adoptie van EBE significant (0.01 niveau) en aantal gevolgde cursussen EBE met EBE competentie en bereidheid tot adoptie van EBE (0.05 niveau), zijn weliswaar significant, maar niet zo sterk. Opmerkelijk is dat aantal jaren ervaring als docent geen significante correlatie vertoont met de bereidheid tot adoptie van EBE en dat de invloed van attitude nauwelijks en zeker niet significant samenhangt met de bereidheid tot adoptie van EBE. Hierbij dient rekening gehouden worden met het feit, dat attitude is geoperationaliseerd met de subschaal opvattingen over wetenschappelijk onderzoek. Deze subschaal bevat twijfelachtige vragen en wordt in de factoranalyse niet als factor aangemerkt. Het is de vraag of deze operationalisatie correct is. Uit de literatuur is gebleken, dat bovengenoemde kenmerken van personen invloed hebben op EBE. In dit onderzoek is de richting positief maar niet heel erg sterk te noemen. Daarmee zijn het geen kenmerken met een doorslaggevende invloed. Waarschijnlijker is het te veronderstellen dat de optelsom van deze kenmerken, naast andere bekende en misschien onbekende kenmerken de mate van bereidheid tot adoptie van EBE bij docenten bepaald. Er zijn geen gegevens beschikbaar om de representativiteit van de respondenten voor de onderzoekspopulatie
vast
te
stellen.
Man-vrouw
verhouding,
leeftijdsopbouw
en
opleidingsniveau van de respondenten zijn vergelijkbaar met gegevens van Hbo docenten Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
15
(www.hboraad.nl). De respondenten zijn Hbo-v docenten, die deel van uit maken van de groep Hbo-docenten. Er is geen reden om aan te nemen dat de kenmerken van Hbo-v docenten afwijken van Hbo docenten. De kans is wel aanwezig dat vooral docenten, die belang hechten aan wetenschappelijk onderzoek en het gebruik van de resultaten hiervan, de vragenlijst hebben ingevuld. De
normale verdeling van de vragenlijst en de goede
spreiding van de antwoorden zijn aanwijzingen dat de respondenten wel representatief zijn voor de onderzoekspopulatie. Opvallend is, dat 91 van de 152 respondenten wetenschappelijk zijn opgeleid en 51 van de wetenschappelijk opgeleiden geen cursus EBE hebben gevolgd. De vraag kan hier gesteld worden hoe de vraag over een cursus EBE is opgevat. Wordt dit onderdeel binnen een wetenschappelijke opleiding wel of niet beschouwd als een cursus EBE?
5. Conclusies en aanbevelingen Geconcludeerd kan worden dat de interne consistentie van de vragenlijst “Bereidheid tot adoptie van EBE” hoog is. De 49 vragen dragen bij aan het meten van de mate van bereidheid tot adoptie van EBE en is geschikt voor gebruik in het hoger verpleegkundig beroepsonderwijs. Echter de indeling in acht subschalen wordt niet ondersteund door de item- en factoranalyse. De subschalen randvoorwaarden, opvattingen over wetenschappelijk onderzoek en belemmeringen tot veranderen laten een lagere Cronbach’s Alpha zien dan de totale vragenlijst en de andere subschalen. Deze waarde is voldoende om deze schalen verder te analyseren, maar wel reden tot nader onderzoek om de begripsvaliditeit te verbeteren. Veel vragen uit de drie genoemde subschalen hebben negatieve correlaties met het somtotaal van de vragenlijst. De verwachte samenhang tussen de score op de VAS “bereidheid tot adoptie” van Van Linge (2006) en de score op de vragenlijst “Bereidheid tot adoptie van EBE” is aanwezig en blijkt positief significant (0.47). Dit draagt bij aan de criteriumvaliditeit. De invloed van het organisatiekenmerk cultuur op de bereidheid tot adoptie van EBE is beduidend groter dan de invloed van de persoonlijke kenmerken in het algemeen en opmerkelijk van attitude in het bijzonder. Uit bovengenoemde conclusies vloeien de volgende aanbevelingen voort. Op schaalniveau wordt heroverweging van het aantal subschalen aanbevolen. Verder onderzoek is nodig of de vragen niet onder te brengen zijn in minder subschalen of een vragenlijst zonder subschalen. De gevonden 4 factoren met het “knik criterium” zijn een
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
16
aanknopingspunt voor minder subschalen. Een evenredig aantal subvragen per subschaal is aan te bevelen. Op itemniveau wordt herformulering en/of verwijdering van de vragen met negatieve correlaties uit de subschalen randvoorwaarden, opvattingen over wetenschappelijk onderzoek en belemmeringen aanbevolen. Na wijziging van de vragenlijst dient deze opnieuw gevalideerd te worden. Een aanbeveling voor managers van hogere opleidingen verpleegkunde is, dat zij onderzoeken of de cultuur van de opleiding wel of niet ondersteunend is voor invoering van EBE. Vanwege de grote invloed van cultuur op de bereidheid tot adoptie van EBE, zoals gebleken in dit onderzoek, kan investeren hierin de sleutel zijn tot een succesvolle implementatie.
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
17
Tabel 1 Correlaties tussen vragen en subschalen Schaal/subschaal 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49
A ,67* ,71* ,70* ,67* ,67 ,59 ,38 ,62 ,35 ,64 ,43 ,00 ,11 ,63** ,37 ,03 -,02 ,14 ,22 ,38 ,39** ,13 -,01 ,11 ,19 ,17 -,12 ,02 ,02 ,31 ,43 -,06 ,32 ,25 ,24 ,40 ,59 ,39 ,36 ,30 ,49 ,36 ,57 ,09 ,10 ,23 ,37 ,20 ,37
B ,62 ,62 ,61 ,56 ,71* ,69* ,44 ,68* ,46 ,70* ,28 -,09 -,03 ,54 ,27 ,10 ,04 ,21 ,35 ,48 ,39** ,17 ,09 ,20 ,18 ,18 -,17 ,18 -,07 ,26 ,23 -,16 ,30 ,23 ,27 ,39 ,68** ,57** ,36 ,43 ,55 ,55 ,65 ,01 ,27 ,20 ,52 ,38 ,55
C ,33 ,44 ,40 ,43 ,41 ,29 -,02 ,31 ,10 ,36 ,53* ,29* ,36* ,48 ,47 -,20 -,36 -,11 -,13 ,09 ,08 ,12 ,09 ,19 ,12 ,11 ,06 ,10 ,16** ,22 ,45 ,07 ,37 ,34** ,30** ,46** ,35 ,15 ,25 ,06 ,27 ,14 ,21 -,07 -,10 ,08 ,11 -,03 ,11
1 t/m 49 Vragen van de vragenlijst (zie bijlage 1) A = subschaal EBE competentie B = subschaal veranderbereidheid C = subschaal randvoorwaarden D = subschaal sociale factoren
D ,23 ,21 ,27 ,26 ,17 ,33 ,36 ,29 ,33 ,31 -,08 -,39 -,28 ,20 -,05 ,57* ,47* ,55* ,28 ,47 ,38 ,10 -,01 ,12 ,20 ,05 -,25 -,04 -,27 ,34 ,10 -,19 ,13 ,05 ,12 ,09 ,25 ,21 ,20 ,30 ,28 ,34 ,42 ,17* ,17 ,24 ,37 ,42 ,39
E ,19 ,27 ,14 ,11 ,13 ,19 ,16 ,26 ,33 ,22 ,11 -,01 ,07 ,32 ,20 ,08 -,00 ,16 ,06 ,28 ,04 ,23* ,40* ,19 ,40* ,26 ,07 ,19** -,01 ,31 ,18 ,15** ,40** ,11 ,25 ,33 ,22 ,13 ,17 ,19 ,17 ,25 ,15 -,09 ,09 ,15 ,21 ,17 ,23
F ,33 ,34 ,35 ,34 ,33 ,24 ,10 ,35 ,20 ,30 ,37 ,22 ,26 ,56 ,49** -,06 -,18 ,03 -,01 ,20 ,08 ,20 ,22 ,27** ,35 ,30** ,08 ,07 -,01 ,31 ,47* ,12 ,37 ,13 ,24 ,41 ,29 ,19 ,25 ,27 ,26 ,28 ,28 -,07 -,01 ,10 ,19 ,01 ,21
G ,57 ,51 ,45 ,52 ,60 ,60 ,50 ,56 ,54** ,58 ,22 -,14 -,02 ,50 ,25 ,09 ,08 ,21 ,32 ,59** ,37 ,14 ,04 ,14 ,20 ,18 -,18 ,09 -,10 ,38** ,32 -,06 ,25 ,15 ,28 ,39 ,45 ,53 ,51* ,55* ,63* ,63* ,67* ,04 ,39 ,30 ,49 ,43 ,60**
H ,40 ,27 ,20 ,29 ,40 ,41 ,49** ,30 ,47 ,38 ,04 -,14 -,13 ,25 ,09 ,22 ,14 ,21 ,40** ,53 ,27 ,16 ,03 ,23 ,13 ,12 -,09 ,09 -,17 ,31 ,12 -,15 ,15 ,04 ,11 ,22 ,24 ,53 ,29 ,48 ,47 ,61 ,47 ,03 ,45* ,32* ,71* ,64* ,53
E = subschaal opvattingen over wetenschappelijk onderzoek F = subschaal belemmeringen tot veranderen G = subschaal persoonlijke kenmerken H = subschaal individuele waarden
De vragen van de subschalen randvoorwaarden, opvattingen over wetenschappelijk onderzoek en belemmeringen tot veranderen zijn omgepoold. De correlaties met de eigen subschaal zijn vervangen door item-rest correlatie (totaalscore zonder bijdrage betreffende item). * = hoogste correlatie tussen scores op een vraag met de totaalscore van een andere subschaal. ** = hoogste correlatie tussen scores op een vraag met de gecorrigeerde eigen subtotaalscore.
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
18
Tabel 2
Geroteerde (Varimax) factormatrix met 4 factoren Vraag 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49
Correlaties
Subschaal EBE competentie
Veranderbereidheid
Randvoorwaarden
Sociale factoren
F1 ,55 ,69 ,74 ,72 ,73 ,69 ,18 ,73 ,21 ,69 -,54 -,21 -,65 -,43 -,12
Opvattingen over wetenschappelijk onderzoek
,17 ,27 ,44
F2 ,40 ,21 ,13 ,36 ,37 ,62 ,24 ,58 ,34 ,12 ,21 ,22 -,15
,10 ,11 ,43 ,58 ,20 -,21 -,24
Belemmeringen tot veranderen
Persoonlijke kenmerken
Individuele waarden
,23 -,13 -,19 -,41 ,21 -,25 -,41 -,26 -,39 ,75 ,33 ,29 ,11 ,46 ,15 ,55 -,14 ,19
.10 worden niet vermeld
,31
-,19 ,23 -,25 ,11
-,21 ,19 ,62 ,33 ,61 ,53 ,74 ,48 ,71 ,33 ,70 ,66 ,63
F3 -,17 -,14 -,13
-,14 ,13 -,22 ,22 ,12 ,22 ,44 ,41 -,16 -,21 ,13 -,18 ,34 ,47 ,39 ,60 ,39 ,24 ,11
,26 ,51 ,43 ,24 ,82 ,74 ,71 ,24 ,28 ,36
-,20 ,33 ,21 ,32 -,23
,51 ,48 ,39 ,57
,16
,43 ,44
,20 -,13
-,27 -,24 -,25 -,11
-,14
,21 ,31 ,13 ,22
F = factor Grijs gearceerd = vraag met hoogste correlatie op die factor
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
F4
19
Tabel 4 Samenhang tussen opleidingsniveau, -ervaring, kennis over EBE, vaardigheden m.b.t. EBE, Attitude en bereidheid tot adoptie van EBE Pearson’s correlatiecoëfficiënt .03
.72
Opleidingservaring en bereidheid tot adoptie van EBE
.01
.94
Kennis over EBE en bereidheid tot adoptie van EBE
.19*
.02
Vaardigheden m.b.t. EBe en bereidheid tot adoptie van EBE
Opleidingsniveau en bereidheid tot adoptie van EBE
.52**
.00
Attitude en bereidheid tot adoptie van EBE
.09
.29
Opleidingsniveau en opleidingservaring
.05
.56
Opleidingsniveau en kennis over EBE
-.02
.83
Opleidingsniveau en vaardigheden m.b.t. EBE
.44**
.00
Opleidingsniveau en attitude
-.15
.07
Opleidingservaring en kennis over EBE
.14
.10
Opleidingservaring en vaardigheden m.b.t. EBE
.14
.09
Opleidingservaring attitude
-.08
.31
Kennis van EBE en vaardigheden m.b.t. EBE
.17*
.04
Kennis van EBE en attitude
-.09
.28
Vaardigheden m.b.t. EBE en attitude
-.21*
.01
** Correlatie is significant op 0.01 niveau (2-zijdig). * Correlatie is significant op 0.05 niveau (2-zijdig). N = 152
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
20
6. Referentielijst
Refere
Aarons, G. A. (2004). Mental Health Provider Attitudes Toward Adoption of Evidence-Based Practice: The Evidence-Based Practice Attitude Scale (EBPAS). Mental Health Services Research; 6 (2), 61-64. Baum, K.D. (2003). The impact of an Evidence-Based Medicine Workshop on Residents Attitudes towards an Self-Reported Ability in Evidence-Based Practice. Medical Education Online. 8 (4), 1-7 Boer, A.G.E.M. de, Lanschot, J.J.B. van, Stalmeier, P.F.M., Sandick, J.W. van, Hulscher, J.B.F., Haes, J.C.J.M. de, Sprangers, M.A.G. (2004). Is a single-item visual analogue scale as valid, reliable and responsive as multi-item scales in measuring quality of life? Quality of Life Research. 13, 311-320. Borg, S. (2007). Research engagement in English language teaching. Teaching and teacher Education 23 (5), 731-747 Cox, K., Louw, D. de, Verhoef, J., Kuiper, C., (2005). Evidence-based practice voor verpleegkundigen: Methodiek en implementatie. Lemma, Utrecht Davies, P. (1999). What is Evidence-Based Education? British Journal of Educational Studies. 47(2), 108-121 Eitel, F. & Steiner, S. (1999). Evidence-based learning. Medical Teacher 21 (5), 506-512 Gift, A.G. (1989). Visual analogue Scales: Measurement of subjective phenomena. Nursing Research. 38 (5), 286-288. HBO-raad. Feiten en cijfers. Download 8 mei 2009 van www.hboraad.nl/feitenencijfers/arbeidsvoorwaarden HBO-raad. Factsheet personeel. Download 8 mei 2009 van www.hboraad.nl/publicaties2008/factsheetpersoneel2008
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
21
Heus, P. de, Leeden, R. van der, Gazendam, B. (2008). Toegepaste Data-analyse. Technieken voor niet experimenteel onderzoek in de sociale wetenschappen. Reed Business, ’s Gravenhage, Johnston, J.M., Leung, G.M., Fielding, R., Tin, K.Y.K. and Ho, L.M. (2003). The development and validation of a knowledge, attitude and behaviour questionnaire to assess undergraduate evidence-based practice teaching and learning. Medical Education. 37 (11), 992-1000 Keys, P.M. (2007). A knowledge filter model for observing and facilitating change in teachers’ beliefs. Journal of educational change, 8 (1), 41-60 Kouhpayehzadeh, J., Baradaran, H., Arabshahi, K.S. and Knill-Jones, R. (2006). Clinical teachers' attitudes toward the efficacy of evidence-based medicine workshop and selfreported ability in evidence-based practice in Iran. Journal of Continuing Education in the Health Professions. 26 (3), 210-214 Kuijken, A.M.F. (2007). Meten van de bereidheid tot adoptie van Evidence Based Education door docenten in het middelbaar beroepsonderwijs. Ongepubliceerde afstudeerscriptie Master Verplegingswetenschap, UMC Utrecht Kuiper C. (2005). Implementatie van EBP in het onderwijs. In Cox K., Louw, D. de, Verhoef, J., Kuiper, C., Evidence-based practice voor verpleegkundigen: Methodiek en implementatie. (pp. 245-273) Lemma, Utrecht Linge, R.H. van, (2006). Innoveren in de gezondheidszorg. Theorie, praktijk en onderzoek. Elsevier, Maarssen Lynn, M.R. (1986). Determination and qualification of content validity. Nursing Research. 35 (8), 382-385. McCluskey, A. and Lovarini, M. (2005). Providing education on evidence-based practice improved knowledge but did not change behaviour: a before and after study. BMC Medical education. 5, 40 Meerling. (1988). Methoden en technieken van psychologisch onderzoek. Deel 2. Dataanalyse en psychometrie. Boom, Meppel/Amsterdam. Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
22
Melnyk, B.M., Fineout-Overholt, E., Feinstein, N.F., Sadler, L.S. and Green-Hernandez, C. (2008). Nurse practitioner educators'perceived knowledge, beliefs, and teaching strategies regarding evidence-based practice: Implications for accelerating the integration of evidencebased practice into graduate programs. Journal of Professional Nursing 24 (1), 7-13 Murphy, C., Neil, P., and Beggs, J. (2007). Primary science teacher confidence revisited: ten years on. Educational Research 49 (4), 415-430 Onderwijsraad (2006). Versteviging van kennis in het onderwijs. Den Haag. Onderwijsraad (2006). Naar meer evidence based onderwijs. Den Haag. Polit, D.F., Beck, C.T. (2004). Nursing Research. Principles and Methods. Seventh Edition Philadelphia: Lippincott. Rogers, E.M. (2003). Diffusion of innovations. 5th ed. New York: The Free Press. Taylor, R., Reeves, B., Mears, R., Keast, J., Binns, S., Ewings, P. and Khan, K. (2001). Development and validation of a questionnaire to evaluate the effectiveness of evidencebased practice teaching. Medical Education 35 (6), 544-547 Terwee, C.B., Bot S.D.M., de Boer M.R., van der Windt D.A.W.M., Knol D.L., Dekker, J., Bouter, L.M., de Vet H.C.W. (2007). Quality criteria were proposed for measurement properties of health status questionnaires. Journal of Clinical Epidemiology. 60, 34 - 42 Vocht, A. de. (2007). Basishandboek SPSS 15 voor windows. Bijleveld Press. Williams, D. and Coles, L. (2007). Teachers'approaches to finding and using research evidence: an information literacy perspective. Educational Research. 49 (2), 185-206 Zembylas, M., Barker, H.B. (2007). Teachers’ spaces for coping with change in the context of a reform effort. Journal of Educational Change. 8, 235-256
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
23
Bijlage 1: Vragenlijst “Bereidheid tot adoptie van EBE”
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
24
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
25
Bijlage 2: Auteursrichtlijnen Nurse Education Today Guide for Authors homepage ( http://www.elsevier.com/locate/permissions ). Presentation of Papers Length All articles should be 3500-4500 words, including abstract/summary and references. Please check your text carefully before you send it off, both for correct content and typographic errors. You will increase the chances of acceptance if you draw on the experience of previously published colleagues where possible. It is not possible to change the content of accepted papers during production. Do not use ' he' ,' his'etc where the sex of the person is unknown, say ' the nurse'etc. Avoid inelegant alternatives such as ' he/she' . Nurses should not be automatically designated as ' she' , and doctors as ' he' . In terms of style, try to avoid artificially objective language such as ' the author thought that'or ' the researcher'where this person is yourself. ' I'or ' we'are acceptable when related to matters concerning the author(s) themselves or their opinions. Title page •The title page should be provided as a separate file. •Your title page should give the title in capital letters, below which should be the authors' names (as they appear) in lower-case letters. •For each author you should give one first name as well as the family name and any initials •Authors'addresses should be limited to the minimum information needed to ensure accurate postal delivery; these details should be on the title page below the authors'names and appointments •Authors should also provide a daytime contact telephone number, fax number and e-mail address. Keywords Include three or four keywords. The purpose of these is to increase the likely accessibility of your paper to potential readers searching the literature. Therefore, ensure keywords are descriptive of the study. Refer to a recognised thesaurus of keywords (e.g. MEDLINE, CINAHL) wherever possible. Abstract/Summary An abstract of your paper, a maximum of 200 words summarising the content, should follow the title page. Headings The content of your paper should determine the headings you use. If yours is a quantitative research paper the headings should follow the usual layout, such as: Introduction, Background/Literature, Methods, Data/Results, Discussion, Conclusions. If your paper takes another form, theoretical or qualitative for example, you should use the appropriate headings, but do bear in mind that headings should facilitate reading and understanding. You should use only two kinds of headings, major headings should be indicated by underlined capital letters in the centre of the page whereas minor headings should be underlined, have lower-case letters (beginning with a capital) and begin at the left hand margin.
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
26
Tables Each table needs a short descriptive title above it, and a clear legend or key and, if necessary, suitably identified footnotes below. When drawing up the tables take care to include all the units of measurement. Make sure that each table is cited in the text. Illustrations A detailed guide on electronic artwork is available on our website: http://www.elsevier.com/authors If, together with your accepted article, you submit usable colour figures then Elsevier will ensure, at no additional charge, that these figures will appear in colour on the web (e.g., ScienceDirect and other sites) regardless of whether or not these illustrations are reproduced in colour in the printed version. For colour reproduction in print, you will receive information regarding the costs from Elsevier after receipt of your accepted article. Permissions to reproduce borrowed material Written permission to reproduce borrowed material (illustrations and tables) must be obtained from the original publishers and authors, and submitted with the article. Borrowed material should be acknowledged in the captions in this style: Reproduced by kind permission of ... (publishers) ... from ... (reference). Reference Style The accuracy of the references you provide is your responsibility. •In the text references should state the author' s surname and the year of publication (Smith, 1989). If there are two authors you should give both surnames (Smith & Black, 1989). When a source has more than two authors, give the name of the first author followed by ' et al.' . •Where a quotation is used within your paper the author, date and page number should be given, e.g. ' Pain probably disables more people than any single disease entity.'(McCaffery 1979, p.1) •A list of all references in your manuscript should be typed in alphabetical order. Each reference to a paper needs to include the authors' surnames and initials, year of publication, full title of the paper, full name of the journal, volume number, issue number and first and last page numbers. Do not add unnecessary punctuation. For example: Aggleton, P., Allen, M., Montgomery, S., 1987. Developing a system for the continuous assessment of practical nursing skills. Nurse Education Today 7 (4), 158-164 References to Books should be given in a slightly different form, as in these examples: Houle, Co., 1972. The Design of Education. Jossey-Bass, San Francisco. Quinn, S., 1982. Nursing education in the countries of the Common Market. In: Henderson, M.S. (Ed.), Nursing Education. Churchill Livingstone, Edinburgh, pp. 125-140 The digital object identifier (DOI) may be used to cite and link to electronic documents. The DOI consists of a unique alpha-numeric character string which is assigned to a document by the publisher upon the initial electronic publication. The correct format for citing as DOI is shown as follows (example taken from a document in the journal Physics Letters B): doi: 10.1016/j.physletb.2003.10.071
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
27
When you use the DOI to create URL hyperlinks to documents on the web, they are guaranteed never to change. Citing and listing of Web references: As a minimum, the full URL should be given. Any further information, if known (Author names, dates, reference to a source publication, etc.), should also be given. Web references can be listed separately (e.g., after the reference list) under a different heading if desired, or can be included in the reference list.
Validiteit en betrouwbaarheid van de vragenlijst “Bereidheid tot adoptie van EBE” 10 juli 2009
28