Handleiding Werkblad methodebeschrijving

Handleiding Werkblad methodebeschrijving Databank Effectieve sociale interventies Versie juli 2011

Let op: Deze handleiding hoort bij het Werkblad methodebeschrijving. Het werkblad is te vinden op www.movisie.nl/effectievesocialeinterventies Voor vragen kun je terecht bij: Renske van der Zwet [email protected] 030 789 2254 of Marijke Booijink [email protected] 030 789 2123

2 * * * Handleiding werkblad methodebeschrijving

Inhoudsopgave

Inleiding

04

1 Algemene informatie 1.1 Aanmelding, selectie en het beschrijven van methoden 1.2 De methodeontwikkelaar 1.3 Inrichting databank 1.4 Opbouw en lengte werkblad 1.5 Het gebruik van het werkblad 1.6 Het zoeken en selecteren van literatuur 1.7 Literatuurverwijzingen 1.8 Archivering 1.9 RefWorks 1.10 Write-N-Cite 1.11 Beeldmateriaal 1.12 Tijdsplanning

05 05 05 07 07 08 09 12 14 16 18 19 19

2 2.1 2.2 2.3 2.4 2.5

23 23 25 26 28 30

De methodebeschrijving Beschrijving methode Onderbouwing Onderzoek praktijkervaringen Effectonderzoek Samenvatting werkzame elementen

Bijlage 1: Aanvraagformulier literatuurzoektocht

32

Handleiding werkblad methodebeschrijving * * * 3

Inleiding Professionals en burgers worden in de sociale sector geconfronteerd met een wirwar aan informatie waar ze zich een weg in moeten vinden. Die informatie is vaak versnipperd en daardoor weinig toegankelijk. Het project Effectieve sociale interventies verzamelt en ordent die informatie en werkt zo aan een kennisfundament voor de sociale sector. Professionals, maar ook actieve burgers en vrijwilligers, krijgen op deze wijze meer zicht op welke methoden er in de sociale sector zijn en wat bekend is over de praktijkervaringen en effectiviteit. Zij kunnen zo beter gefundeerd kiezen welke methode in de situatie waarin zij aan het werk willen het meest passend is. De databank Effectieve sociale interventies is daar een belangrijk instrument voor. De databank stimuleert methodisch werken en kwaliteitsverbetering van methoden. Methoden die opgenomen worden in de databank worden beschreven aan de hand van het ‘Werkblad methodebeschrijving’. Dit werkblad is te vinden op de website van Effectieve sociale interventies. Alle beschikbare informatie over een methode wordt via dit werkblad bij elkaar gebracht. Deze handleiding bevat belangrijke instructies voor het werken met het werkblad. Lees dit document vooral goed door voordat je begint met de methodebeschrijving! Ook is het een belangrijk naslagwerk tijdens het werken aan de methodebeschrijving. Om een idee te krijgen hoe een methodebeschrijving er uiteindelijk uit moeten komen te zien, kun je de databank op onze website raadplegen. Vind je een bepaald onderdeel lastig, dat kun je daar ook inspirerende voorbeelden vinden. Wij wensen je veel succes met het maken van een methodebeschrijving!


1. Algemene informatie 1.1 Aanmelding, selectie en het beschrijven van methoden De databank Effectieve sociale interventies bevat informatie over actueel toegepaste methoden. Het gaat om: 1. een beschrijving van de methode zelf 2. de theoretische onderbouwing 3. de praktijkervaringen 4. de wetenschappelijke aanwijzingen voor de effectiviteit. Iedereen kan methoden aandragen voor opname in de databank. Het gaat daarbij om methoden op een veelheid aan thema’s binnen de sociale sector, zoals buurtontwikkeling, mantelzorg, vrijwilligerswerk, eenzaamheid, maatschappelijke activering, huiselijk en seksueel geweld, ouderenparticipatie, jongerenparticipatie en diversiteit. Methoden kunnen worden aangemeld via het aanmeldingsformulier dat te downloaden is vanaf de website van Effectieve sociale interventies. MOVISIE brengt ook zelf op systematische wijze door middel van verkenningen op diverse thema’s in de sociale sector in kaart met welke methoden gewerkt wordt (zie website). Suggesties voor thema’s zijn welkom. Een methode wordt omschreven als ‘een systematische manier van handelen gericht op een gespecificeerde doelgroep om een vooraf bepaald doel te bereiken’. Een methode komt in aanmerking voor opname in de databank wanneer een methode zodanig in een handboek is uitgewerkt dat een geïnteresseerde professional op basis daarvan in de praktijk met de methode aan de slag kan. Voorwaarde is tevens dat een methode al minstens twee jaar bij meer dan één instelling in praktijk gebracht wordt. Methodebeschrijvingen worden in samenwerking tussen MOVISIE en de ontwikkelaar gemaakt. Wanneer MOVISIE zelf methodebeschrijvingen maakt, dan geeft de ontwikkelaar feedback. Ontwikkelaars kunnen ook zelf met behulp van het Werkblad methodebeschrijving en deze handleiding aan de slag, dan biedt MOVISIE begeleiding en geeft zij feedback. Meld voordat je start met de methodebeschrijving een methode altijd eerst aan via het aanmeldingsformulier. MOVISIE neemt dan contact met je op om te bespreken of een methode in aanmerking komt voor opname in de databank en om nadere afspraken te maken over de werkwijze.

1.2 De methodeontwikkelaar Het is van belang dat de databank objectieve methodebeschrijvingen bevat, die kunnen rekenen op steun van de methodeontwikkelaar. De methodebeschrijving is daarom altijd een gezamenlijk product van MOVISIE, de methodeontwikkelaar en de methodebeschrijver (voor zover niet MOVISIE of de ontwikkelaar). Het is dus belangrijk om nauw samen te werken. Een ontwikkelaar kan zelf een beschrijving maken van zijn of haar methode. Zoals aangegeven moet de methode dan wel eerst bij MOVISIE aangemeld worden, zodat afspraken gemaakt kunnen worden over de te volgen procedure (zie 1.1).


Eerste afspraak met ontwikkelaar Wanneer een andere partij of MOVISIE een methodebeschrijving maakt, is het belangrijk om voor de start een afspraak te maken met de methodeontwikkelaar om die persoon goed te informeren en wederzijdse verwachtingen te bespreken. Voor dat gesprek gelden de volgende aandachtspunten. Informatie verschaffen over het doel van de databank Effectieve sociale interventies (factsheets zijn bij het projectteam verkrijgbaar), over de status van de databank (niet alleen een verzameling van methodebeschrijvingen, maar ook informatie over de effectiviteit ervan vanuit de praktijk en de wetenschap: toelichting onderdelen werkblad) en de relatie tot andere databanken van Effectieve interventies (wij werken met deze databanken samen in het Samenwerkingsverband effectieve interventies, maar zijn een zelfstandige databank met een eigen werkwijze). Informatie verschaffen over de procedures (eerst beschrijving van de methode en beschikbare informatie over de effectiviteit daarvan, later wordt ook het oordeel van externe deskundigen betrokken – de wijze waarop moet nog ingevuld worden). Toelichting geven op de keuze voor de methode van de ontwikkelaar en de consequenties die dat heeft (blijk van waardering, meer aandacht voor de methode, impuls voor verdere ontwikkeling). Toelichting geven op wat verwacht wordt van de ontwikkelaar (toestemming voor het maken van een methodebeschrijving, beschikbaar stellen informatiemateriaal, becommentariëren concept, toestemming voor publicatie van de methodebeschrijving, eventuele doorontwikkeling van de methode). Concrete afspraken maken, onder meer over de tijdsplanning. Om dit gesprek te vergemakkelijken, is vanuit Effectieve sociale interventies een informatiemap ontwikkeld. Deze informatie kun je (deels) vooraf naar de ontwikkelaar sturen en/of meenemen naar het gesprek. In de informatiemap zijn de volgende documenten opgenomen.

Een factsheet over de databank en de bijbehorende procedures. Een praktijkbrochure Weten wat werkt: databank effectieve sociale interventies. Het Werkblad methodebeschrijving. De informatiekaart over het thema waarbinnen de methode van de ontwikkelaar valt. Eventueel de verkenning van het subthema waarbinnen de methode valt.

Deze documenten zijn ook digitaal beschikbaar of te downloaden vanaf de website van Effectieve sociale interventies. Vraag bij het inwinnen van informatie over de methode naar de volgende aspecten (zie ook 1.6). De ontwikkelgeschiedenis: wanneer is de methode ontwikkeld, door wie, is de ontwikkelaar ook eigenaar van de methode of beheert een andere organisatie de methode, is de methode vanuit het buitenland geïmporteerd en vertaald, is er bij het ontwikkelen van de methode gebruik gemaakt van bestaande visies, theorieën of wetenschappelijke onderzoeken? Is er aandacht voor verspreiding, actualisering en verbetering van de methode? Op welke locaties wordt de methode momenteel toegepast? Onderzoeksrapporten en eventuele andere (evaluatie)verslagen over de methode. Andere materialen die zijn ontwikkeld om met de methode aan de slag te kunnen (bijvoorbeeld trainingsmaterialen). Beschikbaar beeldmateriaal over de methode. Eventuele andere namen waaronder de methode nu of in het verleden is toegepast. Eventuele buitenlandse equivalenten van de methode.


Samenwerken met de ontwikkelaar Tijdens het schrijven van de methode kan het zijn dat je erachter komt dat bepaalde informatie mist of onvolledig is. Ga hierover in gesprek met de ontwikkelaar! Het kan zijn dat betreffende informatie wel beschikbaar is, maar bijvoorbeeld in een andere informatiebron. Het kan ook zijn dat de informatie inderdaad ontbreekt. Wij beschouwen het werkblad als een groeimodel. Onderdelen waarover nu nog geen informatie beschikbaar is, blijven dan oningevuld (hiervoor worden in het werkblad steeds standaardzinnen aangereikt). Het werkblad houdt op deze wijze de ontwikkelaar als het ware de spiegel voor: het laat de sterke kanten van de methode zien en het maakt ook zichtbaar waar de ‘witte vlekken’ zitten. Door hierover met de ontwikkelaar in gesprek te gaan, wordt deze gestimuleerd om de kwaliteit van de methode verder te verbeteren. De methodebeschrijving wordt met enige regelmaat geactualiseerd. Vraag de ontwikkelaar daarom ons op de hoogte te houden van nieuwe ontwikkelingen! Mail deze door aan ons secretariaat (Jeske van der Waerden) – zij houdt deze informatie bij in de beheerdersfunctie van de databank, zodat wij bij een update een volledig overzicht hebben.

1.3 Inrichting databank De databank is toegankelijk via de website van Effectieve sociale interventies. De databank is zo ingericht dat de informatie over een bepaalde methode gefaseerd kan worden geraadpleegd: 1. een korte beschrijving, 2. een samenvatting 3. een uitgebreide beschrijving. In de databank kan alfabetisch, op thema of op trefwoord gezocht worden. Van de daarbij passende methoden worden de korte beschrijvingen vervolgens onder elkaar weergegeven, waarbij de bezoeker kan doorklikken op de samenvatting. De korte beschrijving en de samenvatting maken het bezoekers mogelijk om binnen de databank snel de methoden te selecteren die voor hen van belang zijn. Vanuit de samenvatting kan de bezoeker doorklikken naar de uitgebreide beschrijving. Dit is een downloadbare printversie waarin ook de samenvatting is opgenomen. Het Werkblad methodebeschrijving biedt een format voor de uitgebreide beschrijving (pagina 7 t/m 18) en een format voor de samenvatting (pagina 6). Een medewerker van het projectteam maakt bij plaatsing in de databank op basis van de samenvatting een korte beschrijving.

1.4 Opbouw en lengte werkblad De methodebeschrijving bestaat uit vier onderdelen. 1. Beschrijving methode, waaronder de doelen, de doelgroep en de aanpak. Hieruit blijkt het weldoordachte van de methode. 2. Onderbouwing. Daarbij gaat het om uitgebreidere achterliggende visies, theorieën of wetenschappelijk onderzoek. 3. Onderzoek naar praktijkervaringen. Dit onderdeel geeft zicht op wat er bekend is over de praktijkervaringen van de professional en de cliënt/burger met de methode. 4. Effectonderzoek. Dit onderdeel geeft inzicht in wat er wetenschappelijk onderzocht is over de effectiviteit van de methode.


Een nadere toelichting op deze onderdelen vind je in hoofdstuk 2. Voor de methodebeschrijving geldt als richtlijn een maximale lengte van 30 pagina’s (exclusief bijlagen). Na het invullen van het format kan op basis van de uitgebreide beschrijving de samenvatting (pagina 6) geschreven worden. Voor deze samenvatting geldt een maximale lengte van drie pagina’s.

1.5 Het gebruik van het werkblad Hieronder volgen enkele praktische instructies voor het gebruik van het Werkblad methodebeschrijving. Sla het werkblad direct na het openen op onder de naam: ‘CONCEPTMethodebeschrijving’ gevolgd door de naam van de methode. Medewerkers van MOVISIE kunnen concepten in de submap van het eigen thema in e-Synergy opslaan (bijvoorbeeld ‘P1801.001.002 Buurtontwikkeling’). Pas daarbij ook de titel op de voorpagina aan: Methodebeschrijving gevolgd door de naam van de methode. Het secretariaat zal zowel het worddocument als de pdf van de definitieve eindversie (na eindredactie en vormgeving) opslaan in ‘P1801.001 E.I. Databank’. Gebruik het werkblad via Microsoft Word. Er zijn slechte ervaringen met het werken in het werkblad via ‘open source’ tekstverwerkingsprogramma’s (de vormgeving gaat dan deels verloren).

Naam methode

Onderstreepte tekst wordt overschreven met nieuwe tekst. Wat dat moet zijn, wijst zich vanzelf. Hierna dient de onderstreping verwijderd te worden.

Kader

Een kader geeft aan dat er iets moet worden ingevuld. Een kader wordt altijd gevuld met een goedlopende tekst die een relatieve buitenstaander zonder verdere instructies kan begrijpen. Zorg ervoor dat de tekst in de kaders altijd uit volledige zinnen bestaat. Vul bijvoorbeeld onder het kopje Doelgroep niet in ‘Ouderen vanaf 55’, maar bijvoorbeeld ‘De methode is bestemd voor ouderen vanaf 55 jaar.’

Doelgroep

Vetgedrukte tekst in een kader geeft een kopje aan dat gebruikt moet worden, tenzij dit niet van toepassing is op de beschreven methode.


Beschrijving doelgroep Selectie doelgroep Etc.

De bullits geven thema’s aan waaraan in de tekst aandacht besteed moet worden. Bij het aanmaken van de tekst worden alle bullits ‘weggewerkt’. Plaats de thema’s vetgedrukt als subkopje boven de alinea of kies een ander passend subkopje. Is een thema niet van toepassing, schrap het dan. Soms staat achter het thema cursief de instructie een standaardtekst te gebruiken als een thema niet van toepassing is. Wanneer je in een kader bij de start van een nieuwe alinea wilt inspringen, dan kan dat door de functieknoppen Ctrl + Tab te gebruiken.

Nieuwe alinea

Cursieve tekst

Cursieve tekst geeft aanwijzingen. Verwijder deze wanneer je het betreffende onderdeel ingevuld hebt.

Afkortingen

Gebruik geen afkortingen. Bij afkortingen van namen gebruikt je de eerste keer de volledige naam, met de afkorting tussen haakjes. In de rest van de tekst kun je dan de afkorting gebruiken.

1.6 Het zoeken en selecteren van literatuur In het Werkblad methodebeschrijving wordt alle informatie gepresenteerd die beschikbaar is over de onderbouwing, praktijkervaringen en effectiviteit van een methode. Voor de kwaliteit van de in de databank gepresenteerde methodebeschrijvingen is het belangrijk dat de zoektocht naar deze informatie systematisch en transparant is. De zoektocht is gericht op een breed spectrum aan informatiebronnen, zoals: interne en externe (proces)evaluaties, veranderingsonderzoek, monitoring, experimenteel effectonderzoek, kwalitatief beschrijvend en verklarend onderzoek, casusonderzoek (N=1 onderzoek), literatuuronderzoek, behoeftepeilingen, surveys, verslagen van focusgroepen of paneldiscussies en praktijkverslagen. Zoals blijkt uit deze opsomming kan het hierbij zowel om gepubliceerde als om (interne) nietgepubliceerde documenten gaan. Niet-gepubliceerde documenten worden vooral belangrijk, wanneer het aantal gepubliceerde documenten erg beperkt is. Een systematische zoektocht is een cyclisch proces waarbij je je kritisch afvraagt wat je zoekt, een zoekstrategie bedenkt, je zoektocht uitvoert en de resultaten ervan evalueert. Vervolgens pas je je zoekvraag en zoekstrategie eventueel aan en zoekt weer verder. Essentieel daarbij is dat je de zoekgeschiedenis steeds goed vastlegt en dat je de keuzes die je maakt bij het selecteren van de gevonden informatie goed onderbouwt.


De stappen van een systematische literatuurzoektocht Hieronder volgt een overzicht van alle stappen die de methodebeschrijver en de informatiespecialist volgen voor een systematische en transparante literatuurzoektocht. 1. De methodebeschrijver vraagt alle beschikbare informatie op bij de ontwikkelaar en plaatst de publicaties in RefWorks (zie 1.9). Vraag hier eventueel ook naar bij uitvoerende instanties of onderzoekers van de methode (als de ontwikkelaar naar hen verwijst of er andere aanwijzingen zijn dat zij relevant aanvullend materiaal hebben). 2. De methodebeschrijver doet een korte internetzoektocht naar aanvullend materiaal over de methode. De ervaring leert dat op deze wijze soms interessante publicaties gevonden worden, bijvoorbeeld via de websites van uitvoerende welzijnsorganisaties. (De methodebeschrijver hoeft niet via Google Scholar te zoeken, dat doet de informatiespecialist). 3. De methodebeschrijver vult het Aanvraagformulier literatuurzoektocht in en vraagt Marja van de Middelaar of Mark Franken (de informatiespecialisten van de afdeling Kennisstromen) om de literatuursearch uit te voeren. De informatiespecialist bespreekt (indien nodig) de aanvraag met de methodebeschrijver. 4. De informatiespecialist voert de search uit en legt de zoekgeschiedenis vast in een verslag. 5. De informatiespecialist koppelt de eerste oogst (gevonden publicaties) terug naar de methodebeschrijver. 6. De methodebeschrijver evalueert de oogst: bevat deze belangrijke publicaties, is de oogst goed, te klein of te groot ten aanzien van wat globaal verwacht kan worden bij de betreffende methode? 7. De informatiespecialist en de methodebeschrijver bepalen samen of de zoektocht afgesloten kan worden of dat er vervolgacties nodig zijn en zo ja, welke: bijvoorbeeld het aanpassen van de beginzoekvraag of het formuleren van specifiekere of juist ruimere zoektermen. 8. De informatieanalist koppelt de definitieve oogst terug naar de methodebeschrijver en evalueert deze met hem of haar. 9. De methodebeschrijver selecteert de definitieve oogst en geeft aan de informatiespecialist door welke publicaties relevant zijn en aangevraagd, geleend of besteld moeten worden. 10. De methodebeschrijver checkt de referenties van het gevonden materiaal. Potentieel interessante auteurs en titels kunnen aan de informatieanalisten doorgegeven worden. 11. De methodebeschrijver verwerkt de informatie in het Werkblad methodebeschrijving en rapporteert in onderdeel 6.1 hoe de literatuur gezocht en geselecteerd is. Immers, bij een systematische en transparante literatuurzoektocht is het belangrijk dat de zoekgeschiedenis helder gerapporteerd wordt. De rapportage van het zoeken en selecteren van literatuur is een verantwoording van de kwaliteit van de methodebeschrijving. Alle voorgaande stappen worden daarin expliciet inzichtelijk gemaakt. Het genoemde literatuuroverzicht in RefWorks en het verslag van de literatuursearch functioneert daarbij als archief van de zoekgeschiedenis. Ook methodebeschrijvers buiten MOVISIE zetten via de informatiespecialisten van MOVISIE een literatuursearch uit. Na aanmelding van de methode worden hierover nadere afspraken gemaakt. Overzicht databanken Ter informatie volgt hier het overzicht van de databanken die de specialisten van Kennisstromen doorzoeken.


Standaard: Nederlandse bronnen: NARCIS/Darenet HBO Kennisbank PiCarta NCC Literatuurcatalogus MOVISIE Google Scholar Wanneer er sprake is van een vergelijkbare buitenlandse methode Internationale databanken (via EBSCO en ProQuest): Cochrane Database of Systematic Reviews Cochrane Controlled Trials Register Database of Abstracts of Reviews of Effects (bevat onder andere beide bovenstaande + Cochrane Database of Systematic Reviews) Campbell Library of Systematic Reviews SocINDEX Sociological Abstracts with ProQuest Full-Text Social Work Abstracts Social Services Abstracts ERIC (education) MEDLINE/PubMed FRANCIS (multidisciplinair) IBSS (sociaalwetenschappelijk) PsycINFO Afhankelijk van het onderwerp: Nederlandse bronnen: Databank Effectieve Jeugdinterventies (jeugd) Literatuurcatalogus NJi (jeugd) Literatuurcatalogus Vilans (zorg) Literatuurcatalogus Trimbos-instituut (ggz) Literatuurcatalogus Rutgers Nisso Groep (RNG) (seksueel geweld) I-database (leefstijlinterventies, opvolger van QUI-database) Internationale databanken: CINAHL (paramedisch) Race Relations Abstracts Urban Studies Abstracts Violence & Abuse Abstracts PILOTS (PTSS) National Criminal Justice Reference Service Abstracts (vgl. WODC) Worldcat Selecteren van informatie De literatuurzoektocht levert een wisselende hoeveelheid informatie op die vervolgens gescreend moet worden op relevantie. De selectiefase kent de volgende stappen.


1.

Het bepalen van de selectiecriteria: Geeft de publicatie antwoord op de zoekvraag? Betreft het een onderzoek naar de praktijkervaringen met of de effectiviteit van de methode? Publicaties over bijvoorbeeld theoretische concepten achter de methode mogen in de methodebeschrijving niet meegenomen worden, tenzij de ontwikkelaar er zelf ook gebruik van heeft gemaakt voor de onderbouwing van de methode. Wanneer je gebruik maakt van eventuele aanvullende criteria, zoals in- of uitsluiten van bepaalde varianten van de methode, actualiteit, onderzoeksontwerp, taal, et cetera, geef dat dan in onderdeel 6.1 van het Werkblad methodebeschrijving aan. 2. Doornemen titels + samenvattingen: Beoordeel met – (niet interessant) of + (interessant) of ? (twijfel). Bij -: noteer reden van exclusie in de commentaarfunctie van RefWorks. 3. Geselecteerde documenten (+ en ?) beoordelen: Noteer reden van exclusie in de commentaarfunctie van RefWorks. Soms zijn documenten niet beschikbaar: rapporteer dat. Let op: Het selecteren van informatie is een procedure die officieel door twee onderzoekers parallel aan elkaar uitgevoerd wordt om bias te voorkomen. Over verschillen in de selectie wordt dan gediscussieerd tot er onderbouwd tot consensus gekomen is. Organisatorisch is dat in het kader van de methodebeschrijvingen niet haalbaar. De medewerkers van Effectieve sociale interventies zijn wel beschikbaar om over cruciale stappen in het proces van zoeken en selecteren van literatuur mee te denken en bij twijfel samen knopen door te hakken. Maak daar gebruik van!

1.7 Literatuurverwijzingen Geef in de tekst met verwijzingen aan welke bronnen zijn gebruikt. Volg voor de verwijzingen en de literatuurlijst de APA-normen (zie voor een handige Nederlandstalige handleiding http://drcwww.uvt.nl/its/voorlichting/handleidingen/bibliotheek/apa.pdf). TIP: Als je met RefWorks (zie 1.9) en Write-N-Cite (zie 1.10) werkt, gaat dit bijna volledig automatisch. Sleutelpublicaties Neem in de tekst en in de literatuurlijst (onderdeel 6.2) alleen sleutelpublicaties op. Dit zijn: de primaire bronnen met beschrijvingen van de methode die je gebruikt voor onderdeel 1 (zoals het handboek of de handleiding, eventueel aangevuld met andere boeken en artikelen, overige materialen) de bronnen die je gebruikt om het theoretisch kader te beschrijven (onderdeel 2) bronnen van de in onderdeel 3 en 4 beschreven onderzoeken (ook belangrijke metastudies of reviews die in onderdeel 4 zijn beschreven). Uitzondering op de APA-normen In één opzicht wordt bij de verwijzingen en de literatuurlijst afgeweken van de APA-normen. Volgens de internationale regels van APA wordt een publicatie van bijvoorbeeld de Nederlander Peter van den Heuvel uit 1998 in de literatuurlijst opgenomen bij de auteursnamen die beginnen met een V:


Vaandeldrager, J.M.J. (2003). Zorgen voor ouders. Lisse: Berg Uitgeverij. Van den Heuvel, P. (1998). Effectiviteit van het ouderprogramma … etc. Vester, S. (1999). Handleiding programma oudertraining … etc. Wij volgen echter de schrijfwijze zoals gebruikelijk in het land van herkomst (in dit geval Nederland). Voor de databank wordt de publicatie in de literatuurlijst dan opgenomen onder de H: Haan, P. de (2002). Ouders met zorgen. Pijnacker: Bakker BV Heuvel, P. van den (1998). Effectiviteit van het ouderprogramma … etc. Houdini, G. & Kazan, J. (2004). The disappearance of parental problems. … etc. Citeren bij meerdere auteurs Bij drie vier of vijf auteurs noem je de eerste keer dat de publicatie wordt geciteerd in de tekst alle auteurs. Bij een tweede en volgende keer dat dezelfde publicatie wordt geciteerd, worden alle auteurs na de eerste vervangen door “et al.”: “Deze theorie (Jansen et al., 2002)....” “Jansen et al. (2002) lieten al overtuigend zien dat...” Bij zes of meer auteurs worden de tweede en volgende auteurs meteen vervangen door “et al.”. Let op! In de literatuurlijst schrijf je altijd alle namen voluit (dus niet met et al.). Indirecte verwijzingen Als de maker van een methode (bijvoorbeeld Janssen) zich op een theorie baseert die hij in zijn handboek zelf kort beschrijft, dan hoeft de oorspronkelijke bron niet in de literatuurlijst opgenomen te worden. Je kunt dan volstaan met een indirecte verwijzing: “Janssen grijpt daarvoor terug op de theorie van Bowlby, Henderson en Van den Oortmans” (1997, in: Janssen, 2003). Bronnen van internet Bij referenties naar bronnen die van het internet zijn gehaald, gelden de volgende regels. Refereer naar de auteur of de organisatie met daarachter het jaar van publicatie, de naam van de publicatie en eventueel de plaats en het jaar van de uitgave. Daarachter verschijnt de datum en de naam van het internetadres waarvan het document is gedownload. Bijvoorbeeld: JeugdHonken (2002). Visiedocument en pedagogische aanpak. Gedownload op 4 oktober 2005, van http://www.jeugdhonken.nl/behandeling/visie/visiedocument.pdf. Visser, P. (2005). De weg verder. Een ouderprogramma voor angstige kinderen. Den Dolder: De Drukkerij. Gedownload op 4 oktober 2005, van http://www.jeugdhonken.nl/publicaties. Presenteren van een publicatie in de doorlopende tekst In sommige onderdelen van de methodebeschrijvingen word je gevraagd een publicatie te presenteren. We doelen hier op de presentatie van het handboek in het kader aan het begin van onderdeel 1, de presentatie van de materialen in onderdeel 1.6 en de presentatie van de onderzoekspublicaties in de onderdelen 3 en 4. Maak in deze gevallen van de titel, auteur, naam organisatie en jaar van uitgave een lopende zin volgens het volgende voorbeeld:


De beschrijving van de methode is gebaseerd op het volgende handboek: Handleiding Vriendschapscursus voor oudere vrouwen, geschreven door Nan Stevens en Hanna Albrecht, voor het eerst uitgegeven in 1995 door de Radboud Universiteit in Nijmegen. Persoonlijke communicatie Wanneer je bepaalde informatie hebt verkregen via bijvoorbeeld mailcontact of telefonisch contact, verwijs dan als volgt: ([naam], persoonlijke communicatie, [datum]). Onder persoonlijke communicatie vallen privébrieven, memo’s, e-mails, (telefoon)gesprekken, persoonlijke interviews, et cetera. Informatie verkregen via persoonlijke communicatie kan door de lezer niet worden achterhaald en wordt dus niet opgenomen in de literatuurlijst. Wees daarom terughoudend met het opnemen van informatie die gebaseerd is op persoonlijke communicatie.

1.8 Archivering Methoden zijn voortdurend in ontwikkeling. Met het project Effectieve sociale interventies hopen we via het beschrijven van methoden een dergelijke doorontwikkeling juist ook te stimuleren, zodat er een voortdurende kwaliteitsverbetering van interventies in de sociale sector plaatsvindt. Dit betekent dat de methodebeschrijvingen zelf ook cyclisch van karakter zijn en regelmatig herzien moeten worden. Hiervoor is het belangrijk dat alle informatie over de beschreven methoden, zowel schriftelijk als digitaal, op één plek verzameld wordt en zo ook in de toekomst voor de medewerkers van Effectieve sociale interventies toegankelijk blijft. Hardcopy Bij het starten van de methodebeschrijving ontvangen interne methodebeschrijvers een dossiermapje voor de methodebeschrijving. Gedurende het maken van de methodebeschrijving verzamelt de methodebeschrijver hierin alle belangrijke correspondentie en informatie. Na afronding van de methodebeschrijving verzoeken we alle methodebeschrijvers om al het schriftelijke materiaal over de methode over te dragen aan het team Effectieve sociale interventies van MOVISIE. Wij slaan het dossiermapje op in een afgesloten archiefkast (per methode één of – afhankelijk van de hoeveelheid materiaal - meerdere hangmappen). De dossiermap is met tabbladen als volgt ingedeeld. 1. Versies methodebeschrijving - De commentaarversie van de ontwikkelaar (indien alleen hardcopy beschikbaar) - De commentaarversie van team EI (indien alleen hardcopy beschikbaar) - Laatste definitieve versie methodebeschrijving. 2. Verzamelde literatuur en informatiemateriaal - Een kopie van de omslag en de inhoudsopgave van het handboek met daarop vermeld de vindplaats van het handboek (Databank-archief, MOVISIE-catalogus, bij ontwikkelaar). - Onderzoeksrapportages, artikelen/flyers et cetera, die enkel als hardcopy beschikbaar zijn of toch al geprint zijn. 3. Belangrijke correspondentie - Belangrijke mails waarin bijvoorbeeld afspraken staan. In ieder geval zitten daarin de toestemming van de ontwikkelaar (indien beschikbaar) en resultaten van de literatuursearch.


MOVISIE-catalogus Alle nieuwe hard copy literatuur. Boeken (handboeken, onderzoeksrapporten et cetera) die zijn gebruikt bij het maken van de methodebeschrijving, worden opgenomen in de MOVISIE-catalogus, met het label van Trends en ontwikkelingen (T&O). Zo zijn de boeken voor iedereen beschikbaar, maar ze staan wel in de archiefkast zodat al het materiaal op één plek vindbaar is. Digitaal archief Medewerkers van MOVISIE wordt gevraagd de volgende documenten op te slaan in de submap van het eigen thema in e-Synergy (bijvoorbeeld ‘P1801.001.002 Buurtontwikkeling’). Kies hiervoor de volgende naam: naam methode – naam document. De datum wordt automatisch aangemaakt.

Versies methodebeschrijving o De commentaarversie van de ontwikkelaar (indien digitaal beschikbaar) dient de methodebeschrijver op te slaan in e-Synergy onder “methodebeschrijving *naam* commentaar ontwikkelaar” o Eventueel de commentaarversie(s) van team ESI (indien digitaal beschikbaar) dient de medewerker van team ESI op te slaan in e-Synergy onder “methodebeschrijving *naam* commentaar ESI”. Belangrijke correspondentie, zoals correspondentie over met de ontwikkelaar gemaakte afspraken.

Het secretariaat zal zowel het worddocument als de pdf van de definitieve eindversie (na eindredactie en vormgeving) in e-Synergy opslaan in ‘P1801.001 E.I. Databank’. Ook toekomstige geüpdate versies van de methodebeschrijving worden door het secretariaat opgeslagen. Externe methodebeschrijvers wordt gevraagd om behalve de methodebeschrijving zelf ook alle andere documenten naar MOVISIE te sturen. Deze zullen dan eveneens volgens de hiervoor beschreven procedure digitaal bewaard blijven. RefWorks Alle verzamelde digitale literatuur (onderzoeksrapportages, artikelen, flyers, et cetera) worden door de methodebeschrijver in RefWorks opgeslagen (zie 1.9). Dit is overzichtelijker dan e-Synergy. RefWorks heeft meerdere voordelen. Het vereenvoudigt via het programma Write-N-Cite het citeren in je methodebeschrijving en eventuele andere publicaties (zie 1.10). Tegelijkertijd staat dan ook voor toekomstig gebruik alle literatuur overzichtelijk op een rijtje. Dit biedt eventueel ook mogelijkheden om beschikbare literatuur in de sociale sector voor een groter publiek te ontsluiten. E-Synergy Digitaal

RefWorks

MOVISIEcatalogus Hardcopy

dossiermap

1. Versies methodebeschrijving - commentaarversie van de ontwikkelaar

X

Of X


E-Synergy

- commentaarversie van team ESI

RefWorks

Digitaal X

MOVISIEcatalogus Hardcopy

dossiermap

Of X

- definitieve versie van de methodebeschrijving - alle nieuwe geüpdate versies van de methodebeschrijving 2. Verzamelde literatuur

X

En X

X

En X

3. Belangrijke correspondentie

X

Of X

4. Focusgroep (indien van toepassing)

X

Of X

X

Of X

1.9 RefWorks Zoals aangegeven (zie 1.8) zetten we voor het beheer van de literatuur die gebruikt wordt voor de methodebeschrijvingen RefWorks in. Hieronder een korte instructie over hoe te werken met dit programma. 1. RefWorks: gezamenlijke database openen Ga naar de homepagina van http://www.refworks.com. Kies voor Login. De loginnaam en het password kun je bij het team van Effectieve sociale interventies aanvragen. Werk je thuis of bij MOVISIE op een ‘fat cliënt’ waarbij je niet in de Citrix-omgeving werkt, dan moet je RefWorks eerst duidelijk maken dat je bij MOVISIE werkzaam bent (dit gebeurt ook wel eens als je op een ‘thin client’ werkt binnen Citrix). Er wordt gevraagd om de groepscode voor Remote acces in te vullen. Voor MOVISIE is die code: RWMovisie. Maak vervolgens voor elke te beschrijven methode een eigen map aan. 2. Invoeren van literatuur in RefWorks Direct importeren: een aantal databanken heeft de mogelijkheid om literatuurbeschrijvingen direct naar RefWorks te exporteren. Nadat je een zoekactie hebt uitgevoerd en in het resultaat hebt aangegeven welke van de gevonden referenties je wilt bewaren, kies je voor de optie Exporteren (Export to) of Bewaren (Save). In de opties voor het exporteren wordt dan expliciet als optie ‘Export to RefWorks’ aangeboden. Geef vervolgens aan dat je alle beschikbare informatie wil exporteren. Voorbeelden van databanken van waaruit je literatuurbeschrijvingen kunt exporteren zijn: Sociological Abstracts, SocINDEX, Worldcat, Google Scholar (bij deze laatste bij de voorkeuren aangeven: ‘Show links to import citations into’: RefWorks). De referenties worden opgeslagen in de ‘Last imported folder’. Tekstbestand importeren: een aantal literatuurbestanden kan niet rechtstreeks referenties importeren in RefWorks. Om wel referenties te kunnen importeren, moet eerst een tekstbestand worden aangemaakt. In dit tekstbestand zijn veldnotities en inhoud zo geplaatst dat RefWorks de inhoud op de juiste manier kan inlezen. Een veel voorkomende optie in dit soort bestanden is het exporteren of


bewaren in RIS-format. Nadat je dat gedaan hebt, ga je in RefWorks naar Referenties: Import. Daar geef je aan waar de referenties vandaan komen (Import filter / Data source en de database en geef je de naam op van het bestand waarin de geëxporteerde gegevens staan). Voorbeelden zijn: de literatuurcatalogus van MOVISIE en PubMed. De referenties worden opgeslagen in de ‘Last imported folder’. Klik hier voor een instructie per literatuurbestand. Handmatig invoeren (en corrigeren): met de optie References: Add new reference kan de beschrijving van een publicatie handmatig worden ingevoerd. Let daarbij vooral op de keuze voor het type document dat je gaat beschrijven (Ref type). De elementen die je nodig hebt bij de titelbeschrijving van een boek, tijdschriftartikel, website et cetera, verschillen onderling. Let verder op de aanwijzingen op het scherm. Met de keuze Edit kan ook bij een bestaande beschrijving een referentie worden gewijzigd. Koppelen volledige teksten: als je beschikt over de volledige digitale tekst van een publicatie, is het de bedoeling dat je deze ‘uploadt’ in RefWorks. RefWorks vervult zo de archieffunctie voor de digitale literatuur van de databank Effectieve sociale interventies (Veld: Attachments; Maximale omvang: 20Mb). Maak eerst een beschrijving in RefWorks van het document of kies voor Edit bij een bestaande beschrijving. Kies bij Attachments voor Browse. Selecteer de digitale tekst en kies voor Add attachment. RefGrab-It: is een hulpmiddel om de meest essentiële gegevens van een website in RefWorks vast te leggen. Ga naar Tools. In het afrolmenu staat RefGrab-it; klik met rechtermuisknop op de naam en kies voor Add to Favorites. Voor het bewaren van de gegevens over een webpagina: kies voor favorieten en RefGrab-It. In een nieuw venster worden de beschikbare gegevens getoond, deze kunnen vervolgens geïmporteerd worden in RefWorks. Soms wordt op basis van de beschikbare informatie op de website (bijvoorbeeld een ISBN) meer of andere informatie geboden. 3. Ordening in de database In RefWorks worden per methodebeschrijving of onderwerp mappen aangemaakt. Elke beschreven methode heeft een onderverdeling in een map 'Literatuursearch' (hierin staat alle literatuur die tijdens de literatuursearch gevonden is) en een map 'Methodebeschrijving' (hierin staat de literatuur die daadwerkelijk voor het maken van de methodebeschrijving gebruikt is, de methodebeschrijver voert hier ook de documenten in die de ontwikkelaar heeft aangeleverd). Omwille van het vindbaar en overzichtelijk bewaren van informatie, wordt iedereen binnen het project Effectieve sociale interventies gevraagd met deze mappen te werken. 4. Literatuur terugvinden in RefWorks RefWorks heeft verschillende mogelijkheden om te zoeken. Rechtsboven in het scherm heb je de snelle Search RefWorks, maar in de menubalk heb je ook de optie Search. Daaronder vind je de optie Advanced (je kunt gericht zoeken op alle velden, onderdelen van beschrijving) en een soort bladeroptie voor auteurs, trefwoorden (descriptor) en tijdschrifttitels. 5. Eenvoudige toegang tot een aantal databases Via RefWorks (optie View: RefWorks shared area) is een speciale database gemaakt waarin de bestanden waartoe MOVISIE (betaald) toegang heeft en een aantal vrij toegankelijke bestanden bij elkaar zijn gezet. Als je via deze ingang in de databases zoekt, kun je eenvoudig referenties importeren.


1.10 Write-N-Cite Voor het verwijzen naar (wetenschappelijke) literatuur in de methodebeschrijvingen is het handig om Write-N-Cite te gebruiken. Hieronder volgt een korte instructie over hoe te werken met dit programma. Openen Word-document van de methodebeschrijving en Write-N-Cite Open de methodebeschrijving in Word. Open Write-N-Cite via de Start-knop (linksonder): Programma’s: Write-N-Cite: Write-N-Cite III. Bij het team van Effectieve sociale interventies zijn de loginnaam en het password verkrijgbaar. Werk je thuis of bij MOVISIE op een ‘fat client’ waarbij je niet in de Citrix-omgeving werkt, dan moet je RefWorks eerst duidelijk maken dat je bij MOVISIE werkzaam bent (dit gebeurt ook wel eens als je op een ‘thin client’ werkt binnen Citrix). Er wordt gevraagd om de groepscode voor Remote acces in te vullen. Voor MOVISIE is die code: RWMovisie. Keuze juiste map Kies via de optie View de juiste map (folder) die betrekking heeft op jouw methodebeschrijving. Maken van verwijzingen in de tekst Plaats de cursor in de tekst op de plaats waar een verwijzing naar een publicatie moet komen en ga daarna naar Write-N-Cite en zoek de betreffende publicatie op. Klik voor de eenregelige beschrijving op cite. In de tekst verschijnt een code tussen dubbele accolades {{1069 Groen, M. 2003}}. Dit is voor Write-N-Cite voldoende informatie om bij het opmaken van de tekst en de literatuurlijst een correcte verwijzing in de tekst en literatuurbeschrijving in de referentielijst te maken. Indien na een stuk tekst naar meer dan één publicatie moet worden verwezen, klik dan eerst in WriteN-Cite bij alle betreffende publicaties op cite. Write-N-Cite plakt deze verwijzingen correct in de tekst. Indien de auteur van de publicatie in de tekst wordt genoemd, bij letterlijke citaten en dergelijke, kan het nodig zijn de verwijzing aan te passen. Klik in Write-N-Cite eerst op cite. In de rechterbovenhoek van het scherm licht nu Edit citation op. Klik daarop. Er opent zich een venster met verschillende mogelijkheden tot aanpassing. Voorbeelden: het ‘onderdrukken’ van de auteursnaam (aanvinken optie Suppress Authors), het vermelden van een paginanummer (let op: in de APA-regels vaak alleen gebruikt bij letterlijke citaten) (invullen bij Specific page: p. 102) of het verwijzen naar een publicatie die door een andere auteur is aangehaald en die je zelf niet geraadpleegd hebt (in Text before type je in: geciteerd door). Ook kan het zijn dat je bij een indirecte verwijzing de volgorde van de auteurs wilt veranderen: (A, gebruikt in B) in plaats van (gebruikt in B, A). Je kunt dan de verwijzing opbouwen met de te citeren bron en in de tekst daaraan voorafgaand opnemen de "auteursnaam (jaartal) gebruikt in.. " (je kunt dan de verwijzing wel "citen" maar zelf geheel onderdrukken; de verwijzing komt zelf wel in de literatuurlijst). In het vak Preview kun je zien wat het resultaat is van je wijzigingen. Maak de aanpassingen en klik op Save to Word. In de tekst verschijnen aangepaste codes, bijvoorbeeld: {{1605 Cuijpers, P. 1997/s55;1604 Cuijpers, P. 1997;}} {{258 Albarracin, Dolores 2005/geciteerd in /sp.102;}}. Opmaken tekst en creëren van de literatuurlijst Wanneer je de methodebeschrijving hebt afgerond en er naar verwachting geen nieuwe literatuurverwijzingen meer aan toegevoegd zullen worden, laat je het programma de tekst (met daarin


de literatuurverwijzingen) opmaken en de literatuurlijst aanmaken. In Write-N-Cite kies je voor: Bibliography. Kies uit de geboden Output styles (waarschijnlijk staat hij hier al standaard op): APA – MOVISIE_c American Psychological Association 5th Edition. Write-N-Cite weet in welk document het moet ‘werken’ (staat bovenaan in het scherm). Klik op Create Bibliography, de opdracht wordt dan uitgevoerd en is direct te controleren in het Word-document. Het is eventueel nog steeds mogelijk om in de tekst, met de ‘opgemaakte verwijzingen’ en de ‘opgemaakte’ literatuurlijst, wijzigingen, toevoegingen, nieuwe literatuurverwijzingen et cetera aan te brengen. Bij een volgende opdracht tot Create Bibliography worden ook de in een eerdere fase gemaakte verwijzingen meegenomen en eventueel aangepast. Let op: de aangemaakte literatuurlijst wordt helemaal achter in het document geplaatst. Deze kun je zelf verplaatsen naar het kader 6.2. in het Werkblad methodebeschrijvingen. Ook kun je het lettertype en de lettergrootte aanpassen. Opleveren definitieve documenten Na gebruik van Write-N-Cite zitten er (onderwater) allerlei codes in die RefWorks gebruikt voor het herkennen van verwijzingen en het maken van de referentielijst (herkenbaar aan de grijs gekleurde achtergrond als men op een verwijzing in de tekst gaat staan of in de referentielijst klikt). Als men echt helemaal klaar is (tekst is ‘drukklaar’) verwijder dan deze code uit de tekst. Zorg ervoor dat je altijd een versie bewaart waar de codes nog in staan. Om de codes te verwijderen: Ga in Write-NCite naar Tools en kies voor de optie: Remove Field Codes. Het programma geeft de suggestie het document (zonder codes) onder een andere naam te bewaren.

1.11 Beeldmateriaal De databank wordt – waar mogelijk – voorzien van beeldmateriaal, zoals foto’s en filmpjes, om het gebruik van de methode in de praktijk te illustreren. Wij maken daarvoor gebruik van bestaand beeldmateriaal. Informeer daarom in de contacten met de ontwikkelaar of hij/zij op de hoogte is van het bestaan van dergelijk beeldmateriaal en waar dit eventueel verkrijgbaar is.

1.12 Tijdsplanning De methodebeschrijvingen voor de databank Effectieve sociale interventies zijn uitgebreid en van een hoge kwaliteit. Het schrijven ervan is daardoor een behoorlijk tijdrovende klus. De ene methodebeschrijving kost wat meer tijd dan de andere. Het tijdsbeslag is onder meer afhankelijk van de hoeveelheid beschikbare informatie over een methode, het aantal onderzoeken dat naar een methode is gedaan en de voorkennis van de methodebeschrijver. De meeste methodebeschrijvingen kunnen in maximaal 60 uur gemaakt worden. Wanneer er veel onderzoek is gedaan naar de methode wordt in overleg met ESI bepaald hoeveel extra uren nodig zijn. Voor de eigen tijdsplanning is het goed om te weten dat je er vanuit organisatorisch oogpunt op moet rekenen dat het hele beschrijvingsproces (van toestemming van de ontwikkelaar tot en met de plaatsing in de databank) een doorlooptijd heeft van ten minste 20 weken. Dit heeft te maken met de te doorlopen stappen die in onderstaande tabel beschreven staan. Met behulp van de derde en vierde kolom kun je je eigen planning en urenverdeling maken. De planning en uren die er nu in staan geven


een ideale situatie weer, maar dienen uiteraard te worden aangepast aan jouw eigen agenda (houd bijvoorbeeld rekening met piekmomenten van andere projecten en vakanties). In de vijfde kolom registreer je de werkelijk gemaakte uren. Zo kun je in de gaten houden hoeveel uren je al in de methodebeschrijving hebt gestoken en hoeveel uren je nog tot je beschikking hebt. Wij horen het graag tijdig wanneer je over het maximaal aantal uren heen dreigt te gaan. Stappen

Planning en begroting

Mijn planning

1a. Internetsearch

1a. Maximaal 2 uur

Week 1 en

b. Overleg met de

b. Telefonisch: 1 uur; face-

2

ontwikkelaar om informatie in

to-face: 3 uur.

te winnen en afspraken te

Tijdsplanning: vooral

maken.

afhankelijk van agenda

Mijn urenbegroting 5

ontwikkelaar. 2a. Literatuursearch

2a. Reken voor de

b. Starten met het beschrijven

literatuurzoektocht van de

van deel 1

informatieanalisten 2 à 3

c. Het selecteren en

weken

verzamelen van het

b. ca. 10 uur

benodigde materiaal voor de

c. Afhankelijk van aantal

onderdelen 2, 3 en 4 van het

documenten en bij wie het

werkblad (onderzoek).

opgevraagd of besteld

Week 3-5

14

Week 6-8

20

moet worden: ca. 4 uur 3. Het maken van een

Afhankelijk van de

conceptbeschrijving.

hoeveelheid beschikbare informatie.

4. Het voorleggen van het

Het team heeft tijd nodig

eerste concept aan het team

om het te lezen, intern te

ESI van MOVISIE.

bespreken en feedback te

Week 9-10

geven: reken 2 weken. 5. Het bijstellen van de

Variabel.

Week 11

6. Het voorleggen van het

De ontwikkelaar heeft ten

Week 12 en

tweede concept aan de

minste 2 weken nodig om

13

ontwikkelaar.

te lezen, intern te

8

conceptbeschrijving.

bespreken en een reactie te geven. 7. Het bijstellen van de

Variabel.

Week 14

Reken 1 à 2 weken.

Week 15 en

4

conceptbeschrijving. 8. Het voorleggen van het definitieve concept aan het

16

team ESI. 9. Het afronden van de

Variabel.

Week 17

8

Week 18 en

1

methodebeschrijving 10. Eindredactie van de

Reken 2 weken.

methodebeschrijving door eindredacteur.


19

Mijn urenrealisatie

Stappen 11. Vormgeving en het

Planning en begroting Enkele dagen.

Mijn planning

Mijn urenbegroting

Mijn urenrealisatie

Week 20

opnemen van de definitieve methodebeschrijving in de databank door secretariaat.

Belangrijke tips voor tijdsbesparing Stap 2a Literatuursearch: Zet direct na de afspraak met de ontwikkelaar een literatuurzoektocht door de informatiespecialisten in gang (via het aanvraagformulier uit bijlage 1). Zij kunnen dan naar aanvullende literatuur zoeken, terwijl jij vast aan de slag gaat met de via de ontwikkelaar verkregen informatie en het schrijven van deel 1. Vraag relevante literatuur tijdig aan (vooral internationale publicaties kunnen lang duren). Stap 2c Het invullen van het werkblad: Plan voor het maken van de methodebeschrijvingen hele dagdelen in. Losse uurtjes tussendoor is weinig efficiënt gebleken. Blokkeer deze dagdelen in je agenda (Outlook). Zoek een rustige werkplek of werk thuis. Zet de e-mail uit tijdens dit dagdeel. Lees je je niet eerst uitgebreid in, maar neem het handboek als startpunt en ga gelijk aan de slag met onderdeel 1 van het werkblad. Laat het invullen van het werkblad leidend zijn voor het leeswerk. Per onderdeel betrek je er nieuwe bijbehorende documenten bij. De in het betreffende onderdeel gezochte informatie geeft richting aan je lezen. Besteed aan een eerste concept maximaal 40 uur, zodat je ruim voldoende tijd (20 uur) overhoudt voor het verbeteren ervan. Onderdeel 1 van het werkblad is daarbij het meest rechttoe rechtaan, besteed daar maximaal acht uur aan. De onderdelen 2, 3 en 4 vergen doorgaans meer leeswerk. Wanneer je cruciale vragen hebt, waardoor je niet verder kunt, leg die dan tussentijds aan het team ESI voor. Kleinere vragen kun je met opmerkingen in de eerste conceptversie opnemen. Stap 4: Het voorleggen van het eerste concept aan team ESI: Geef vroegtijdig bij het team Effectieve sociale interventies aan wanneer zij jouw concept kunnen verwachten, dan kunnen zij het leeswerk vast inplannen. Het concept moet volledig ingevuld zijn (met uitzondering van de samenvatting) en naar je eigen tevredenheid af zijn. Dit om te voorkomen dat het team meerdere versies van feedback moet voorzien. Meld onverhoopte uitloop in de planning op tijd aan het ESI team, dan kunnen zij daar in hun eigen planning rekening mee houden en mee bedenken hoe ernstige vertraging voorkomen kan worden. Stap 5: Het bijstellen van de conceptbeschrijving: Geef in het tweede of derde concept aan welke onderdelen je veranderd of toegevoegd hebt, dan kunnen de leden van het team Effectieve sociale interventies gerichter lezen en vlotter hun reactie geven. Stap 6: Het voorleggen van het tweede concept aan de ontwikkelaar. De ervaring leert dat het verkrijgen van een reactie van de ontwikkelaar vaak veel tijd kost. Geef ruim van te voren aan wanneer de ontwikkelaar het concept kan verwachten zodat hij of zij de


lezing ervan kan inplannen. Maak afspraken over wanneer je een reactie kunt verwachten. Soms gaat er wel een maand overheen. Houd hier rekening mee met de planning! Indien het tweede concept compleet is en je geen vragen meer hebt aan de ontwikkelaar, dan kun je het tweede concept gelijktijdig aan de ontwikkelaar en het team Effectieve sociale interventies voorleggen. Spreek af wanneer je een reactie kunt verwachten, dan kun je deze reacties gelijktijdig verwerken.


2. De methodebeschrijving In het Werkblad methodebeschrijving worden aanwijzingen (in cursieve teksten) gegeven voor de wijze waarop de onderdelen ingevuld moeten worden. Bij sommige onderdelen verwijzen we naar deze handleiding voor een uitgebreidere toelichting. Deze onderdelen vind je hieronder.

2.1 Beschrijving methode Onderdeel 1 van het werkblad beschrijft de methode zelf, zoals de doelen, de doelgroep en de aanpak. Dit laat zien dat de methode goed geëxpliciteerd is. Ook het weldoordachte van de methode wordt hier zichtbaar, doordat de veronderstellingen van de ontwikkelaar achter de gekozen doelen, doelgroep en aanpak aan de orde komen. Handboek Onderdeel 1 wordt in eerste instantie ingevuld op basis van het bij de methode behorende handboek of de handleiding. Uit onze ervaring blijkt dat het efficiënt werkt om het handboek door te nemen en dan meteen de informatie op de juiste plek in het werkblad te zetten. Het is overigens niet de bedoeling om zélf aanvullende materialen te zoeken wanneer het handboek ontoereikend is. Je vraagt dan de ontwikkelaar om de benodigde informatie. Eventuele aanvullingen op basis van andere documenten of persoonlijke communicatie van de ontwikkelaar kun je dan in tweede instantie toevoegen. Wanneer bepaalde informatie helemaal ontbreekt, kun je hiervoor de in het werkblad opgenomen standaardzinnen gebruiken. Bronverwijzing Het is belangrijk dat de lezer weet waarop de beschrijving van de methode gebaseerd is. Zoals aangegeven wordt onderdeel 1 doorgaans ingevuld aan de hand van een bij de methode behorend handboek. Je kunt daarom in het kader onder het kopje ‘1 Beschrijving methode’ de titel van het handboek opnemen. In de teksten zelf hoef je dan verder niet meer naar dit handboek te verwijzen. Als je – na overleg met de ontwikkelaar - bij enkele van de onderdelen 1.1 tot en met 1.11 ter aanvulling ook andere documenten gebruikt, dan neem je wel een bronverwijzing op.

De beschrijving van de methode is gebaseerd op het volgende handboek: Titel, auteur, naam organisatie, jaar van uitgave. Maak van de titel, auteur, naam organisatie en jaar van uitgave een lopende zin naar het volgende voorbeeld: Handleiding Vriendschapscursus voor oudere vrouwen, geschreven door Nan Stevens en Hanna Albrecht, voor het eerst uitgegeven in 1995 door de Radboud Universiteit te Nijmegen. Vermeld indien van toepassing: Als er in de beschrijving aanvullende informatiebronnen worden gebruikt, dan wordt de bronvermelding expliciet vermeld.


De aanpak (onderdeel 1.5) Bij dit onderdeel is een handige vuistregel: vermeld de informatie die de lezer nodig heeft om zich een goed beeld te kunnen vormen van de praktische uitvoering van de methode en laat de informatie weg waarin de lezer pas geïnteresseerd zal zijn wanneer hij/zij besloten heeft met de methode aan de slag te gaan. Soms bestaat de neiging om op basis van het handboek van de ontwikkelaar een te gedetailleerde en te technische beschrijving van de aanpak van de methode te geven. Het is bij dit onderdeel de bedoeling dat de lezer van de methodebeschrijving zich op basis van de beschreven aanpak een goed beeld kan vormen van hoe de methode in praktijk gebracht wordt. De beschrijving hoeft echter niet zo gedetailleerd te zijn dat de lezer op basis hiervan met de methode aan de slag kan gaan. Daarvoor wordt de lezer onder 1.6 verwezen naar het handboek en eventuele andere materialen. Overeenkomsten en verschillen met andere interventies (onderdeel 1.9) We geven hier informatie over vergelijkbare methoden. Dit dient de volgende drie doelen. 1. We geven hiermee de lezer informatie over bestaande, vergelijkbare methoden die mogelijk ook interessant kunnen zijn. 2. We geven een overzicht van bestaande vergelijkbare methoden, zodat de lezer weet hoe de onderhavige methode zich verhoudt tot andere, vergelijkbare methoden. 3. We vinden een antwoord op de vraag of andere methoden dusdanig vergelijkbaar zijn, dat onderzoek er naar meegenomen kan worden als indirect bewijs voor de effectiviteit van onderhavige methode. Dit laatste vraagt om een duidelijke beargumentatie. We vinden een methode vergelijkbaar genoeg indien: • het doel hetzelfde is • de aanpak vrijwel hetzelfde is. Doorgaans is dit alleen het geval wanneer de ene methode gebaseerd is op de andere. Een methode wordt dan bijvoorbeeld door een andere organisatie of in een andere regio onder een andere naam uitgevoerd. Of een methode is enigszins aangepast voor toepassing voor een andere doelgroep. Of de methode is een eerdere versie van de huidige (verbeterde) methode. De ontwikkelaar zelf is dan doorgaans goed op de hoogte van het bestaan van dergelijke varianten en kan aangeven op welke punten deze verschillen. Het kan ook zijn dat op meerdere plekken zeer vergelijkbare methoden zijn ontstaan. Dan is nauwkeurige studie van de handboeken vereist om te kunnen concluderen of methoden in hun aanpak vrijwel identiek zijn. In het kader van deze methodebeschrijving ontbreekt vaak de tijd voor een dergelijke studie. In dat geval wordt de standaardzin ‘Nadere studie moet uitwijzen of de methoden vergelijkbaar genoeg zijn’ opgenomen. Vaak echter wordt snel duidelijk dat het qua aanpak om een wezenlijk andere methode gaat. Dan gebruik je de standaardformulering: ‘Methode X verschilt te sterk van methode Y om beschikbaar effectonderzoek als indirect bewijs mee te nemen’. Soms is in het kader van (evaluatie)onderzoek of een review een vergelijkende studie gedaan naar diverse methoden. Dan kan op basis van de bevindingen van deze studie geconcludeerd worden of een methode al dan niet vergelijkbaar genoeg is.


Tot slot zijn sommige methoden uit het buitenland naar Nederland gehaald en slechts op details aangepast aan de Nederlandse context. Deze buitenlandse variant is dan ook vergelijkbaar genoeg om effectonderzoek naar toepassing van deze oorspronkelijke methode in het buitenland mee te nemen als indirect bewijs voor de effectiviteit voor onderhavige methode (bij 4.2). Deze buitenlandse variant wordt dan besproken bij de ontwikkelgeschiedenis (2.1). Bij 1.9 gaat het alleen om soortgelijke methoden die in Nederland worden toegepast.

2.2 Onderbouwing Ontwikkelgeschiedenis (onderdeel 2.1) De ontwikkelgeschiedenis laat zien hoe de methode tot stand is gekomen. Hieruit wordt vaak ook duidelijk welke plek de theoretische onderbouwing van de methode in het proces gehad heeft. Soms is een methode vanuit de theorie ontwikkeld (deductief). In andere gevallen is een methode vanuit de praktijk (inductief) gegroeid en is in een later stadium al dan niet gebruik gemaakt van bestaande theoretische inzichten. Ook wordt in dit onderdeel inzichtelijk op welke manier aan de verbetering of doorontwikkeling van een methode is gewerkt en of daar op dit moment nog aandacht voor is. Onderbouwing (onderdeel 2.2) Dit onderdeel van het werkblad beschrijft de theoretische onderbouwing van de methode. De ontwikkelaar zet hier uiteen welke uitgebreidere visies, theorieën, vakkennis en wetenschappelijke onderzoeken zijn gebruikt bij het ontwikkelen van de methode. Kortom: het draait bij dit onderdeel om de vraag of en hoe de ontwikkelaar bij het ontwikkelen van de methode gebruik gemaakt heeft van bestaande (wetenschappelijke) kennis. Betrek bij dit onderdeel dus geen theorieën of onderzoeken die de ontwikkelaar zelf niet heeft gebruikt, deze vinden dan namelijk ook geen weerslag in de methode. Veronderstellingen van de ontwikkelaar versus theoretische onderbouwing Soms is er sprake van overlap met onderdeel 1 van het werkblad. Om dit op te lossen, moet een duidelijk onderscheid gemaakt worden tussen de veronderstelling van de ontwikkelaar en de onderbouwing met verwijzing naar bestaande uitgebreidere visies, theorieën en wetenschappelijk onderzoek. De veronderstellingen van de ontwikkelaar moeten zichtbaar worden bij onderdeel 1. Bij de onderdelen 1.1, 1.2, 1.3 en 1.5 geef je een toelichting op respectievelijk de beschreven aard van het probleem, het doel, de doelgroep en de aanpak. Het gaat daarbij expliciet om de visie of analyse van de ontwikkelaar zelf. Onderbouwt de ontwikkelaar zijn toelichting met verwijzing naar uitgebreidere visies, theorieën of onderzoeken, benoem dat dan wel bij onderdeel 1 maar werk het uit in onderdeel 2: de onderbouwing. Verwijs dan ook in deel 1 naar deel 2. Ontbrekende theoretische onderbouwing Wanneer de ontwikkelaar in het handboek niet naar visies, theorieën of wetenschappelijke onderzoeken verwijst, informeer dan bij hem of hij voor de ontwikkeling van de methode van dergelijke bronnen gebruik heeft gemaakt. Soms heeft de ontwikkelaar niet of nauwelijks gebruik gemaakt van uitgebreidere visies, theorieën of wetenschappelijk onderzoek voor de onderbouwing van de methode. Geef dat dan aan met de Handleiding werkblad methodebeschrijving * * * 25

standaardformulering: ‘De ontwikkelaar verwijst voor de onderbouwing van zijn (haar) probleemanalyse en de verantwoording van de gekozen doelen, doelgroep en aanpak (verder) niet naar uitgebreidere visies, theorieën of wetenschappelijke onderzoeken’. In andere gevallen noemt de ontwikkelaar in het handboek wel een uitgebreidere visie, theorie of onderzoek, maar legt dat verder niet uit. Haal de oorspronkelijke bron er dan bij en schrijf er zelf iets meer over. Of vraag de ontwikkelaar om er kort iets over te schrijven, zodat je je niet uitgebreid in de oorspronkelijke bron hoeft te verdiepen. Informeer ook altijd bij de ontwikkelaar op welke wijze deze bron doorwerkt in de methode. Het is niet de bedoeling om dat zelf in te vullen. Stapsgewijs aan de slag Veel methodebeschrijvers vinden de onderbouwing van de methode een ingewikkeld onderdeel, daarom stapsgewijs enkele handige aanwijzingen. 1.

2. 3.

Ga eerst na welke externe visies, theorieën of onderzoeken de ontwikkelaar gebruikt om de methode theoretisch te onderbouwen. Je herkent deze aan bronverwijzingen in het handboek. Ontbreekt het in het handboek aan bronverwijzingen, informeer dan bij de ontwikkelaar of hij gebruik heeft gemaakt van bestaande inzichten. Licht vervolgens elke visie, theorie of onderzoek in ongeveer een alinea beknopt toe. Laat zien hoe de theorie doorwerkt in de methode.

Plaats daarboven zelfbedachte subkopjes die weergeven om welke theorie het gaat. Het is niet zo dat je bij dit onderdeel zonder meer in moet gaan op de afzonderlijke onderdelen probleemanalyse, doel, doelgroep en aanpak. Je richt deze tekst in op basis van de door de ontwikkelaar gebruikte bestaande kennis. Een voorbeeld:

Herwaarderingscounseling en feminist counseling De aanpak van de methode Zin in vriendschap is gebaseerd op herwaarderingscounseling (reevaluation counseling) (Jackins, 1981 in: Stevens & Tilburg, 2000) en feminist counseling (Miller, 1988 in: Stevens &Tilburg, 2000). Herwaarderingscounseling en feminist counseling gaan ervan uit dat vrouwen gesocialiseerd zijn als ‘minderwaardige burgers’, waardoor zij een negatief zelfbeeld hebben ontwikkeld. Hierdoor kunnen zij zich vaak moeilijk voorstellen dat anderen van hun gezelschap kunnen genieten. Het belang van zelfwaardering als basis voor vriendschap wordt daarom tijdens de hele cursus benadrukt.

2.3 Onderzoek praktijkervaringen Het derde onderdeel van het werkblad geeft zicht op wat er uit onderzoek bekend is over de praktijkervaringen van de professional en cliënt/burger met de methode. Voor het beschrijven van de praktijkervaringen kun je diverse informatiebronnen gebruiken. Maak bij de presentatie van de publicaties onderscheid tussen externe en interne informatiebronnen.


Externe informatiebronnen Bij externe informatiebronnen gaat het om een (evaluatie) onderzoek of literatuuronderzoek dat door een externe partij (dus niet de ontwikkelaar of uitvoerder zelf) uitgevoerd is. Dit kan een onderzoeksinstituut of universiteit zijn. Interne informatiebronnen Bij interne informatiebronnen gaat het om onderzoek dat door de ontwikkelaar of uitvoerder zelf is uitgevoerd (dit kan een welzijnsorganisatie zijn, maar ook een kennisinstituut of universiteit die de methode heeft ontwikkeld). Bij interne informatiebronnen gaat het bijvoorbeeld om een eigen evaluatie, eindrapportage, behoeftepeiling, schriftelijke enquête of een praktijkverslag. Deze documenten zijn vaak niet officieel gepubliceerd. Informeer hiernaar bij de ontwikkelaar en eventueel ook bij uitvoerende instanties. Zie ook ‘Het zoeken en selecteren van literatuur’, onderdeel 1.6 van deze handleiding. Externe (gepubliceerde) informatiebronnen wegen doorgaans zwaarder dan interne (ongepubliceerde) informatiebronnen. Vaak gaat het hierbij om uitgebreidere onderzoeken en zijn deze, doordat ze door een externe partij zijn uitgevoerd, ook betrouwbaarder. Naar mate er minder of geen externe informatiebronnen zijn, worden interne informatiebronnen belangrijker. Als er wel externe informatiebronnen zijn, gebruik je alleen interne informatiebronnen wanneer deze echt aanvullend zijn en stevige documentatie bevatten. Relevante kenmerken van het onderzoek of de studie Het is belangrijk dat de lezer zich een oordeel kan vormen over het ‘gewicht’ van de studie of het onderzoek waaraan gerefereerd wordt. Geef daarom in het overzicht van de gebruikte informatiebronnen per studie, onderzoek of verslag een beschrijving van de relevante kenmerken (zie kader). Het is dus ook belangrijk om aan te geven wanneer bij een studie of onderzoek geen informatie wordt gegeven over specifieke relevante kenmerken.

De hieronder beschreven praktijkervaringen van de professional en cliënt/burger zijn gebaseerd op de volgende publicaties: Geef titel, auteur, naam organisatie, jaar van uitgave van de publicatie. Geef per studie, onderzoek of verslag tevens een beschrijving van de relevante kenmerken. Beschrijf: • welke doelen van de methode zijn geëvalueerd • de implementatie van de methode: type organisatie, omvang en specifieke kenmerken van de bereikte doelgroep, de modelgetrouwheid, enzovoort • gebruikte meetinstrumenten • het aantal geënquêteerde, geïnterviewde of geobserveerde professionals of burgers/cliënten en hun kenmerken • de mate van eventuele non-respons en redenen • eventuele andere kenmerken • eventuele kritische kanttekeningen.


Een praktijkvoorbeeld Voor de lezers (veelal praktijkwerkers) geeft een beschrijving van een praktijkvoorbeeld een levendig beeld van hoe de methode in een specifieke situatie toegepast wordt en wat dat oplevert. Daarom nemen we in het werkblad één of twee casestudies op waaraan de lezer deze informatie kan ontlenen. Dit praktijkvoorbeeld brengen we in de databank ook bij de gepresenteerde samenvattingen onder de aandacht. De bezoeker kan daarvan gebruik maken bij het snel selecteren van methoden die voor de eigen praktijk interessant kunnen zijn.

2.4 Effectonderzoek Onderdeel 4 van het werkblad geeft inzicht in wat wetenschappelijk bekend is over de effectiviteit van een methode. Het uitwerken van dit onderdeel van het werkblad vinden veel methodebeschrijvers ingewikkeld. De medewerkers van het project Effectieve sociale interventies van MOVISIE kunnen hierbij ondersteuning bieden. Om het onderzoek naar deze methoden op een systematische manier in kaart te brengen zijn de bijlagen 2 en 3 van het Werkblad methodebeschrijving ontwikkeld. Hier volgt op enkele onderdelen een toelichting. Directe en indirecte aanwijzingen voor effectiviteit Er zijn twee typen aanwijzingen voor de effectiviteit van een methode. Directe aanwijzingen. Resultaten uit onderzoek die betrekking hebben op precies die methode die in het werkblad wordt beschreven. Indirecte aanwijzingen. Resultaten uit onderzoek naar andere methoden met hetzelfde doel en dezelfde doelgroep en aanpak. Deze worden hier verder aangeduid als ‘soortgelijke methoden’. Het gaat hier om: • resultaten uit studies naar buitenlandse versies van de methode (zoals Motivational interviewing, dat de Amerikaanse variant is van de Nederlandse Motiverende gespreksvoering of de Amerikaanse ABCD-methode als voorloper van de Nederlandse ABCD-methode). • resultaten uit studies naar de effectiviteit van Nederlandse methoden die tot hetzelfde type of dezelfde ‘familie’ behoren (zoals de Nederlandse activeringsmethoden die alle gebaseerd zijn op Supported employment of de methode Samenwerking tegen agressie, een op Turkse en Marokkaanse plegers van huiselijk geweld gerichte versie van de methode Niet meer door het lint). Soms zijn er onvoldoende directe aanwijzingen of kunnen relevante indirecte aanwijzingen de directe aanwijzingen ondersteunen. Bij de selectie van soortgelijke methoden is maatgevend in hoeverre de methode in de kern overeenkomt met de beschreven methode. Wanneer dit niet duidelijk is of wanneer de methode te zeer verschilt, is er geen sprake van een soortgelijke methode en dus ook niet van indirect bewijs voor effect. Onderdeel 1.9 van het werkblad geeft hierover uitsluitsel. Zie voor meer informatie de toelichting bij Overeenkomsten en verschillen met andere interventies (bij onderdeel 2.1 van deze handleiding). Wanneer een methode veelvuldig is onderzocht, is het aantal primaire onderzoeken soms te groot om binnen het kader van Effectieve sociale interventies te analyseren. Veelal zijn de primaire 28 * * * Handleiding werkblad methodebeschrijving

onderzoeken dan al geanalyseerd in reviews en metastudies. In dat geval gebruiken we de informatie uit deze overzichtsstudies. We volstaan dan met een globale analyse van de effectiviteit zoals gebleken uit deze overzichtsstudies. Dit vullen we eventueel aan met een meer uitgebreide analyse van de (recente) primaire studies die (nog) niet in de overzichtsstudies zijn opgenomen. Kenmerken effectonderzoek Bij onderdeel 4 van het werkblad gaan we ervan uit dat er sprake is van een effectonderzoek wanneer er ten minste een nameting heeft plaats gevonden die een cijfermatige indicatie geeft van het effect van een methode. Onderzoek naar de door professionals, burgers en/of cliënten ervaren effectiviteit van een methode nemen we mee in onderdeel 3 van het werkblad. Het methodologische gewicht van het effectonderzoek en de resultaten daarvan wordt onder meer bepaald door de aanwezigheid van een voor- en nameting, een controlegroep, de willekeurige samenstelling daarvan, de modelgetrouwheid van de methode en de uitvoering van een followupmeting. Het methodologische gewicht varieert van ‘licht’ effectonderzoek (monitoring of veranderingsonderzoek) tot ‘zwaar’ effectonderzoek (Randomized Controlled Trial ofwel RCTonderzoek) en diverse vormen daar tussenin. Hoe ‘zwaarder’ het effectonderzoek, hoe ‘harder’ de uitspraken over de effectiviteit zijn. Dit wil niet zeggen dat er altijd gekozen moet worden voor zo zwaar mogelijk effectonderzoek. Welk type effectonderzoek het meest passend is, hangt af van de kenmerken en het ontwikkelingsstadium van de methode en de beschikbare financiële middelen. Monitoring wordt alleen meegenomen als ‘effectonderzoek’ wanneer het een cijfermatige indicatie geeft van de behaalde resultaten m.b.t. de doelen van de methoden. Bijvoorbeeld: bij buurtbemiddeling gaat het bij het monitoren om het aantal geslaagde bemiddelingen afgezet tegen het totaal aantal bemiddelingen dat heeft plaats gevonden. Het gaat hier niet om tevredenheidonderzoek, dit hoort bij deel 3. Bijlage 3 van het werkblad geeft een stapsgewijze uiteenzetting van de kenmerken per onderzoek en geeft een typering van de onderzoeksopzet. Het gaat daarbij om het objectief beschrijven van de kenmerken (onderdelen B t/m D). Gemeten effecten In een tabel (bijlage 3, onderdeel E) worden de onderzoeksresultaten cijfermatig gepresenteerd. Deze tabel mag ook vervangen worden door oorspronkelijke tabel(len) met onderzoeksresultaten uit het effectonderzoek. De onderzoeksresultaten kunnen aanwijzingen geven voor positieve, geen of negatieve effecten. Ten behoeve van de toegankelijkheid van de methodebeschrijvingen voor de lezer worden de belangrijkste onderzoeksresultaten onder 4.1 en 4.2 van het werkblad alleen in woorden beschreven. Uitkomstmaten Effectonderzoeken beantwoorden een beperkt aantal vragen. De gestelde vragen worden aangeduid als ‘uitkomstmaten’. Alleen op deze uitkomstmaten wordt een effect gemeten. Er kan alleen iets over effect gezegd worden voor zover het betrekking heeft op één van de onderzochte uitkomstmaten. In bijlage 3 wordt het effect dan ook per uitkomstmaat aangegeven.


Effectgrootte De mate waarin een resultaat als positief is aan te merken, is mede afhankelijk van de effectgrootte. Tot voor kort werd het effect van een methode vooral uitgedrukt in een statistisch significant verschil tussen voor- en nameting, of tussen voor- en nameting en follow-upmeting, of tussen de nameting van de experimentele (interventie-) en controlegroep. Een probleem bij deze aanpak is dat grote verschilscores in kleine groepen vaak niet significant zijn. Bij grote groepen kunnen heel kleine verschillen weliswaar als zeer significant uit de bus komen, maar praktisch gezien van weinig waarde zijn. De laatste jaren wordt er vaak voor gekozen om naast de statistische significantie ook de zogeheten effectgrootte d (‘effectsize’, ook wel aangeduid met ES) te rapporteren. Dit is een index die aangeeft hoe groot het waargenomen verschil is tussen voor- en nameting of tussen experimentele (interventie-) en controlegroep. Er bestaan verschillende formules voor het berekenen van d. De bekendste is1: d = gemiddelde score nameting interventiegroep - gemiddelde score nameting controlegroep ´gepoolde´ standaarddeviatie van beide groepen De formule voor het berekenen van de ´gepoolde´ standaarddeviatie luidt daarbij als volgt: √ ( ((ni – 1)sd i2 + (nc – 1)sd c2 ) / (ni + nc –2) ) Hierbij staat de i voor interventiegroep of experimentgroep en de c voor controlegroep, sd i en sd c zijn de standaarddeviaties van respectievelijk de interventie- en controlegroep en ni en nc de steekproefgrootte van de interventie- en controlegroep. De index wordt een positieve waarde toegekend als het effect bij de interventiegroep gunstiger is dan bij de controlegroep en een negatieve waarde als het effect voor de controlegroep gunstiger is. Vuistregel bij de betekenis van d of ES is als volgt: d of ES groter dan of gelijk aan .20 = klein effect d of ES groter dan of gelijk aan .50 = middelmatig effect d of ES groter dan of gelijk aan .80 = groot effect.2 In sommige onderzoeksrapporten worden andere effectmaten gebruikt, in dat geval worden deze overgenomen.

2.5 Samenvatting werkzame elementen In het concluderende deel 5 van het werkblad geef je naast een samenvatting van het wetenschappelijk bewijs van de effectiviteit (5.2) ook een samenvatting van de veronderstelde werkzame elementen van de methode (5.1). Bij werkzame elementen gaat het om de bouwstenen die ervoor zorgen dat de methode wérkt. Ofwel de rationale van de interventie: de bestanddelen van de methode die de beïnvloedbare factoren van het probleem aanpakken en de doelen bij de doelgroep 1

Zie Rossi, P.H., M.W. Lipsey & H.E. Freeman (2004). Evaluation. A systematic approach (7th ed.). Thousand Oaks: Sage.

2

Zie o.a. Cohen, J (1992). A power primer. Psychological Bulletin, 112, 155-159.


realiseren. Het gaat hierbij om die bestanddelen die tot de kern van de methode behoren, dus niet om randvoorwaardelijke aspecten. Het is de bedoeling dat de werkzame elementen gepresenteerd worden als een puntsgewijze opsomming. De elementen voor deze opsomming kunnen uit verschillende onderdelen van het werkblad naar voren zijn gekomen. Het kunnen door de ontwikkelaar veronderstelde werkzame elementen zijn (onderdeel 1 van het werkblad), het kunnen werkzame elementen zijn die uit de onderbouwing van de methode voortkomen (onderdeel 2 van het werkblad), de werkzame elementen kunnen uit de praktijkervaringen met de methode zijn gebleken (onderdeel 3 van het werkblad) of er kunnen wetenschappelijke aanwijzingen zijn voor de werkzame elementen (onderdeel 4 van het werkblad). Vaak komt eenzelfde werkzaam element in meerdere onderdelen van het werkblad naar voren, geef dan de cijfers van de diverse onderdelen weer. Dit versterkt de aanname dat het betreffende element inderdaad als werkzaam beschouwd kan worden. Tip: ga als de methodebeschrijving af is met een gele markeerstift systematisch door de beschrijving heen op zoek naar de werkzame elementen: Welke onderdelen zorgen ervoor dat de methode werkt?


Bijlage 1 Aanvraagformulier literatuurzoektocht Voor een goed verloop van de literatuurzoektocht hebben de informatiespecialisten van de afdeling Kennisstromen van MOVISIE de juiste achtergrondinformatie nodig (zie 1.6). Vul daarom voor de aanvraag van een literatuurzoektocht onderstaande gegevens in. Stuur het formulier naar: [email protected] of [email protected].

1. Naam methode 2. Naam methodebeschrijver + contactgegevens

3. Naam map RefWorks. Met daarin een overzicht van de bij de ontwikkelaar opgevraagde onderzoekspublicaties over de methode en de opbrengst van de internetsearch.

4. Zoekvraag Wat is bekend over de praktijkervaringen met en de effectiviteit van [naam methode invullen] voor [doelgroep invullen] ten behoeve van [doel (en) van de methode invullen]?

5. Namen waaronder de methode ook bekend is Wordt dezelfde methode ook toegepast onder andere namen? Of had de methode voorheen een andere naam?

6. Buitenlands equivalent Is de methode gebaseerd op een methode in het buitenland of is de ontwikkelaar bekend met een methode in het buitenland die sterk vergelijkbaar is qua doel, doelgroep en aanpak?

7. Eventuele bijzonderheden ontwikkelgeschiedenis Wanneer ontwikkeld, welke instanties betrokken, is de ontwikkelaar tevens de eigenaar of wordt de methode door iemand anders beheerd?

8. Spreiding gebruik Wordt de methode op grote schaal gebruikt of slechts op enkele bij de ontwikkelaar bekende locaties?

9. Urgentie literatuurzoektocht Op welke termijn heb je de resultaten van de literatuurzoektocht nodig om vlot verder te kunnen met de methodebeschrijving? N.B. Lever het verzoek zo tijdig mogelijk in!


Handleiding Werkblad methodebeschrijving

Recommend Documents