Notitie kwaliteitszorg
1
NOTITIE KWALITEITSZORG MOVE Research Institute Amsterdam Kwaliteitszorg wordt gedefinieerd als zorg voor de kwaliteit, middels een concrete manier van werken, die maakt dat de kwaliteit van het onderzoek of onderzoeksresultaten voortdurend kan toenemen of op peil blijft. Kwaliteitszorg met betrekking tot onderzoeksresultaten heeft als doel de wetenschappelijke en/of maatschappelijke impact van het onderzoek te maximaliseren. Het omvat het geheel aan activiteiten dat is gericht op de volgende doelstellingen: 1)
Optimaliseren van de kwaliteit van de onderzoeksresultaten
2)
Bewaken van de kwaliteit van het onderzoeksproces
De belangrijkste actoren in de kwaliteitszorg binnen MOVE zijn, de directie, de onderzoekscommissie en de hoogleraren c.q. projectleiders. Met de laatste categorie wordt bedoeld diegenen die leiding geven aan de onderzoeksprojecten, in het vervolg aangeduid met hoogleraren. In de regel gaat het hierbij om projecten van promovendi en/of post-docs. Hoewel ook kleinere projecten binnen MOVE worden uitgevoerd, wordt hiervoor geen specifiek beleid gevoerd. De eindverantwoordelijkheid voor de kwaliteitszorg ligt bij de afdelingshoofden van in MOVE vertegenwoordigde afdelingen binnen FBW, VUMC en ACTA, dit gezien de diversiteit van het onderzoek binnen MOVE en het feit dat de MOVE directie geen personele bevoegdheden heeft. Zo nodig zal de MOVE directie dan ook rapporteren aan afdelingshoofden van MOVE leden. MOVE wil een systeem van kwaliteitszorg met een minimale administratieve belasting.
AD 1) OPTIMALISEREN VAN DE KWALITEIT VAN DE ONDERZOEKSRESULTATEN Rol directie •
De directie stimuleert bewustzijn van het belang van een hoge onderzoekskwaliteit onder de MOVE leden door behaalde resultaten met hoge impact intern en extern te communiceren.
•
De directie expliciteert het belang van kwaliteitszorg in introductiegesprekken met nieuwe leden en promovendi.
•
De directie monitort de kwaliteitszorg in jaarlijkse gesprekken met hoogleraren. Kwaliteitszorg staat standaard op de agenda. Gestreefd wordt naar een minimaal tijdbeslag en minimale bureaucratie.
•
De directie biedt methodologische support en zo mogelijk training aan en adviseert ten aanzien van elders beschikbare support en training.
•
De directie evalueert jaarlijks de kwaliteitszorg samen met de onderzoekscommissie.
Rol onderzoekscommissie, CWO en ECB •
De onderzoekscommissie geeft goedkeuring aan en feedback op projectplannen voor PhD en post-doc projecten voor zo ver deze niet extern door middel van peer-review zijn beoordeeld. De uitwerking van dergelijke plannen mag beperkt zijn in geval van externe promovendi.
•
De onderzoekscommissie geeft goedkeuring van en feedback op PhD begeleidingsovereenkomst waarin ook afspraken over kwaliteitszorg zijn vastgelegd.
•
De onderzoekscommissie geeft gevraagd en ongevraagd advies over kwaliteitszorg aan de directie.
•
De onderzoekscommissie biedt ondersteuning bij het opstellen van beleid m.b.t. de kwaliteitszorg, de vastlegging hiervan in documenten, en de communicatie naar de MOVE leden en zo nodig derden.
Onderzoek met menselijke proefpersonen moet in alle gevallen worden beoordeeld op ethische criteria. Dit onderzoek kan eerste instantie worden voorgelegd aan de Ethische Commissie Bewegingswetenschappen (ECB). Deze beoordeelt of het onderzoek aan de METC moet worden voorgelegd, hetgeen zeker het geval is indien proefpersonen op basis van hun medische status worden gerekruteerd en indien invasieve onderzoeksmethoden worden gebruikt. Indien de ECB zich bevoegd acht, dat wil zeggen indien het onderzoek niet valt onder de wet op het medisch-wetenschappelijk onderzoek (WMO, 1998), toetst de ECB het onderzoeksvoorstel op ethische criteria. Voor meer informatie zie: http://www.fbw.vu.nl/nl/ over-de-faculteit/commissies/ethische-commissie/index.asp
MOVE research institute amsterdam
Notitie kwaliteitszorg 2014
Notitie kwaliteitszorg
2
De Commissie Wetenschappelijk Onderzoek van MOVE (CWO) is een subcommissie van de Onderzoekscommissie. De CWO test onderzoeksprotocollen voordat ze kunnen worden voorgelegd aan de Medisch Ethische Toetsingscommissie (METC) of de ‘Dierexperimentencommissie’ (DEC) van het VU Medisch Centrum. Voor meer informatie zie: http://www.move.vu.nl/en/about-move/organization/cwo-move/index.asp Rol hoogleraren en stafleden •
Een belangrijk middel in de waarborging van de kwaliteit van onderzoek is een gedegen selectie van promovendi en junior onderzoekers. Dit is de primaire verantwoordelijkheid van de hoogleraren.
•
De hoogleraar beoogt streven naar excellentie over te brengen in meester-gezel relatie met junior medewerkers, promovendi en master/bachelor studenten.
•
De hoogleraar stelt kwaliteit aan de orde in jaargesprekken, en in beoordeling / go-no-go beslissingen (na 1 jaar in het geval van een promovendus) en voert eventueel corrigerende acties op incidentele afwijkingen.
AD 2) BEWAKEN VAN DE KWALITEIT VAN HET ONDERZOEKSPROCES Kwaliteitszorg op het niveau van het onderzoeksproces heeft als doel het voorkomen van fouten en niet integer gedrag. Bewaking van het proces is de verantwoordelijkheid van de hoogleraren. Binnen een multi-disciplinair instituut als MOVE zijn onderzoeksmethoden te verschillend tussen groepen om gedetailleerde procedures voor het instituut op te stellen en audits zijn vanwege de diversiteit niet werkbaar. Richtlijnen voor het onderzoeksproces zijn in verschillende documenten, zoals de Research Guide, vastgelegd, die via de website van MOVE beschikbaar zijn. Rol directie •
•
De directie ontsluit middels de website van MOVE de volgende bronnen met betrekking tot onderzoekskwaliteit: -
de Research Guide (zie: http://www.move.vu.nl/en/research/vumc-research-guide/index.asp).
-
procedures met betrekking tot integriteit (zie http://www.move.vu.nl/en/about-move/scientific-integrity/rules-and-
regulations/index.asp)
-
de PhD guide (http://www.move.vu.nl/en/working-at-move/getting-your-phd/move-phd-student-booklet/index.asp)
De directie houdt jaarlijks een ronde van gesprekken met promovendi, waarin aandacht wordt besteed aan de kwaliteitszorg. Bij dit gesprek zijn altijd MOVE leden aanwezig met verschillende achtergrond om te zorgen dat er voldoende detailkennis is teneinde te kunnen monitoren of de kwaliteit voldoende is. De gesprekken vinden in ieder geval in het eerste jaar van aanstelling plaats en daarna op verzoek van de promovendus of de directie (dit laatste naar aanleiding van de jaarlijkse schriftelijke rapportage van de promovendus aan de directie).
•
De directie monitort in exit gesprekken met promovendi de kwaliteitszorg.
•
De directie garandeert de vertrouwelijkheid van deze gesprekken.
•
Wanneer de directie een onvoldoende navolging van regels/adviezen constateert, zal dit aan de leidinggevende meegedeeld worden en indien nodig aan het afdelingshoofd en de decaan.
Rol hoogleraren •
De hoogleraren stimuleren hun medewerkers en studenten te werken volgens procedures.
•
De hoogleraren stellen kwaliteitsbewaking en ethiek in jaargesprekken en begeleidingsgesprekken aan de orde.
•
De hoogleraren dragen zorg voor een systeem van kwaliteitsbewaking binnen de eigen groep.
•
De hoogleraren dragen zorg voor een systeem voor controle van meetinstrumenten.
•
De hoogleraren dragen zorg voor een systeem voor controle van data-acquisitie, software (custom-made), data opslag en documentatie. Bijzondere aandacht is nodig bij projecten waarin meerdere groepen participeren (bijv. In het geval van promovendi die zowel klinisch als meer basaal onderzoek doen). Voor een voorbeeld zie appendix A.
MOVE research institute amsterdam
Notitie kwaliteitszorg 2014
Notitie kwaliteitszorg
INFORMATIE VOOR MOVE LEDEN
http://www.fbw.vu.nl/en/about-the-faculty/committees/ethics-committee/index.asp http://www.move.vu.nl/en/about-move/organization/cwo-move/index.asp http://www.move.vu.nl/en/research/vumc-research-guide/index.asp http://www.move.vu.nl/en/about-move/scientific-integrity/rules-and-regulations/index.asp http://www.move.vu.nl/en/working-at-move/getting-your-phd/move-phd-student-booklet/index.asp
SLOTOPMERKING Kwaliteitszorg is een continu proces en het huidige beleid zal moeten worden bijgehouden en aangepast en verder moeten worden versterkt, o.a. middels regelmatig evaluatie en bijstelling van procedures. Bij onderzoek draait het om vertrouwen, kennis van zaken en precisie. Om kwaliteitszorg te kunnen garanderen is inhoudelijke kennis van zaken onontbeerlijk.
MOVE research institute amsterdam
Notitie kwaliteitszorg 2014
3
Appendix A: Example of plan for data and software management
4
This document is handed out to MSc and PhD students in the musculoskeletal biomechanics program of MOVE.
END-OF PROJECT CARE INTRODUCTION A research project is usually finalized with a report or article that is submitted either to the supervisor in case of a report or to a journal. This is also the start signal for some very important activities that we can summarize as end-of-project care, revolving around archiving data. Archiving is extremely important for two reasons: 1.
To be able to provide proof for what has been reported, according to the rules of Good Laboratory Practise (GLP:” …to ensure the quality and validity of the data..”). See internet for more information on GLP (e.g., http://en.wikipedia.org/wiki/ Good_laboratory_practice and http://www.oecd.org/chemicalsafety/testing/oecdseriesonprinciplesofgoodlaboratorypracticeglpandcompliancemonitoring.htm). In some cases publication of source data as supplementary material is required and many journals require that data can be retrieved up to 10 years after publication.
2.
Re-analysis of data. Revision of a paper may require re-analysis of data. Even if data are not published, they may be reanalyzed to be published or to be used as pilot data at a later stage.
Keep in mind that data acquisition has required substantial resources and taken considerable effort of the researchers, the supervisors and last but not least the subjects. So don’t let good data go to waste. Data storage should be done such that another person can re-analyze the data. To facilitate this, some recommendations are given below.
FORMAT Store data digitally as much as possible, i.e. on a hard disk or DVD, not on paper. However, informed consent forms, correspondence about ethical approval will have to be kept in paper format. Store all information on paper in a folder and add a table of contents. Notes taken during experiments and analysis and log books should be digitized.
SUBJECT DATA All data should be anonymized and a single key (stored in a separate and password protected file) provides the link between the subject code and personal data (name, date of birth etc.).
SOFTWARE Data analysis software (usually matlab and or scripts of the statistical analysis) should be stored and ample comments should be added. At the end of the project, create a clean version of your software, including programs that create the figures in your report or paper. Ideally this should allow someone else to reproduce reported results from ‘raw’ data. This requires that software is documented with ample comments. Often the main matlab script for data analysis is also a good place to store all specific information (e.g. on trial 5 of subject 10, the ground reaction force data are not valid and hence inverse dynamics analysis results are replaced by NaNs). Show the cleaned up version of your software to your supervisor and ask him or her whether to check it carefully.
DOCUMENTS All documents created in the course of a project, from the first idea, to grant application and application for medical ethical approval, patient information letter etc., should be stored.
MOVE research institute amsterdam
Notitie kwaliteitszorg 2014
Appendix A: Example of plan for data and software management
5
DATA The data should be stored such that your cleaned up software allows easy access to the data and that the analyses done for your report or paper can be repeated. As an example for a typical experiment involving movement analysis one should store the following: 1.
Raw data, i.e. the data directly obtained during data-acquisition. During data acquisition and the next steps using
systematic filenames which provide all the necessary information to identify a file, e.g. a number for the subject, a code
for the experimental condition, a number for the trial, simplifies analysis and archival.
2.
Processed data, i.e. the data processed with ‘standard’ methods, for example time series of joint angles, joint moment
or EMG linear envelopes. Often storing data in this format makes subsequent analysis steps a lot more efficient, since
initial processing can be skipped.
3.
Parameters extracted from the data, or the software to reproduce these efficiently from processed data.
4.
Files combining data of the whole experiment (often Excel or SPSS format), with clear identification of the variables.
5.
Scripts or detailed descriptions of procedures for generating descriptive statistics and performing statistical tests as
reported. 6.
In addition provide a key to coding of file names.
LITERATURE Store the Endnote or Reference Manager file used for generating the bibliography of the paper or report, as well as PDFs of papers that have been used during the project.
FINALLY Hand over all the data to your supervisor. The supervisor stores two copies in separate places.
MOVE research institute amsterdam
Notitie kwaliteitszorg 2014
