Faculteit Betawetenschappen Biologie
Prepare for the Future Ton Peeters UHD Moleculaire genetica Opleidingsmanager Biologie Teaching Fellow 2014-2016
Met dank aan Dirk Jan Boerwinkel (Freudental Instituut UU) Tim van Wessel en Sumit Mehra (COLUU)
26 maart 2015
multidisciplinarity
Interpersonal skills
personal profile
Recente personeelsadvertenties
leadership
innovation knowledge interdisciplinarity
Intrapersonal skills
entrepreneural people
Werkgeversonderszoek ‘Biogerelateerd’ Vaardigheden meest genoemd:
•
Kennis en taalvaardigheid
•
Samenwerken (is onderontwikkeld)
•
Innovatief
•
Communicatief
•
Probleemoplossend
•
Zelfstandig/zelfreflectief
50% biologen na MSc in onderzoek
o opgericht 1998 o nu 200.000 werknemers
Wat zijn 21st century skills? o
o
o o o o o o
Intrapersoonlijke vaardigheden zelfsturing keuzes maken Interpersoonlijke vaardigheden samenwerken/multi-disciplinariteit communiceren creativiteit ict-geletterdheid probleemoplossend vermogen kritisch denken sociale en culturele vaardigheden betrokken, ondernemende en nieuwsgierige houding
21st century skills Karakteristieken • Ingebed 1. In context • Just in time • Expliciet 1. toetsing 2. feedback 3. reflectie
Tijd voor een andere didaktiek? Aspect
Minder (didactiek industriële samenleving)
Meer (didactiek kennismaatschappij)
Actief
Docent stuurt Frontale instructie Weinig variatie werkvormen Programma bepaalt tempo
Student vraagt Kleine groepen Veel variatie activiteiten Student bepaalt tempo
Collaboratief
Individueel Homogene groepen Ieder voor zich
Werken in teams Heterogene groepen Elkaar ondersteunen
Creatief
Reproductief leren Toepassen bekende strategieën
Productief leren Zoeken nieuwe strategieën
Integratief
Geen koppeling theorie/praktijk Monodisciplinair Losse vakken Individuele docenten
Integratie theorie/praktijk Multidisciplinair Thematisch Teams van docenten
Evaluatief
Vanuit docent Summatief
Vanuit student Diagnostisch (formatief) Voogt 2003
Onderzoekende houding; empirische cyclus
http://practicumav.nl/onderzoeken/cyclus.html
Onderzoekende houding: vaardigheden o
o
o o o o o o
o
Intrapersoonlijke vaardigheden zelfsturing keuzes maken Interpersoonlijke vaardigheden samenwerken/multi-disciplinariteit communiceren creativiteit ict-geletterdheid probleemoplossend vermogen kritisch denken sociale en culturele vaardigheden betrokken, ondernemende en nieuwsgierige houding schrijfvaardigheden >> schrijfleerlijn >> rubrics
Cursus Experiment en Statistiek Experiment
Statistiek
Wetenschapsfilosofie
Wetenschappelijk schrijven
Brainstorm onderzoeksvaardigheden Onderzoeksvaardigheden 1. Signaleren van een probleem
Subdoel Probleem plaatsen in theoretische context
Probleem plaatsen in praktische context
Oriëntatie op het probleem
2. Vertalen in een onderzoeks-vraag / beoordelen van een onderzoeksvraag
Procedurele kennis (weten hoe) De student kan…. 1.1. formuleren welke kennis ontbreekt om een verschijnsel te kunnen beschrijven of verklaren 1.2. expliciteren welke modellen in deze theorie gehanteerd worden 1.3. formuleren voor welke toepassing een technologie/product ontbreekt en/of waarom het bestaande verbeterd moet worden 1.6. hulpvragen hanteren om probleem te verkennen 1.7. vergelijken met eerdere onderzoeken of ontwerpen 1.8. informatie zoeken in zoeksystemen 1.9. Kritisch beoordelen van de kwaliteit van informatiebronnen
Opstellen/beoordelen van een onderzoeksvraag
2.1. een onderzoekbare vraag/deelvragen afleiden van het probleem
Opstellen/beoordelen van hypothese en voorspelling die daaruit volgt
2.2. indien relevant, een hypothese formuleren bij het onderzoek 2.3. indien relevant, een nulhypothese formuleren bij het onderzoek 2.4. bij deze hypothese beschrijven welke toetsbare voorspellingen deze oplevert
Opstellen/beoordelen van een ontwerpvraag
2.5.aangeven wat de gewenste prestatie is 2.6.aangeven binnen welke randvoorwaarden het ontwerp moet functioneren
Rubric Timmerman e.a. (2011) Demonstrates a clear understanding of the ‘big picture’. Why is this question important/ interesting in this field? What do we already know? What problem is this research addressing?
Relevant and reasonably complete discussion of how this research project relates to others’ work in the field
Hypotheses are clearly stated, testable and consider plausible alternative explanations Hypotheses have scientific merit
3. Opstellen van een werkplan / beoordelen van een werkplan
Valide en betrouwbare experimentele methode kiezen/beoordelen
bijvoorbeeld: - ontwikkelen van een ontwerp - experimentele toetsing van een hypothese
3.1. techniek kiezen die past bij de onderzoeks/ontwerpvraag en keuze onderbouwen 3.2. variabelen kiezen die horen bij de vraagstelling en keuze onderbouwen
Experimental design is likely to produce salient and fruitful results (tests the hypotheses posed)
3.3. een maat kiezen om een variabele mee te bepalen en keuze onderbouwen 3.4. aangeven welke andere variabelen van invloed kunnen zijn en hoe je de invloed daarvan beperkt 3.5. geschikte controles en duplobepalingen kiezen 3.6. in ontwerp foutenbronnen minimaliseren 3.7. aangeven wat bronnen van variatie zijn 3.8. juiste steekproeven en aantallen kiezen Dataverwerking kiezen/beoordelen
Ontwerpmethode kiezen/beoordelen Realistische planning maken van werkzaamheden in de tijd
3.9. bewerking kiezen die past bij de aard van de data (ordinaal, rationeel, interval etc) 3.10. aangeven hoe variatie wordt beschreven (maten voor spreiding en gemiddelde, maken van klassen) 3.11. aangeven op welke wijze de data worden bewerkt 3.12. bij probleem passende ontwerpmethode kiezen 3.13. in de planning tussenstappen en tussenproducten opnemen 3.14. in de planning terugrekenen vanaf de gevraagde producten en deadlines
Appropriate controls (including appropriate replication) are present and explained
4. Uitvoeren van het experiment/ verzamelen van gegevens
5. Bewerken, presenteren en interpreteren van resultaten /Beoordelen van de wijze van presenteren en interpreteren
6. Conclusies trekken en reflecteren op het onderzoek / Beoordelen van de conclusie en discussie
hanteren van apparatuur en chemicaliën
Data verzamelen
4.1. apparatuur correct hanteren 4.2. aangeven hoe veilig en milieuvriendelijk werken bevorderd kan worden 4.3. chemisch rekenen bij het maken van oplossingen 4.4. aflezen van apparatuur, gels, blots
Vastleggen van gegevens
4.5. een labjournaal bijhouden
Samenwerken
4.6.rekening houden met andermans planning en veiligheid 4.7. effectieve en efficiente werkverdeling bespreken 5.1. bij de data passende weergave in grafieken en tabellen kiezen
Resultaten weergeven
5.2. correct werken met uitbijters en spreidingsweergaven 5.3. werken/rekenen met nulwaarden
Hanteren van statistiek
5.4. statistische programma’s gebruiken 5.5. uitkomsten van statistische programma’s interpreteren
Conclusies trekken ten aanzien van de onderzoeks-/ ontwerpvraag
6.1. beoordelen in hoeverre de resultaten antwoord geven op de vraag 6.2. argumenteren op basis van de data 6.3. beoordelen in hoeverre de resultaten een bevredigende oplossing zijn voor het probleem 6.4. beoordelen in hoeverre de resultaten aanleiding geven tot een andere formulering van het probleem of van de onderzoeksvraag
Reflecteren op de gebruikte methode (discussie)
6.5. reflecteren over andere mogelijke verklaringen van de resultaten 6.6. oorzaken van mislukkingen aangeven 6.7. beoordelen in hoeverre de resultaten beïnvloed zijn door de gekozen methode of de wijze waarop deze is uitgevoerd.
Data are comprehensive, accurate and relevant Data are summarized in a logical format. Table or graph types are appropriate. Data are properly labeled in cluding units. Graph axes are appropriately labeled and scaled and captions are informative and complete Statistical analysis is appropiate for hypotheses and appears correctly performed and interpreted with relevant values reported and explained Conclusion is clearly and logically drawn from data provided. A logical chain of reasoning from hypothesis to data to conclusions is clearly and persuasively explained. Conflicting data, if present are adequately addressed
8. Open houding bij het eigen onderzoek
kritisch zijn willen begrijpen willen bereiken willen delen willen innoveren willen weten Integer zijn
Probleemoplossend zijn 9. Reflectieve houding ten aanzien van onderzoek
Onderzoek plaatsen in maatschappelijke context/ ethische reflectie op gevolgen (stond eerst onder 1.)
Bewust van de wijze waarop kennis tot stand komt en de aard van wetenschappelijke kennis
Bewust van het verschil tussen de praktijk en het model van de onderzoekscyclus
8.1. vraagt naar alternatieve verklaringen en zoekt naar toetsbaarheid 8.2. stelt vragen naar het hoe en waarom 8.3. heeft de vasthoudendheid en discipline om een gestarte taak af te maken 8.4. is geïnteresseerd in resultaten van anderen en bereid eigen resultaten te delen 8.5. denkt ‘out of the box’ 8.6. stelt vragen aan anderen en aan bronnen om meer te weten te komen 8.7. is alert op misleidende weergaven 8.8. is zorgvuldig met gebruik en vermelding van resultaten van anderen 8.9. zorgt dat de stappen in het onderzoek voor anderen transparant en navolgbaar zijn 8.10. is creatief en actief in zoeken naar oplossingen voor gerezen problemen 9.1. kan formuleren waar en door wie de resultaten van het onderzoek/ontwerp kunnen worden ingezet, en welke positieve en negatieve gevolgen op korte en langere termijn dit kan hebben. 9.2. kan indien relevant, aangeven welke morele keuzes verbonden zijn met de onderzoeksvraag 9.3. kan aangeven dat het bevestigen van een hypothese niet inhoudt dat de hypothese waar is, en dat alternatieve verklaringen altijd mogelijk blijven 9.4. kan voor het eigen onderzoek aangeven welke aannames en welke modellen gebruikt zijn, en in welke mate het eigen onderzoek valide en betrouwbaar is 9.5. kan historische voorbeelden geven uit de eigen discipline van veranderingen in de modellen waarmee gewerkt wordt 9.6. kan voorbeelden geven van factoren die in de praktijk de voortgang van het onderzoek mede bepalen (zoals overheersende opvattingen, nauwkeurigheid van de technieken, machtsposities, bias, belangen, persoonlijkheidskenmerken, toeval)
3. Opstellen van een werkplan / beoordelen van een werkplan
Valide en betrouwbare experimentele methode kiezen /beoordelen
bijvoorbeeld: - ontwikkelen van een ontwerp experimentele toetsing van een hypothese
3.1. techniek kiezen die past bij de onderzoeks/ ontwerpvraag en keuze onderbouwen 3.2. variabelen kiezen die horen bij de vraagstelling en keuze onderbouwen 3.3. een maat kiezen om een variabele mee te bepalen en keuze onderbouwen 3.4. aangeven welke andere variabelen van invloed kunnen zijn en hoe je de invloed daarvan beperkt 3.5. geschikte controles en duplo-bepalingen kiezen 3.6. in ontwerp foutenbronnen minimaliseren 3.7. aangeven wat bronnen van variatie zijn 3.8. juiste steekproeven en aantallen kiezen
Niveau 1
a. Van een gegeven methode (bijv. een practicumproef) de opzet beschrijven volgens de punten 3.1. t/m 3.8 b. Standaardtechnieken beschrijven die gebruikt worden om een veel gebruikte variabele te bepalen of om een veel gebruikte experimentele ingreep te doen c. Een eenvoudig eigen onderzoek bedenken, beargumenteren en achteraf evalueren op basis van de punten 3.1 t/m 3.8. d. Onderzoeksopzet van anderen beoordelen op validiteit en betrouwbaarheid met behulp van de punten 3.1 t/m 3.8 (peer feedback)
Niveau 2
a. de experimentele opzet beschrijven van een onderzoek in een eenvoudig primair artikel b.1. Combinaties van technieken beschrijven die een variabele bepalen of een ingreep doen b.2. Meerdere technieken beschrijven met dezelfde functie en beoordelen welke techniek de voorkeur verdient in een gegeven situatie c. Een onderzoek bedenken waarin meerdere technieken worden gecombineerd d. Onderzoeksopzet van complexer studentonderzoek beoordelen
Niveau 3
a. de experimentele opzet beschrijven van een onderzoek in een complex primair artikel b. Technieken beschrijven die in het onderzoeksveld van de vakgroep worden toegepast, wat deze meten of veranderen en waarom ze gekozen zijn c. Een onderzoek bedenken binnen het programma van de vakgroep d. Onderzoeksopzet van een onderzoek beschreven in een primair artikel beoordelen
[i]
de vetgedrukte werkwoorden geven het cognitieve niveau aan waarop het leerdoel wordt bereikt. In combinatie met het niveau van complexiteit (bijv. een eenvoudig artikel of een complex artikel) is hiermee een differentiatie te maken in opdrachten op bachelor niveau 1, 2 of 3. [ii] Voorbeeld opdracht; Beschrijf van methode X
•hoe de techniek werkt, / wat de variabelen zijn, / welke maat is gekozen voor een niet rechtstreeks meetbare variabele, / hoe andere variabelen constant zijn gehouden, •wat de controles zijn en wat deze meten, / hoe rekening is gehouden met bronnen van variatie en hoe steekproeven zijn genomen. [iii] Hier kan per departement een tabel worden gemaakt van de meest gebruikte technieken met hun toepassing (bijvoorbeeld technieken voor het meten van dissimilatiesnelheid, technieken om mengsels te scheiden). Uit de tabel kan ook duidelijk worden welke variabelen in veel onderzoeken gemeten worden en welke experimentele ingrepen veel worden gedaan.
Onderzoekende houding
Schrijfleerlijn
Niveau 1 • Verklarende practica • Experiment en statistiek • Sec. literatuur (beetje primair)
Niveau 1 • Essay • Wetenschappelijk verslag • Rubric essay/verslag
Niveau 2 • Hands-on practica • Technische cursussen • Primaire literatuur (+ sec.)
Niveau 2 • Essay • Wetenschappelijk verslag • Rubric n2
Niveau 3 • Ministages (leesrtoelgroep) • Onderzoeksproject (+ thesis) • Primaire literatuur
Niveau 3 • Wetenschappelijk verslag • Onderzoeksvoorstel • Scriptie • Rubric scriptie + onderzoek
Rubric Onderzoeksverslag Experiment, niveau 1 onvoldoende
Voldoende
goed
Inleiding
De aanleiding wordt niet beschreven en/of bevat geen toetsbare hypothese.
Er wordt een aanleiding beschreven en bevat een toetsbare hypothese.
De aanleiding wordt onderbouwd met literatuur en de toetsbare hypothese is eenduidig en helder geformuleerd.
Methode
De gehanteerde methode is niet op een repliceerbare manier beschreven, onjuist uitgevoerd en/of sluit niet aan bij de hypothese.
De gehanteerde methode is op een repliceerbare manier beschreven, juist uitgevoerd en kan leiden tot het aannemen/verwerpen van de hypothese.
De methode is op een repliceerbare manier beschreven, juist uitgevoerd en de relevantie is onderbouwd.
Resultaten
De data is niet volledig en/of geen of onjuiste analyses zijn uitgevoerd en/of de analyses zijn onjuist geïnterpreteerd weergegeven.
De data is volledig en er zijn relevante analyses uitgevoerd. De analyses worden geïnterpreteerd, maar onduidelijk weergegeven.
De data is volledig en er zijn relevante analyses uitgevoerd. De analyses worden op een juiste manier geïnterpreteerd en op een inzichtelijke wijze weergegeven.
Conclusie &
Er wordt geen uitspraak gedaan over de houdbaarheid van de hypothese of het verwerpen/aannemen van de hypothese sluit niet aan bij de gevonden resultaten.
Het besluit om de hypothese te verwerpen / aan te nemen sluit aan bij de resultaten. De getrokken conclusie is gepast.
De hypothese wordt verworpen/aangenomen waarbij duidelijk wordt hoe dit voortvloeit uit de gevonden resultaten en er worden kritische kanttekeningen geplaatst en/of welk vervolg onderzoek wenselijk is.
Discussie
Rubric Onderzoeksverslag Experiment, niveau 3 Criteria Technische ‘skills’ Data interpretatie Efficiëntie
Houding in lab/werkplek
Organisatie labjournaal Verslag: inleiding en vraagstelling materiaal en methoden
resultaten
figuren en tabellen
Conclusies
Toelichting (eventueel)
ONVOLDOENDE
VOLDOENDE
GOED
☐ leert langzaam en kan geleerde technieken alleen met veel aansturing uitvoeren ☐ heeft moeite met het interpreteren van resultaten, ook na uitleg ☐ slechte planning van werkzaamheden
☐ leert goed en kan met minimale ☐ leert snel en kan de geleerde maar ook aansturing de geleerde technieken nieuwe technieken a.d.h.v.protocollen zelfstandig uitvoeren. zelfstandig uitvoeren. ☐ kan met hulp de resultaten goed ☐ kan de resultaten zelfstandig interpreteren interpreteren ☐ planning van werkzaamheden niet altijd ☐ goede planning van werkzaamheden even efficiënt maar wel voldoende ☐ houdt zich te weinig aan de op de ☐ houdt zich netjes aan de op de werkplek ☐ houdt zich uit zichzelf netjes aan de op werkplek geldende regels geldende regels de werkplek geldende regels ☐ werkplek is rommelig ☐ werkplek wordt geregeld schoongemaakt ☐ werkplek wordt direct schoongemaakt ☐ ruimt algemene werkplekken niet op ☐ probeert algemene werkplekken netjes ☐ algemene werkplekken worden goed te houden opgeruimd ☐ meldt niet dat er iets op is ☐ communiceert nauwelijks met ☐ meldt het als er iets op is ☐ als er iets op is wordt het snel nagevuld. collega’s, werkt ‘alleen’ op het lab. ☐ communiceert goed en houdt rekening ☐ communiceert goed en houdt rekening met anderen. met anderen ☐ slecht georganiseerd, schrijft te weinig ☐ goed georganiseerd, de meeste ☐ goed georganiseerd, alle informatie is op informatie is opgeschreven opgeschreven ☐ de proeven zijn niet te herhalen ☐ met wat zoekwerk kunnen de proeven ☐ de proeven kunnen makkelijk worden worden herhaald herhaald ☐ inleiding heeft een vage of niet ☐ inleiding heeft een duidelijke ☐ inleiding heeft een duidelijke en goed gefocusde onderzoeksvraag onderzoeksvraag gefocuste onderzoeksvraag
☐ M&M zijn incompleet of te verhalend opgeschreven ☐ proeven kunnen nauwelijks worden herhaald ☐ onvolledige beschrijving ☐ analyse en interpretatie van de resultaten is vaak onjuist ☐ moeilijk te volgen zonder figuren/tabellen
☐ M&M zijn vrijwel compleet en voldoende zakelijk. ☐ de meeste proeven kunnen worden herhaald ☐ volledige beschrijving van de resultaten ☐ analyse en interpretatie is meestal juist ☐ meestal goed te volgen zonder figuren/tabellen
☐ resultaten zijn niet of onduidelijk weergegeven of irrelevante resultaten worden getoond ☐ legenda’s bevatten te weinig informatie ☐ komt niet terug op de onderzoeksvraag ☐ benoemt niet sterke en zwakke punten van de studie ☐ onjuiste conclusie n.a.v. de resultaten
☐ relevante en juiste weergave van de meeste resultaten in begrijpelijke figuren/tabellen grotendeels correcte beschrijving in de legenda’s ☐ komt terug op de onderzoeksvraag ☐ benoemt sterke en zwakke punten van de studie ☐ grotendeels juiste conclusies n.a.v. de resultaten
☐ M&M zijn compleet en zakelijk, ☐ proeven kunnen makkelijk worden herhaald ☐ volledige en juiste beschrijving van de resultaten ☐ analyse en interpretatie van de resultaten zijn juist ☐ makkelijk te volgen zonder de figuren/tabellen ☐ relevante en uitstekende weergave van de resultaten in overzichtelijke figuren/tabellen ☐ duidelijke en complete legenda’s ☐ komt terug op de onderzoeksvraag ☐ benoemt sterke en zwakke punten van de studie en heeft nagedacht over vervolgproeven ☐ juiste conclusies n.a.v. de resultaten
