Analyse van toetsing 1e jaar Geowetenschappen

Analyse van toetsing 1e jaar Geowetenschappen Samenhang tussen cursusdoelen en toetsen in BA-1 cursussen

Financiering: Gecombineerd project Sprint en EMP Looptijd:

mei 2011-december 2011; mei-september 2012

Uitvoerders:

Barbara Allart Sanne Gratama van Andel Stephan Ramaekers

Inhoudsopgave AANLEIDING OPZET VAN HET PROJECT PROJECTPLANNING COÖRDINATOREN EMP PROJECT UITVOERING VANUIT CENTRUM VOOR ONDERWIJS EN LEREN WERKWIJZE DATAVERZAMELING INSTRUMENTARIUM DATA-ANALYSE UITVOERING REACTIES SAMENVATTING VAN DE ONDERZOEKSRESULTATEN TOTAALBEELD LEERDOELEN TOETSNIVEAU VERDELING BLOOM-NIVEAUS OVER GEHELE EERSTE JAAR ANALYSERESULTATEN PER OPLEIDING AARDWETENSCHAPPEN MILIEUWETENSCHAPPEN NATUURWETENSCHAPPEN EN INNOVATIEMANAGEMENT SOCIALE GEOGRAFIE EN PLANOLOGIE TOETSVORMEN ANALYSERESULTATEN PER CURSUS CONCLUSIES, DISCUSSIE EN AANBEVELINGEN BEPERKINGEN GEVOLGDE METHODIEK CONCLUSIES DISCUSSIE AANBEVELINGEN BIJLAGEN BIJLAGE A. OVERZICHT INDIVIDUELE CURSUSSEN BIJLAGE B. MATRIX CURSUSDOELEN IN RELATIE TOT EINDTERMEN OPLEIDINGEN BIJLAGE C. OVERZICHT TOETSVORMEN BIJLAGE D. HANDLEIDING WERKEN MET BLOOM-NIVEAUS BIJLAGE E. PROJECTVOORSTEL BIJLAGE F. BRIEF AAN DOCENTEN BIJLAGE G. CD-ROM MET ANALYSEDATABASE

EMP-project Toetsanalyse Geowetenschappen Barbara Allart, Centrum voor Onderwijs en Leren 21 september 2012; 14:52

AANLEIDING Het verzoek voor onderwijskundige ondersteuning bij dit project kwam van de nieuw-opgerichte toetscommissie van de faculteit Geowetenschappen. De achtergrond was tweeledig: Uit evaluaties was gebleken dat het slagingspercentage van de ongeveer 30 cursussen in het eerst jaar van de bacheloropleidingen van de faculteit Geowetenschappen nogal uiteen liep. Een terugkerend punt van discussie binnen de faculteit was of dit te relateren was aan de aard van de toetsing: is het te moeilijk of te makkelijk, richt de toetsing zich (te veel) op reproductie van kennis en (te) weinig op inzicht en toepassing, etc. Daarnaast had de Toetscommissie behoefte aan ondersteuning bij het opdoen van ervaring bij haar taak om de kwaliteit van toetsing te kunnen borgen. Naar aanleiding van de aangescherpte taakomschrijving van de Examencommissies in de Wet Versterking Besturing, die in september 2010 van kracht werd, is op de Faculteit Geowetenschappen een toetscommissie ingesteld die onder de verantwoordelijkheid van de Examencommissie de kwaliteit van toetsing controleert en borgt. Deze Toetscommissie wilde weten welke methoden hiervoor bruikbaar waren en hoe dergelijke kwaliteitsborging met beperkte middelen kon worden uitgevoerd. De vragen waar in deze rapportage antwoord op wordt gegeven, zijn:  Hoe verhouden de schriftelijke toetsen van de cursussen in het eerste jaar van de bachelor zich tot de cursusdoelen zoals die in Osiris zijn geformuleerd?  Richten de toetsen zich (te) veel op reproductie van kennis en (te) weinig op de hogere cognitieve niveaus?  Kan een Toetscommissie met de ervaring uit dit project als basis, zelfstandig haar taak ten aanzien van de borging van toetskwaliteit binnen de faculteit vervullen?  Heeft dit project de toetscultuur binnen de faculteit bevorderd?

OPZET VAN HET PROJECT Dit project heeft tot primaire doel om beter inzicht te krijgen in de toetsing binnen de 30 eerstejaars (niveau 1) cursussen van de vier bacheloropleidingen in de faculteit Geowetenschappen. De vragen uit de schriftelijke toetsen van deze cursussen (2010-2011) zijn beoordeeld in het licht van “Blooms taxonomie”. Er is beoordeeld op welk niveau van Bloom de toetsvragen gericht zijn (weten, begrijpen, toepassen, analyseren, synthetiseren of evalueren). Ook is gekeken in hoeverre de toetsvragen wat betreft verwerkingsniveau aansluiten bij de leerdoelen van de cursus, zoals die in Osiris zijn opgenomen. Naar aanleiding van de inventarisatie en analyse zijn gesprekken gevoerd met de cursuscoördinatoren en waar nodig zijn suggesties worden gedaan voor verbetering van toetsvragen of leerdoelen. In tweede instantie heeft het project tot doel om de facultaire toetscultuur te bevorderen, door het kritisch kijken naar de eigen toets en bespreken van toetsen met collega’s te stimuleren. Verder is binnen dit project een handleiding geschreven voor docenten, waarin het gebruik van de toetsingsvormen op de verschillende niveaus van Bloom helder worden beschreven. De handleiding zal verder concrete handvatten bieden, zoals hoe formuleer je heldere leerdoelen en hoe maak/gebruik je een toetsingsmatrix. Deze is opgenomen in bijlage D. PROJECTPLANNING Uren in 2011: 100 uur EMP 80 uur SPRINT Uren in 2012: 52 uur EMP Implementatie toetsbeleid (uit toetscommissie) Looptijd: mei 2011-december 2011; mei 2012 - augustus 2012

component

ondersteuning

COÖRDINATOREN EMP PROJECT Diederik Gussekloo (secretaris toetscommissie Geowetenschappen 2011) Ingrid van Gaalen (secretaris toetscommissie Geowetenschappen 2012)

3


UITVOERING VANUIT CENTRUM VOOR ONDERWIJS EN LEREN Barbara Allart, Sanne Gratama van Andel, Stephan Ramaekers.

WERKWIJZE DATAVERZAMELING De secretaris van de toetscommissie, die naar aanleiding van de Wet Versterking Besturing in 2010 is opgericht, heeft vanaf mei 2011 de cursuscoördinatoren van de eerstejaars cursussen benaderd met het verzoek hun toetsen van het lopende cursusjaar in te leveren ter analyse. Daarbij is ook verzocht om de leerdoelen zoals die voor dat jaar in Osiris zijn opgenomen beschikbaar te stellen, alsmede de studiewijzer van de cursus. Dat leverde de benodigde materialen voor het onderzoek: leerdoelen, toetsvormen met hun weging in het eindcijfer, beschrijving van de toetsen, toetsvragen van de schriftelijke toetsen. Deze zijn door de secretaris van de toetscommissie verzameld op een Unidocs website 1 , waar ze toegankelijk waren voor de COLUU-adviseur. Stephan Ramaekers (COLUU) heeft een matrijs ontwikkeld in xls-format, waarin alle cursussen konden worden ondergebracht en de resultaten overzichtelijk geclusterd konden worden. (23 juni 2011) Kleine onvolkomenheden zijn in de eerste weken opgelost en er zijn een in de loop van het project aantal aanpassingen gedaan om de werkbaarheid te optimaliseren. INSTRUMENTARIUM Bij het klasseren van leerdoelen is binnen het Centrum voor Onderwijs en Leren (voorheen Ivlos) al vaker gebruik gemaakt van de taxonomie van Bloom. De taxonomie heeft betrekking op het cognitieve domein en omvat het geheel van kennis (van feiten e.d.) tot en met de cognitieve vaardigheden behorende bij kritische reflectie en evaluatie.

Figuur . Bloom’s taxonomie (uit: Wood, 2009)

Er worden in de taxonomie van Bloom zes hoofdcategorieën onderscheiden: kennen, begrijpen, toepassen, analyseren, synthesen, en evalueren. Deze zijn hiërarchisch geordend, d.w.z. dat bij doelen op een hoger niveau (bv. toepassen, niveau 3) de lagere niveaus (i.c. kennen en begrijpen) zijn inbegrepen. Het begrip ‘hoger’ is niet bedoeld als ‘beter’ maar verwijst naar de 1

https://unidocs.services.uu.nl/uniteams/facgeo/toco/Documenten%20van%20Toetscommissie/Forms/AllItems.aspx

4


ordening van niveaus en impliceert dat de onderliggende niveaus daarvoor noodzakelijk zijn. Onderstaande figuur toont de hoofdcategorieën, een korte omschrijving van de kern van elk niveau en bijpassende cognitieve activiteiten. DATA-ANALYSE Om eenduidigheid (inter-beoordelaars betrouwbaarheid) te krijgen in het scoren met de taxonomie van Bloom hebben de COLUU-adviseur en een tweetal toetscommissieleden ieder de leerdoelen en toets van één cursus individueel geanalyseerd en onderling vergeleken. Daarbij bleek dat de scores grotendeels overeen kwamen. Verschillen in scores van adviseurs waren terug te voeren op verschillen in interpretaties van toetsvragen en op verschillen in vakinhoudelijke kennis. Dit laatste aspect bevestigde de wenselijkheid om de scores vervolgens ook met de betrokken docent of coördinator van de cursus door te spreken en te verifiëren. In veruit de meeste gevallen bleken de scores rechtmatig toegekend. In een enkel geval bleek nadere informatie ten aanzien van de wijze waarop het onderwerp in de cursus was aangeboden aanleiding om het niveau van de score aan te passen. Daar waar sprake bleef van onderlinge verschillen in niveau-inschatting is in principe de beoordeling van de docent aangehouden. Na de bespreking met de docent zijn de scores waar nodig aangepast en verder gebruikt in dit rapport. UITVOERING COLUU-adviseur Sanne Gratama van Andel heeft op 25 mei 2011 een introductiebijeenkomst georganiseerd met de toetscommissie van Geowetenschappen, waar gezamenlijk twee toetsen met de beoogde methode van Bloom zijn geanalyseerd. De reacties op de bruikbaarheid van het instrument waren overwegend positief, maar toetscommissieleden zagen het niet als realistisch dat zij voldoende tijd vrij zouden kunnen maken om zelf toetsen te analyseren. Toch werd er aanvankelijk op ingezet dat elke toets zowel door een COLUU-adviseur als door een toetscommissielid zou worden geanalyseerd. Barbara Allart heeft vanuit COLUU de analyse van de toetsing op zich genomen. Twee toetscommissieleden hebben uiteindelijk de tijd gevonden om een aantal toetsen te analyseren. De analyses van twee cursussen (uitgevoerd door resp. de COLUU-adviseur Barbara Allart en een Toetscommissielid Thijs Konijnendijk) zijn in een gesprek vergeleken. De verschillen tussen de scores waren beperkt, en in de argumentatie over de achtergronden van de waarderingen vonden ze elkaar snel. Een tweede vergelijkingssessie van 5 cursussen is gedaan met Dick Ettema. Ook deze ronde scherpte de vaardigheden in het scoren verder aan. In september en oktober 2011 zijn met de meeste betrokken docenten gesprekken gevoerd. Ook deze gesprekken zouden volgens het oorspronkelijke plan gezamenlijk met een Toetscommissie-lid gevoerd worden, om deze zo ervaring op te laten doen. Het is in de praktijk niet gelukt om op deze wijze te werken. De docenten zijn per email benaderd en kregen vooraf een korte projectbeschrijving en een pdf-document met de ‘scores’ van hun toetsen (bijlagen E en F). Tijdens het gesprek werk de achtergrond van het project nog een keer mondeling toegelicht. Vervolgens kreeg de docent de gelegenheid iets te vertellen over de opzet en achtergronden van de cursus en de toetsing en vervolgens werden de toetsvragen doorgenomen. Enkele docenten kozen ervoor om alle toetsvragen te bespreken, andere hadden een goede indruk van de gemiddelde uitkomsten en beperkten zich tot een aantal gevallen waarbij twijfel bestond over de toegekende score. In het gesprek kwam ook een eerste analyse van de resultaten ter sprake en werd gepeild of de docent zich hierin herkende. De informatie uit het gesprek is vervolgens verwerkt en de docent ontving een nieuwe versie van het scoreformulier en eventuele aanvullende informatie over leerdoelen, het formuleren van toetsvragen of het gebruik van toetsmatrijzen per mail. Op basis van deze informatie is een eerste rapportage geschreven, die op 20 december 2011 op een vergadering van de toetscommissie is gepresenteerd. De resterende gegevens kwamen te laat binnen om nog in deze analyseronde te kunnen worden meegenomen. Eind mei 2012 is besloten alsnog tijd in te plannen om de resterende cursussen te analyseren en de gesprekken met docenten of coördinatoren te voeren. De werkzaamheden zijn uitgevoerd in de periode juni - augustus 2012, binnen het EMP-project Implementatie Toetsbeleid,

5


waarbinnen de thematiek prima paste. Het is niet mogelijk gebleken alle toetsen te bemachtigen, en enkele docenten wilden of konden niet in gesprek. Waar dit aan de orde is, is dat bij de verwerking van de gegevens aangegeven.

REACTIES In de loop van het project is met 29 docenten binnen de faculteit Geowetenschappen een gesprek gevoerd over hun cursus en bijbehorende toetsen. De ervaring van de COLUU-adviseur was dat zij overwegend vanuit een open, positieve houding werd ontvangen en dat de gesprekken op een prettige manier plaatsvonden. Enkele docenten vonden het wel spannend dat een buitenstaander ‘kritiek’ kwam geven op hun toets, maar in die gevallen werd in de loop van het gesprek duidelijk dat kritiek of controle niet de eerste insteek waren. Docenten gaven graag uitleg over de cursus en de keuze voor de toetsen en de overwegingen achter de toetsvragen. De meeste docenten stonden open voor opmerkingen en vragen van een buitenstaander en bleken soms ter plekke al geïnspireerd te raken om met hun toets, leerdoelen of cursus aan de slag te gaan. In een aantal gesprekken werd duidelijk dat de keuze voor een bepaalde toetsvorm soms bepaald werd door de omstandigheden, waardoor de ideale toetsvorm geen optie was. Andere docenten zagen het gesprek als een mogelijkheid om meer te leren over toetsing en toetsanalyse. Geprobeerd is om elke docent via een persoonlijke mail feedback te geven op de toetssituatie zoals die is aangetroffen en handreikingen te geven om zelf vervolgstappen te zetten waar dat wenselijk of noodzakelijk leek. Hierbij is een aantal documenten regelmatig meegestuurd als studiemateriaal: handreikingen bij het formuleren van goede leerdoelen, voorbeelden van toetsmatrijzen en achtergronden bij de taxonomie van Bloom. Al deze informatie is verwerkt in de Handleiding werken met Bloom-niveaus in bijlage D. Dat de gesprekken en de aanvullende informatie gewaardeerd werden, bleek wel uit de reacties die ik via de mail kreeg: “Ik wil je er heel erg voor bedanken! Ik ga het goed bestuderen (na mijn vakantie) en dan ook een aantal zaken aanpassen. Nogmaals dank voor al je moeite.”; “Dank voor het meedenken!”; “Dank voor je aanpassingen en conclusies. Ik houd hier komend cursusjaar rekening mee. Om te beginnen zal ik de leerdoelen inderdaad onder handen nemen. Het was me al duidelijk dat dit beter kan.”; “Hartelijk dank voor je analyse. Ik vind het erg inzichtelijk. De toetsen zullen komend jaar grondig worden gereviseerd en ik zal gebruik maken van je analyse.” Enkele docenten bleken niet bereid of in staat om een gesprek te voeren over de analyse van hun toetsen. De achterliggende redenen waren divers en leken niet voort te komen uit desinteresse, getuige de reacties op de toegezonden analyses.

6


SAMENVATTING VAN DE ONDERZOEKSRESULTATEN Voor deze analyse zijn van 29 van de 32 BA-1 cursussen 60 schriftelijke toetsen uit 2010-2011 geanalyseerd. Twee cursussen zijn niet met de betrokken coördinator besproken omdat deze aangaven af te zien van bespreking, van twee toetsen bleven de coördinatoren onbereikbaar. Twee toetsen zijn ondanks herhaalde aansporing niet ingeleverd. Aantal BA-1 cursussen

Aantal geanalyseerde toetsen

32

Aantal besproken toetsen

60

Aantal niet besproken toetsen

25

Aantal niet ontvangen cursussen

4

3

TOTAALBEELD Weten

Begrijpen

Toepassen

Analyseren

Synthetiseren

Evalueren

- leerdoelen

14%

52%

31%

3%

0%

0%

- toetsvragen

35%

42%

22%

1%

0%

0%

- leerdoelen

19%

39%

23%

15%

2%

2%

- toetsvragen

41%

44%

12%

1%

0%

2%

- leerdoelen

15%

36%

24%

19%

0%

6%

- toetsvragen

46,5%

29%

17,5%

7%

0%

0%

- leerdoelen

3%

58%

24,5%

8,5%

3%

3%

- toetsvragen

34,5%

53%

8%

3%

0%

1,5%

Alle bachelor-1 vakken - leerdoelen

13%

46%

25,5%

12%

1%

2,5%

- toetsvragen

39%

42%

15%

3%

0%

1%

Aardwetenschappen

Milieuwetenschappen

Natuurws & innovatieman

Soc Geo & Planologie

De cijfers in bovenstaande tabel hebben uitsluitend betrekking op schriftelijke toetsen en laten andere toetsvormen buiten beschouwing. Voor sommige cursussen bepalen de aanvullende toetsen grote percentages van het eindcijfer. Met deze kanttekeningen kunnen er wel enkele algemene uitspraken worden gedaan ten aanzien van de kwaliteit van toetsing in het eerste bachelorjaar van Geowetenschappen.

LEERDOELEN Wat betreft de leerdoelen zien we dat SGPL met 3% weten duidelijk onder het facultaire gemiddelde blijft en op begrijpen met 58% juist ruim boven het facultaire gemiddelde komt. Op toepassen zit Aardwetenschappen met 31% bovengemiddeld. Daarentegen overstijgen de leerdoelen bij Aardwetenschappen het toepassen-niveau nauwelijks, terwijl faculteitsbreed 15% van de geanalyseerde eerstejaarsvakken leerdoelen op de hogere verwerkingsniveaus (analyseren, synthetiseren en evalueren) formuleert. Natuurwetenschappen & Innovatie zet met 25% juist relatief hoog in op deze niveaus, terwijl Milieuwetenschappen (19%) en SGPL (15%) rond het gemiddelde zitten. In de gesprekken met de docenten/coördinatoren is de formulering van de leerdoelen altijd onderdeel van het gesprek geweest. Uit veel gesprekken bleek dat de leerdoelen zoals ze in Osiris terecht komen niet altijd een adequate weergave zijn van de cursusinhoud. Soms is bewust gekozen voor een zeer compacte weergave (in bijvoorbeeld 1 of 2 overkoepelende leerdoelen), in andere gevallen zijn de leerdoelen heel globaal geformuleerd met als doel de concrete invulling van de cursus nog open te houden. In een enkel geval waren de cursusdoelen nog van de hand van een

7


voormalige docent, terwijl de cursus voor het betreffende cursusjaar later was ingevuld door een nieuwe docent. In gevallen waar er een sterke of significante discrepantie leek te zijn tussen de cursusdoelen en de mondelinge beschrijving van de cursus in het gesprek of waar de cursusdoelen en de toetsvragen/toetsvormen erg uit elkaar liepen, is gericht advies gegeven om de cursusdoelen opnieuw te formuleren, in lijn met de wijze van aanbieden van de leerstof en de beoogde toetsvormen.

TOETSNIVEAU Faculteitsbreed ligt de nadruk in de schriftelijke toetsen op weten en begrijpen (81%), wat aanzienlijk hoger is dan het aandeel dat in de leerdoelen aan deze niveaus wordt toegekend (59%). Een gedeeltelijke correctie is te verwachten op basis van de aanvullende toetsvormen, maar het verschil lijkt te groot om dat helemaal te compenseren. Bij Milieuwetenschappen is 19% van de leerdoelen op niveau 3+; deze moeten worden getoetst in toetsvormen die 31% van het eindcijfer bepalen. Bij SGPL gaat het om 39% van de leerdoelen op niveau 3+; die worden getoetst in toetsvormen die 43% van het eindcijfer bepalen. Voor deze opleidingen als geheel lijkt er dus geen probleem, al kan dat voor individuele cursussen anders uitpakken. Anders is dat voor Aardwetenschappen en NW&I. Bij Aardwetenschappen is 34% van de leerdoelen op niveau 3+; deze moeten worden getoetst in toetsvormen die 14% van het eindcijfer bepalen. De verschillen tussen de cursussen zijn erg groot, dus er moet ook naar individuele cursussen worden gekeken om definitieve uitspraken te kunnen doen. Ook toetsen de schriftelijke toetsen bij AW minder dominant op weten en begrijpen. Bij NW&I is 49% van de leerdoelen op niveau 3+; slechts 16% van het eindcijfer wordt bepaald door aanvullende toetsvormen. Dat verschil is niet goed te maken. Ook na correctie voor het percentage toetsvragen op weten en begrijpen blijft een forse discrepantie bestaan. De conclusie luidt dat het risico bestaat dat de hogere verwerkingsniveaus niet voldoende getoetst worden om het realiseren van de leerdoelen te kunnen onderbouwen. Dat vereist een kritische heroverweging van de leerdoelen en de gekozen toetsvormen, waarbij men zich voor de cursussen die dat betreft nog eens goed moet afvragen of de gestelde leerdoelen en toetsvormen/toetsvragen in overeenstemming met elkaar zijn. Het kan nuttig zijn om deze informatie in een toetsmatrijs bij elkaar te zetten, zodat men duidelijk overzicht krijgt over alle aspecten van de cursus. Vanuit de vraag of er ‘te veel’ op weten en begrijpen getoetst wordt, kan je op basis van deze discrepantie tussen leerdoelen en toetsvragen stellen dat er inderdaad relatief veel op dit basisniveau wordt getoetst. Het verschil is kleiner dan de 22 procentpunt uit het overzicht – door de aanvullende toetsvormen die overwegend hogere verwerkingsniveaus toetsen – maar niettemin aanzienlijk. Of dat ook betekent dat er voor een bachelor-1 cursus te veel op weten en begrijpen wordt getoetst is aan de opleiding zelf om te beoordelen. Het is verdedigbaar dat er in een bachelor-1 cursus een kennisbasis moet worden opgebouwd waarop studenten hun verdere loopbaan teren. Tegelijkertijd is het de vraag of weten zonder (bewijs van) begrijpen voldoende beklijft om deze functie te vervullen. Zelf met nieuwe kennis aan de slag gaan, biedt toch betere kansen, is de ervaring. De sterkste discrepantie zit op het niveau van weten (26 procentpunt); het verdient aanbeveling om dit verschil tussen leerdoelen en toetsvragen aanzienlijk te verkleinen ten gunste van hogere verwerkingsniveaus.

8


VERDELING BLOOM-NIVEAUS OVER GEHELE EERSTE JAAR Een van de te beantwoorden vragen in dit project luidde: ‘Richten de toetsen zich (te) veel op reproductie van kennis en (te) weinig op de hogere cognitieve niveaus?’ Alle bachelor-1 vakken - leerdoelen

Weten

Begrijpen

13%

46%

Toepassen 26%

Analyseren

39%

Evalueren

1%

3%

0%

1%

41% 2

59% - toetsvragen

Synthetiseren

12%

42% 81%

15%

3% 19%

Als we kijken naar alle geanalyseerde Bachelor-1 vakken, zien we dat de leerdoelen voor 59% op weten en begrijpen richten. Voor een eerste jaar is het verdedigbaar dat er veel basiskennis wordt aangeboden en dat het eigen maken van die kennis op begripsniveau belangrijk is. Of de nadruk in de leerdoelen te veel op deze basisniveaus ligt, is ter overweging aan de opleiding. Uitgaande van didactische theorieën zijn deze verwerkingsniveaus geen garantie voor het structureel beklijven van de kennis; daarvoor is het nodig dat studenten zelf met de materie aan de slag gaan, zodat ze de nieuwe kennis kunnen relateren aan bestaande kennisstructuren en inzicht krijgen in de manier waarop deze kennis ze later (in de studie of in het werkzame leven) tot nut kan zijn. Daarom is het goed om te zien dat in de leerdoelen 41% gericht is op toepassing van kennis op verschillende niveaus (3+). Op leerdoelniveau lijkt er niet noodzakelijk te veel nadruk te liggen op de lagere cognitieve niveaus. De toetsvragen in de schriftelijke toetsen (met de eerder gemaakte kanttekening dat dat niet de enige toetsen zijn en dat dit bij uitstek toetsen zijn waarin de lagere cognitieve niveaus getoetst kunnen worden), laten echter een andere verdeling zien: Ruim 80% van de toetsvragen blijkt op weten en begrijpen gericht te zijn en slechts 19% op de toepassingsniveaus (3+). Veel docenten droegen aan dat het noodzakelijk was om een bepaalde mate van feiten- en proceskennis te toetsen voordat met de praktijkgerichte opdrachten werd gestart. De vraag is dan alleen of de toetsen waarin deze basiskennis aan de orde wordt gesteld (zo zwaar) mee zouden moeten tellen in het eindcijfer, of dat deze op formatieve wijze kunnen worden afgenomen, zodat de student zich bewust wordt van het feit dat hij essentiële basiskennis al dan niet beheerst. Veel cursussen bij Geowetenschappen hebben een duidelijke beroepsrichting waaraan praktijktoepassingen gekoppeld kunnen worden; bij de toetsvormen zijn dan ook geregeld veldwerkopdrachten terug te vinden. Het gewicht dat aan deze toetsen wordt toegekend wisselt echter sterk. Door leerdoelen duidelijk te formuleren in termen van wat een student met de aangeboden stof moet kunnen, en (veldwerk)opdrachten zodanig in lijn te brengen dat al die kennis ook aan bod komt, zou het haalbaar moeten zijn om de veldwerkopdrachten zwaarder te laten tellen dan de theoretische basis.

2

De afwijking heeft te maken met de afronding van de percentages.

9


ANALYSERESULTATEN PER OPLEIDING Aangezien de verschillen tussen de opleiding groot zijn, zijn de analyses ook uitgevoerd op de afzonderlijke opleidingen. De cursussen zijn uitgesplitst naar vier opleidingen: Aardwetenschappen, Milieuwetenschappen, Natuurwetenschap en Innovatiemanagement, Sociale Geografie en Planologie.

AARDWETENSCHAPPEN Bij Aardwetenschappen zijn voor 9 vakken de toetsen opgevraagd. Hiervan zijn er 7 ingeleverd en besproken met de docent/coördinator. Deze 7 toetsen zijn meegenomen in deze analyse. Een toets is vervallen (4192), aangezien deze bij de coördinator onbekend was. 1 toets is niet ingeleverd (1115). Resultaten: Aardwetenschappen

Weten

Begrijpen

Toepassen

Analyseren

Synthetiseren

Evalueren

- leerdoelen

14%

52%

31%

3%

0%

0%

- toetsvragen

35%

42%

22%

1%

0%

0%

Voor de vakken van aardwetenschappen geldt dat de leerdoelen zoals deze in Osiris worden geformuleerd, de nadruk leggen op begrijpen en toepassen van de aangeboden stof. Analyse van de vragen in de schriftelijke toetsen leert, dat hier relatief meer op het niveau van weten wordt getoetst en dat begrijpen en toepassen achterblijven. Hierbij moet wel worden aangemerkt dat er in 5 van de 7 cursussen ook andere toetsvormen gehanteerd worden om de opgedane kennis te toetsen. Deze bepalen 15-25% van het eindcijfer en zijn vaak gericht op niveaus 3-5. Gezien de verschillen in percentages is het belangrijk dat er een garantie is dat de hogere verwerkingsniveaus uit de leerdoelen in deze toetsvormen aan de orde komen.

MILIEUWETENSCHAPPEN 3 Bij de twee opleidingen die we hier samen nemen onder de kop Milieuwetenschappen zijn voor 5 vakken de toetsen opgevraagd en ingeleverd. Van alle analyses zijn de resultaten met de docent/coördinator besproken en opgenomen in onderstaande analyse. Resultaten: Milieuwetenschappen

Weten

Begrijpen

Toepassen

Analyseren

Synthetiseren

Evalueren

- leerdoelen

19%

39%

23%

15%

2%

2%

- toetsvragen

41%

44%

12%

1%

0%

2%

De leerdoelen van de vakken bij Milieuwetenschappen worden relatief breed gespreid, met een nadruk op begrijpen, een kleiner aandeel toepassen, weten en analyseren en een bescheiden component synthetiseren en evalueren. In de schriftelijke toetsing wordt verhoudingsgewijs veel nadruk gelegd op weten. Begrijpen ligt aardig in lijn met de leerdoelen, maar de hogere niveaus flink uit de pas met de leerdoelen. Hierbij moet wel worden opgemerkt dat 4 van de 5 cursussen gebruik maken van aanvullende toetsvormen die tussen 30 en 50% van het eindcijfer bepalen. Als deze opdrachten zich daadwerkelijk hoofdzakelijk op de hogere verwerkingsniveaus richten (3+) zouden de percentages uit de tabel nog enigszins recht getrokken kunnen worden. De component weten in de toetsing blijft ook dan aan de hoge kant.

3

De faculteit Geowetenschappen heft twee opleidingen die ten behoove van dit onderzoek onder deze noemer zijn samengebracht: Milieu-Natuurwetenschappen en Milieu-Maatschappijwetenschappen.

10


NATUURWETENSCHAPPEN EN INNOVATIEMANAGEMENT Bij Natuurwetenschappen en Innovatie zijn voor 8 vakken de toetsen opgevraagd. Van één vak zijn geen toetsen ingeleverd (2206). Van 7 vakken zijn de toetsen ingeleverd. Drie van deze toetsen zijn niet besproken met de docent; twee docenten hebben bewust afgezien van een gesprek (2201 en 2207), een derde was onbereikbaar (2210). De analyse van 2210 is derhalve niet meegenomen in de onderstaande analyse. Resultaten: NW&I

Weten

Begrijpen

Toepassen

Analyseren

Synthetiseren

Evalueren

- leerdoelen

15%

36%

24%

19%

0%

6%

- toetsvragen

47%

29%

18%

7%

0%

0%

De leerdoelen van de vakken bij Natuurwetenschappen en Innovatie worden relatief hoog ingezet. Slechts 15% is op weten-niveau, en bijna 50% van de leerdoelen is toepassen of hoger. Binnen de schriftelijke toetsen worden deze hogere leerdoelen echter niet gerealiseerd. Daar ligt de nadruk op weten en begrijpen (samen 76%) en komen de hogere verwerkingsniveaus (4+) niet verder dan 7%. Bij vijf vakken is sprake van aanvullende toetsvormen waarin deze hogere verwerkingsniveaus zouden worden aangesproken. Aangezien deze niet meer dan 20-30% van het eindcijfer bepalen, zal het verschil echter niet goedgemaakt kunnen worden.

SOCIALE GEOGRAFIE EN PLANOLOGIE Bij Sociale Geografie en Planologie zijn voor 10 vakken de toetsen opgevraagd. Van alle vakken zijn de toetsen ingeleverd. Van 9 cursussen is de analyse besproken met de docent/coördinator. Van een cursus (3102) wordt nog geprobeerd de docent te bereiken voor een gesprek. Deze cursus is op dit moment nog niet verwerkt in onderstaande analyse. Resultaten: SGPL

Begrijpen

Toepassen

- leerdoelen

Weten 3%

58%

25%

Analyseren 9%

Synthetiseren 3%

Evalueren 3%

- toetsvragen

34%

53%

8%

3%

0%

1%

Bij de 9 geaccordeerde vakken van Sociale Geografie en Planologie ligt de nadruk in de leerdoelen op begrijpen (58%), en de overige leerdoelen adresseren de hogere verwerkingsniveaus. Weten ligt met 3% ruim onder het facultaire gemiddelde. Begrijpen is in 53% van de vragen in de schriftelijke toetsen de focus. Daarnaast wordt echter nog voor maar liefst 34% op weten getoetst. De discrepantie met het niveau van de leerdoelen wordt daarmee zo groot, dat aanvullende toetsen de balans niet kunnen recht trekken. Bij 8 van geaccordeerde cursussen worden echter een of meerdere aanvullende toetsvormen gebruikt, die tussen 25 en 94% van het eindcijfer bepalen. Vaak betreft het veldwerk of andere toepassingsopdrachten, die inzetten op toepassen, analyseren, synthetiseren en evalueren. Daaruit mogen we concluderen dat de hogere verwerkingsniveaus in voldoende mate aan bod komen in de toetsing. Het verdient aanbeveling om na te gaan waar de grote discrepantie op het niveau van weten vandaan komt. Vervolgens dient men na te gaan of de leerdoelen te hoog worden ingezet of de toetsing op een hoger niveau zou moeten plaatsvinden.

11


TOETSVORMEN In bijlage C zijn de gebruikte toetsvormen per cursus naast elkaar gezet. Hierbij valt op dat er heel veel schriftelijk getoetst wordt en dat de scores behaald bij schriftelijke toetsen een substantiële component van het eindcijfer vormen. Bij Aardwetenschappen is minimaal 75% van het eindcijfer gebaseerd op de schriftelijke toets(en); bij twee cursussen gaat het om 100%. Bij milieuwetenschappen varieert het tussen 50% en 100%, maar is er bij vier van de vijf cursussen sprake van ten minste één andere toetsvorm. Bij NW&I wordt 70-100% van het eindcijfer gebaseerd op een schriftelijke toets en hebben 5 van de 7 cursussen een tweede toetsvorm. SGPL springt er positief uit met slechts een cursus die 100% van het eindcijfer aan een schriftelijke toets ontleent. Bij de overige cursussen ligt het percentage schriftelijke toetsing tussen de 40 en 75%, met een uitschieter naar 6%.

ANALYSERESULTATEN PER CURSUS De samenvatting van de resultaten van individuele cursussen zijn opgenomen in Bijlage A. Deze zijn uitvoerig met de betrokken docent of coördinator besproken en een aantal cursussen is of wordt al herzien op basis van de feedback die in dit project is gegeven.

12


CONCLUSIES, DISCUSSIE EN AANBEVELINGEN BEPERKINGEN VAN DE GEVOLGDE METHODIEK In dit project van toetsanalyse is gebruik gemaakt van een quick-scanmethode, waarbij de niveaus van leerdoelen en toetsvragen alleen in algemene termen aan elkaar gerelateerd worden. Er is dus niet specifiek gekeken naar de inhoudelijke formulering van een leerdoel en de inhoudelijke formulering van de bijbehoreden vragen. In een toetsmatrijs kunnen dezelfde leerdoelen en vragen dus tot een andere balans per onderwerp komen. Daarnaast is bij de classificering van leerdoelen ook geen rekening gehouden met eventuele weging van de doelen. Hoofd- en subdoelen kunnen daardoor onterecht even zwaar geteld zijn. Dergelijke meetonzuiverheden kunnen in een toetsmatrijs rechtgezet worden. Deze beperkingen zijn in de gesprekken met docenten/coördinatoren ook besproken. Aan kleine discrepanties in de overzichten moet daarom ook niet te veel waarde gehecht worden. Grote discrepanties zijn minder gevoelig voor deze nuancering: als er overwegend op begrijpen wordt ingezet, terwijl overwegend op weten getoetst wordt, is dat niet meer gebonden aan de inhoudelijke invulling van een leerdoel of een toetsvraag en moeten beide grondig tegen het licht gehouden en heroverwogen worden. Docenten of coördinatoren van cursussen waar dit in meerdere of mindere mate aan de orde was, zijn hierover in het persoonlijke gesprek geïnformeerd en zij hebben specifieke feedback en hulpmiddelen aangeboden gekregen om hier zelf mee aan de slag te gaan.

CONCLUSIES 1. SAMENHANG TUSSEN CURSUSDOELEN EN TOETSVRAGEN. De centrale vraag achter dit onderzoek was hoe de schriftelijke toetsen van de cursussen in het eerste jaar van de bachelor zich verhouden tot de cursusdoelen zoals die in Osiris zijn geformuleerd. Gebleken is dat de schriftelijke toetsen – zoals verwacht - vooral de leerdoelen op kennis- en begripsniveau toetsen en in beperkte mate ook op toepassingsniveau. Dit is alleen problematisch als het eindcijfer uitsluitend of hoofdzakelijk gebaseerd wordt op de resultaten van schriftelijke toetsen. 2. TOETSEN OP WETEN EN BEGRIJPEN. De tweede vraag was of de BA-1 toetsen zich (te) veel richten op reproductie van kennis en (te) weinig op de hogere cognitieve niveaus? Kijken we in bijlage C naar de balans tussen leerdoelen op de Bloom-niveaus weten en begrijpen en het percentage van het eindcijfer dat aan schriftelijke toetsen wordt ontleend, dan zien we 16 cursussen waarvan op basis van deze gegevens inderdaad gesteld kan worden dat er in meerdere of mindere mate te zwaar getoetst wordt op de lage verwerkingsniveaus. Bij elf van deze cursussen ligt het percentage schriftelijke toetsen meer dan 20procentpunt hoger dan het percentage leerdoelen op de niveaus weten en begrijpen. Voor zes van deze toetsen geldt dat binnen de schriftelijke toets relatief veel op niveau 3+ wordt getoetst. Resteren er dus vijf cursussen waarbij de discrepantie opvallend is. Of de nadruk in de leerdoelen te veel op deze basisniveaus ligt, is ter overweging aan de opleiding. Uit bijlage C blijkt wel dat er in 3 opleidingen opvallend veel met behulp van schriftelijke toetsen wordt getoetst. Uitgaande van didactische theorieën zijn deze verwerkingsniveaus geen garantie voor het structureel beklijven van de kennis; daarvoor is het nodig dat studenten zelf met de materie aan de slag gaan, zodat ze de nieuwe kennis kunnen relateren aan bestaande kennisstructuren en inzicht krijgen in de manier waarop deze kennis ze later (in de studie of in het werkzame leven) tot nut kan zijn. Daarom is het goed om te zien dat in de leerdoelen 41% gericht is op toepassing van kennis op verschillende niveaus (3+). 3. SAMENHANG TUSSEN CURSUSDOELEN EN OPLEIDINGSEINDTERMEN. Uit de gesprekken met coördinatoren/docenten bleek dat de formulering van de leerdoelen niet altijd voldoende de intenties van de cursus weergaven, waardoor de combinatie van toetsvormen niet altijd de juiste was om de leerdoelen te toetsen. Ook bleek dat de formulering van cursusdoelen niet structureel plaatvond in het grotere verband van leerlijnen of de opleiding als geheel. De resultaten van deze analyse geven aanleiding tot een onderzoek naar de samenhang tussen opleidingseindtermen en de leerdoelen van de cursussen binnen de opleiding.

13


4. DE TOETSCOMMISSIE ZELFSTANDIG. Kan de Toetscommissie met de ervaring uit dit project als basis, zelfstandig haar taak ten aanzien van de borging van toetskwaliteit binnen de faculteit vervullen? Op dit punt zijn de projectdoelstellingen niet gehaald. Hoewel twee commissieleden tijd en moeite gestoken hebben in het analyseren van een vijftal toetsen op basis van de taxonomie van Bloom, is het niet gelukt de toetscommissie als geheel, of een afvaardiging, bij het gehele proces van toetsanalyse te betrekken. Belangrijkste oorzaak hiervoor was een gebrek aan tijd die voor het werk voor de toetscommissie beschikbaar is. Hoewel in de Nota Toetsbeleid staat dat de facultaire toetscommissie ‘systematisch toeziet op de toetskwaliteit’ door ‘steekproefsgewijs de kwaliteit van de afzonderlijke toetsen op validiteit en betrouwbaarheid’ (p.11) te onderzoeken, is er in de praktijk nog steeds geen zekerheid over het aantal uren dat de commissieleden hiervoor op jaarbasis worden vrijgeroosterd. De aard van dit type analyse leent zich prima voor gebruik door een toetscommissie, omdat inhoudelijke kennis van het vakgebied geen vereiste is. 5. HEEFT DIT PROJECT DE TOETSCULTUUR BINNEN DE FACULTEIT BEVORDERD? De reacties op dit project zijn overwegend positief geweest en in een flink aantal gevallen zijn docenten zelf aan de slag gegaan met de gegeven feedback. Er is dus een bepaald momentum gecreëerd dat vastgehouden moet worden. Een positieve toetscultuur binnen een faculteit of opleiding betekent dat men vrijelijk discussieert over toetsen, toetsvormen, toetsvragen, dat collegiaal overleg over of collegiale controle op toetsen als standaardprocedure ervaren wordt en niet als brevet van onvermogen of teken van twijfel aan didactische capaciteiten. Het is primair aan de onderwijsdirecteuren om deze sfeer te creëren en te stimuleren. Toetskwaliteit moet regelmatig op verschillende niveaus op de agenda staan en gespreksonderwerp zijn en blijven. Voor de toetscommissie is het belangrijk dat zij zichzelf zichtbaar maakt binnen de faculteit. Het juiste imago is daarbij heel belangrijk. Er moet dus geen beeld bestaan van de toetscommissie als toetspolitie. Zij moet de reputatie verwerven van een professionele commissie, die goed op de hoogte is van alle aspecten van toetskwaliteit, en vanuit die positie een vraagbaak vormen voor collega’s. Het is daarom belangrijk dat de toetscommissieleden snel grote deskundigheid verwerven en zich waar mogelijk profileren bij hun directe collega’s.

DISCUSSIE 1. LEIDEN CURSUSDOELEN TOT EINDTERMEN? In dit project is onderzocht in hoeverre BA-1 cursussen intern consistent zijn ten aanzien van doelen en toetsing. Maar veel consistente cursussen maken nog geen consistente opleiding. Afzonderlijke vakken dienen elkaar in leerlijnen aan te vullen en te versterken. Leerlijnen leiden in combinatie weer tot een samenhangende opleiding. Dit project heeft alleen de BA-1 cursussen bekeken, en kan dus geen uitspraken doen over de opleiding als geheel, maar er kan wel een eerste aanzet gegeven worden tot het analyseren van deze samenhang. Daarmee kan ook de vraag beantwoord worden of BA-1 cursussen te veel nadruk leggen op weten en begrijpen. In bijlage B is een begin gemaakt aan het uitzetten van de leerdoelen van de onderzochte cursussen (peildatum 2011-12) per opleiding tegen de eindtermen van de opleidingen. Door dit schema aan te vullen met leerdoelen uit de verplichte cursussen op niveau 2 en 3, kunnen samenhangende leerdoelen geclusterd worden, en kan een beeld ontstaan van de mate waarin deze leerdoelen samen tot de eindtermen leiden. Afhankelijk van de mate van samenhang, kan vervolgens in clusters van verwante cursussen gekeken worden hoe de cursusdoelen geoptimaliseerd kunnen worden, zodat een heldere leerlijn ontstaat, leidend tot de eindtermen van de opleiding. Keuzecursussen kunnen hier uiteraard in meegenomen worden waar dat van toepassing is. Meerwaarde van een dergelijke exercitie is dat het inzicht in de opbouw van de opleidingen langs logisch samenhangende leerlijnen voor alle betrokken partijen helderder wordt. Dit kan vervolgens ook weer gereflecteerd worden in de wijze van toetsing in de verschillende cursussen, omdat er een duidelijker beeld is wat studenten op welk moment in de studie met de stof moeten kunnen doen. Vaardigheidslijnen kunnen dan ook beter verankerd worden in het curriculum.

14


2. WETEN EN BEGRIJPEN FORMATIEF TOETSEN? Veel docenten droegen aan dat het noodzakelijk was om een bepaalde mate van feiten- en proceskennis te toetsen voordat met de praktijkgerichte opdrachten werd gestart. De vraag is dan alleen of de toetsen waarin deze basiskennis aan de orde wordt gesteld (zo zwaar) mee zouden moeten tellen in het eindcijfer, of dat deze op formatieve wijze kunnen worden afgenomen, zodat de student zich bewust wordt van het feit dat hij essentiële basiskennis al dan niet beheerst. Tussentijd formatief toetsen van basiskennis kan voorkomen dat studenten deelcijfers strategisch gaan inzetten om met minder inspanning een voldoende eindcijfer te behalen. Het is de kunst om de formatieve toets zodanig in te richten dat er een interne motivatie opgeroepen wordt om de stof op dat moment te beheersen. Dit kan bijvoorbeeld een praktijkgerichte opdracht zijn, die alleen goed uitgevoerd kan worden als de basiskennis beheerst wordt. Door de kwaliteit van dit product van invloed te laten zijn op de kwaliteit van de eindtoets (via de aanwezigheid van kennis en ervaring), worden studenten gestimuleerd deze eerste toets ondanks het ontbreken van een cijfer, toch goed te maken. 3. HOE ZWAAR MAG/MOET VELDWERK WEGEN? Veel cursussen bij Geowetenschappen hebben een duidelijke beroepsrichting waaraan praktijktoepassingen gekoppeld kunnen worden; bij de toetsvormen uit de BA-1 cursussen zijn drie keer veldwerkopdrachten terug te vinden. Het gewicht dat aan deze toetsen wordt toegekend varieert echter van 15% tot 40%. Door leerdoelen duidelijk te formuleren in termen van wat een student met de aangeboden stof moet kunnen doen, en (veldwerk)opdrachten zodanig in lijn te brengen dat al die kennis ook aan bod komt, zou het haalbaar moeten zijn om de veldwerkopdrachten zwaarder te laten tellen dan de theoretische basis. De praktische toepassing van de basiskennis kan de studenten stimuleren zich deze tijdig eigen te maken en het actief werken met de basiskennis zal de opgedane kennis beter doen beklijven. Het verdient aanbeveling om deze discussie binnen de faculteit te voeren: hoe kan je veldwerkopdrachten zo formuleren dat het een volwaardige toetsvorm is/kan zijn voor BA-1 cursussen? 4. HOE ZWAAR MAG GROEPSWERK WEGEN ALS TOETSVORM? In een vijftal cursussen worden groepsproducten gebruikt als toetsvorm. De percentages van het eindcijfer die op basis van deze producten verworven worden variëren tussen de 25 en 45%. Het is vooral bij hogere percentages van belang dat goed te achterhalen is wat de individuele bijdrage van studenten geweest is aan het eindcijfer. Het advies is binnen de faculteit de discussie te voeren over het gewicht dat groepswerk in de schaal mag leggen bij individuele beoordelingen. Hoe maak je individuele componenten in/bijdragen aan groepswerk zichtbaar? Mag of moet je differentiëren in cijfers voor een product en hoe onderbouw je dat? Het is van belang om er zorg voor te dragen dat daar binnen de faculteit overeenstemming over bestaat.

AANBEVELINGEN 1. MAAK TOETSING TOT GEMEENSCHAPPELIJK THEMA. De systematische analyse van alle cursussen op BA-1 niveau en de gesprekken met docenten, hebben een bepaald momentum gecreëerd bij docenten om weer eens met andere ogen naar hun eigen toetsen te kijken. De faculteit zou van dit momentum gebruik moeten maken om uitwisseling over toetsing – eigen ervaringen, onderlinge afstemming, discussie over toetsvormen, toetsniveau, toetsanalyse – regelmatig op de agenda te zetten. Dergelijke bijeenkomsten zouden best practices moeten laten bovendrijven, die vervolgens faculteitsbreed zichtbaar gemaakt kunnen worden. 2. MAAK LEERLIJNEN ZICHTBAAR. Cursusdoelen staan niet op zichzelf, maar vormen treden in de richting van de opleidingseindtermen. Om vast te stellen of een cursus op het juiste niveau toetst, moet duidelijk zijn op of rond welke trede van de leerlijn deze cursus zich bevindt en wat er op dat moment van de student verwacht kan en moet worden. Het is aan te bevelen om leerlijnen helder uit te zetten en daar heldere niveauverdelingen voor te formuleren. Dit is van belang voor studenten, docenten, toetscommissie en de opleiding als geheel.

15


3. MAAK TOETSKWALITEIT INZICHTELIJK. Het verdient aanbeveling om de kwaliteit van toetsing faculteitsbreed inzichtelijker te maken. Dit is nodig voor de toetscommissie om haar werk te kunnen doen, maar biedt ook voor opleidingsdirecteuren, opleidingscommissies en docenten meer inzicht in wat de opleiding realiseert. Zorgvuldig formuleren van leerdoelen (gericht op gedrag en verwerkingsniveau) en gebruik van toetsmatrijzen kunnen hierbij goede hulpmiddelen zijn. De handleiding Werken met Bloom-niveaus (bijlage D) kan hierbij behulpzaam zijn. Uiteraard is de taxonomie van Bloom niet de enige methode die gebruikt kan worden om de kwaliteit van leerdoelen te verbeteren en deze hoeft ook niet dogmatisch te worden toegepast. Essentie is dat een leerdoel laat zien wat er van de student verwacht wordt door gebruik te maken van actiewerkwoorden die gedrag en een beheersingsniveau aangeven, specificaties ten aanzien van vakinhoud, voorwaarden waarbinnen het gedrag vertoond moet kunnen worden en een indicatie van ‘goed genoeg’. Een docent of cursuscoördinator moet op papier inzichtelijk kunnen maken hoe de leerdoelen, leeractiviteiten en toetsvormen een samenhangend geheel vormen en welke plaats een cursus in de opleiding inneemt. Hiervoor kan gebruik gemaakt worden van toetsmatrijzen. 4. GEEF TOETSCOMMISSIE TIJD EN RUIMTE. De toetscommissie moet voldoende tijd toegekend krijgen om zo nu en dan op een vergelijkbare systematische manier een cluster toetsen (dat kan een studiejaar/-niveau, een leerlijn of een opleiding zijn) onder de loep te nemen, om op die manier zicht te krijgen op toetsing in groter verband. Als de faculteit wil dat de toetscommissie ‘een deskundige subcommissie van de examencommissie’ is, zoals in de Nota Toetsbeleid staat (p. 14), moeten de leden (niet alleen op papier maar ook in de praktijk) de kans krijgen om deskundigheid te ontwikkelen. Met name in de eerste jaren betekent dat heel veel oefenen met de analyse van verschillende toetsvormen.

BIJLAGEN BIJLAGE A. OVERZICHT INDIVIDUELE CURSUSSEN BIJLAGE B. MATRIX CURSUSDOELEN IN RELATIE TOT EINDTERMEN OPLEIDINGEN BIJLAGE C. OVERZICHT TOETSVORMEN BIJLAGE D. HANDLEIDING WERKEN MET BLOOM-NIVEAUS BIJLAGE E. PROJECTVOORSTEL BIJLAGE F. BRIEF AAN DOCENTEN BIJLAGE G. LITERATUUR BIJLAGE H. CD-ROM MET ANALYSEDATABASE

16

BIJLAGE A. OVERZICHT INDIVIDUELE CURSUSSEN AARDWETENSCHAPPEN GEO1-1101

AW-Systeem aarde, deel 1 Weten - leerdoelen percentages - toetsvragen absoluut percentages verslag excursie (20%) tentamen (80%). Vrijblijvende tussentoets mc-vragen.

GEO1-1103

AW-Wiskunde voor Aardwetenschappen

Begrijpen 40% 46 44%

Weten

- leerdoelen percentages - toetsvragen absoluut percentages 3 tussentoetsen (samen 25%) eindtoets (75%)

AW-Geschiedenis van de aarde Weten - leerdoelen percentages - toetsvragen absoluut percentages Tussentoets (30%) Eindtoets (70%)

Toepassen 0%

0 0%

40%

Synthetiseren Evalueren

20%

0%

0%

57 1 0 0 0 55% 1% 0% 0% 0% docent heeft toetsing aangepast na analyse; toetsing op a: definities, begrippen (niv.1); b: begrip van processen (niv.2/3); c: geologische technieken (niv. 3-6). Poging toetsvragen te formuleren op niv.3.

Begrijpen 25%

Analyseren

75%

Toepassen

Analyseren

0%


0%

0%

0%

19,5 2,5 0 0 89% 11% 0% 0% Het niveau van toetsing spoort met de intentie van de cursus;

0 0%

het kan zinvol zijn om de cursusdoelen in Osiris weer eens kritisch te bekijken.

GEO1-1106

AW-Chemie van de aarde 1 Weten - leerdoelen percentages - toetsvragen absoluut percentages Twee werkgroepopdrachten (samen 20%), tussentoets (30%) eindtoets (50%)

Begrijpen 0% 52 63%

100%

Toepassen

Analyseren

0%


0%

30 0 0 37% 0% 0% Beide toetsen zijn open-boek-tentamens.

0%

0%

0 0%

0 0%

GEO1-1112


33%

Toepassen

Analyseren

33%

28 9 53% 17% NB: wg-opdrachten op niv. 3/4/5


0%

0%

0%

0 0%

0 0%

0 0%

Advies: Leerdoelen formuleren in termen van gedrag.

A/1

BIJLAGE A. OVERZICHT INDIVIDUELE CURSUSSEN

GEO1-1113

AW-Chemie van de aarde 2 Weten Begrijpen Toepassen - leerdoelen percentages 0% 33% - toetsvragen absoluut 20 18 percentages 30% 27% Practica (20%) Tussentoets (30%) Eindtoets (50%)

GEO1-1114

AW-Fysica Weten - leerdoelen percentages - toetsvragen absoluut percentages Opdrachten (15%) Tussentoets (20%) Eindtoets (65%)

GEO1-1115

GEO1-4102

AW-Inleiding sedimentaire geologie Weten - leerdoelen percentages - toetsvragen (statistiek) absoluut percentages AW-Systeem aarde, deel 2 aardoppervlak

Analyseren


67%

0%

0%

0%

29 43%

0 0%

0 0%

0 0% 0

Begrijpen Toepassen

Analyseren


0%

25%

75%

0%

0%

0%

0 0%

1 9%

9 82%

1 9%

0 0%

0 0% 0

Begrijpen

Toepassen

Analyseren


0%

0%

0%

0%

0%

0%

0 0%

0 0%

0 0%

0 0%

0 0%

0 0%

Weten Begrijpen Toepassen Analyseren Synthetiseren Evalueren - leerdoelen percentages 0% 100% 0% 0% 0% 0% - toetsvragen absoluut 30 10 0 0 0 0 percentages 75% 25% 0% 0% 0% 0% practica worden beoordeeld met goed/voldoend/onvoldoende/niet Tussentoets (mc, feiten, 25%) ingeleverd. eindtoets (mc, feiten en inzicht, 50%), practica: Hoogtelijneninterpretatie, rivieren, kustvormen, glaciale vormen, skipiste, structurele geomorfologie, rivierprocessen, kustprocessen, erosieprocessen, presentaties (samen 25%).

A/2

BIJLAGE A. OVERZICHT INDIVIDUELE CURSUSSEN MILIEUWETENSCHAPPEN GEO1-2101

MW-Grondslagen Milieuwetenschappen

Weten

Begrijpen

Toepassen

Analyseren


- leerdoelen percentages - toetsvragen absoluut percentages tentamen (50%) 4 werkcollege opdrachten (20%) paper (30%)

0%

33%

33%

33%

0%

0%

10 8 3 0 0 48% 38% 14% 0% 0% Leerdoelen zijn aangepast aan inhoud voor 2011-12. (4x2, 4, 6, 3) Niv. 3+ komt aan bod in opdrachten en paper (50% eindcijfer).

0 0%

GEO1-2103

MW-Duurzame ontwikkeling Weten Begrijpen Toepassen Analyseren Synthetiseren Evalueren - leerdoelen percentages 0% 100% 0% 0% 0% 0% - toetsvragen absoluut 92 5 0 1 0 0 percentages 94% 5% 0% 1% 0% 0% Alle leerdoelen zijn geformuleerd als 'inzicht krijgen in', niet als gedrag. 2 deeltoetsen (elk 50%); in wc rollenspel; denken vanuit multidisciplinair kader (niet voor cijfer) De complexiteit van de leerdoelen komt niet terug in de schriftelijke toetsing.

GEO1-2104

MW-Inl. openbaar bestuur / bestuursrecht

Weten

Begrijpen

Toepassen

Analyseren


- leerdoelen percentages - toetsvragen absoluut percentages Toets Bestuursrecht (35%) Eindtoets Openbaar Bestuur (35%) Groepspaper (15%) Groepsopdrachten (15%)

50% 3 13%

25%

0%

25%

0%

17 2 0 0 71% 8% 0% 0% In groepsopdrachten ligt de nadruk op niv. 3-6 (analyseren, evalueren, argumenteren, bekritiseren)

0% 2 8%

GEO1-2105

MWOnderzoeksvaardigheden MW 1 Weten Begrijpen Toepassen Analyseren Synthetiseren Evalueren - leerdoelen percentages 10% 20% 40% 10% 10% 10% - toetsvragen absoluut 13 17 14 2 0 0 percentages 28% 37% 30% 4% 0% 0% DT1 (boek) legt basis voor toepassing; Deeltoets 1 (30%) DT2 (oz) bestrijkt het hele proces (incl. toepassing). Deeltoets 2 (25%) OZ-deel is groepsproces; vormt leeuwendeel cursus. Onderzoeksopzet (20%) Presentatie (5%) RT wijkt erg af van DT1+2! Onderzoeksverslag (20%)

A/3


GEO1-2141

MW-Processen in milieucompartimenten

Weten

Begrijpen

Toepassen

Analyseren


- leerdoelen percentages - toetsvragen absoluut percentages 4 kennistoetsen (elk 17,5%) oz-opzet (5%) rapport veldwerk (20%) presentatie veldwerk (5%)

A/4

33% 13 24%

17%

42%

8%

0%

36 5 0 0 67% 9% 0% 0% Toetsen zijn gericht op niv. 1/2. Niv. 3+ komt aan de orde in veldwerkopdrachten. Leerdoelen zijn niet aangeleverd

0% 0 0%

BIJLAGE A. OVERZICHT INDIVIDUELE CURSUSSEN NATUURWETENSCHAPPEN EN INNOVATIE GEO1-2201

NWI-Introductie technologie & innovatie

Weten

Begrijpen

Toepassen

Analyseren


- leerdoelen percentages - toetsvragen absoluut percentages 2 deeltoetsen (elk 40%) presentatie (20%)

NWI-Wiskunde & systeemanalyse Weten - leerdoelen percentages - toetsvragen absoluut percentages werkcolleges, practica (samen 20%) 2 deeltentamens (elk 40%)

13%

75%

0%

13%

0%

0%

33 82,5%

7 17,5%

0 0%

0 0%

0 0%

0 0% 0

GEO1-2202

NWI-Natuurkunde energie & transport Weten - leerdoelen percentages - toetsvragen absoluut percentages 2 deeltentamens (elk 40%) 8 toetsvragen over zelfstudie (20%)


Toepassen

20%

50%

Analyseren 20%

Synthetiseren Evalueren 0%

0%

3 8 5 0 0 11% 30% 19% 0% 0% veel toepassings/ analyse doelen worden ook in wc en pr getoetst.

GEO1-2203

GEO1-2206

?

NWI-Chemie van systeem aarde Weten - leerdoelen percentages - toetsvragen absoluut percentages

Begrijpen

Toepassen

Analyseren


0%

0%

33%

33%

0%

33%

11 34%

7 22%

11 34%

3 9%

0 0%

0 0% 0

Begrijpen

Toepassen

Analyseren


0%

0%

0%

0%

0%

0%

1 0%

0 0%

0 0%

0 0%

0 0%

0 0% 0

A/5


GEO1-2207

NWI-Moleculaire celbiologie & genetica

Weten

Begrijpen

Toepassen

Analyseren


- leerdoelen percentages - toetsvragen absoluut percentages

0%

80%

0%

20%

0%

0%

51 53%

43 44%

3 3%

0 0%

0 0%

0 0% 0

2011: 2 tentamens (80%) assignments (20%)

GEO1-2210

NWI-Humane biologie

Weten

Begrijpen

Toepassen

Analyseren


- leerdoelen percentages - toetsvragen absoluut percentages Presentatie (20%) Poster (10%) 2 tentamens (elk 35%)

GEO1-2216

NWI-Organische chemie

0%

50%

0%

50%

0%

0%

6 18%

25 74%

1 3%

1 3%

1 3%

0 0%

Weten

Begrijpen

Toepassen

Analyseren


- leerdoelen percentages - toetsvragen absoluut percentages Tentamen Organische Chemie (75%) Toets Structuuranalyse en Spectroscopie (open boek; 25%). Wekelijkse oefenvraag voor bonuspunt.

NWI-Micro-economie van innovatie Weten - leerdoelen percentages - toetsvragen absoluut percentages 2 deeltoetsen (elk 50%), of tentamen (100%)

20% 7 28%

40%

10%

30%

0%

11 4 3 0 44% 16% 12% 0% Toelichting suggereert meer dan alleen niveau 1-2 (Osiris)

0% 0 0%

GEO1-2255

A/6


Toepassen 0%

50%

Analyseren 0%


0%

24 15 0 0 0 36% 23% 0% 0% 0% Docent: Er wordt twee keer verwezen naar het 'toepassen' van de micro-economie, omdat aan twee opleidingen wordt gedoceerd, niet omdat dit leerdoel een onevenredig belangrijke plaats in het vak inneemt. Het belang van de leerdoelen kan binnen de fac. beter worden gecommuniceerd.

BIJLAGE A. OVERZICHT INDIVIDUELE CURSUSSEN SOCIALE GEOGRAFIE EN PLANOLOGIE GEO1-3001

SGPL-Inleiding Planologie Weten Begrijpen Toepassen Analyseren Synthetiseren Evalueren - leerdoelen percentages 25% 50% 25% 0% 0% 0% - toetsvragen absoluut 50 30 0 0 0 0 percentages 62,5% 37,5% 0% 0% 0% 0% Leerdoelen zijn te algemeen geformuleerd en suggereren een hoger Deeltoets 1 (25%) niveau dan de praktijk is. groepsproduct (Atelieropdracht) (25%) Eindtoets (50%)

GEO1-3002

SGPL-Inleiding Sociale Geografie Weten - leerdoelen percentages - toetsvragen absoluut percentages

Begrijpen 0% 16 43%

2011: Deeltoets (25%) eindtoets (45%) veldwerk (15%) paper (15%)

SGPL-Statistische analyse Weten - leerdoelen percentages - toetsvragen absoluut percentages schriftelijk tentamen (70%) 2 schriftelijke toepassingsopdrachten (elk 15%)

67%

Toepassen 33%

Analyseren


0%

0%

0%

12 4 4 0 32% 11% 11% 0% Brede basiscursus, met nadruk op concepten en theorieen; de toepassing hiervan gebeurt in het veldwerk en de stadsexcursie/paper (samen 30% van het eindcijfer).

1 3%

GEO1-3003

GEO1-3004

SGPLWetenschappelijke analyse Weten - leerdoelen percentages - toetsvragen absoluut percentages

2011: Schriftelijk werkstuk (85%) opdrachten en presentatie (9%) mc-toets (6%)

Begrijpen 0% 3 13%

50%

52 73%

25%

Analyseren


25%

12 7 1 52% 30% 4% open vragen vormen 80% van het tentamencijfer; mc-vragen vormen 20% van het tentamencijfer

Begrijpen 0%

Toepassen

60%

Toepassen 20%

Analyseren 20%

0%

0%

0 0%

0 0%


0%

19 0 0 0 0 27% 0% 0% 0% 0% De schriftelijke toets vormt maar een zeer kleine component van het eindcijfer (6%) en heeft als primaire functie kennis van de basisbegrippen, noodzakelijk voor de overige opdrachten.

A/7


GEO1-3102

SGPL-Planologie I

Weten

Begrijpen

Toepassen

Analyseren



0% 1 10%

2011: Tentamen (60%) opdracht 1 (kritische analyse 15%) Opdracht 2 (kritische analyse 25%)

100%

0%

0%

0%

9 0 0 0 90% 0% 0% 0% Leerdoelen zijn erg algemeen en op 1 niveau geformuleerd;

0% 0 0%

Aard van de opdrachten suggereert dat 'vertrouwd raken' op diverse niveaus moet worden uitgelegd.

GEO1-3201

SGPL-Economische Geografie I Weten - leerdoelen percentages - toetsvragen absoluut percentages Eindtoets (50%) groepsopdr. (10%+35%) column (5%)

GEO1-3301

SGPL-Stadsgeografie I

Begrijpen 0% 6 18%

Weten

Toepassen

33%

Analyseren

33%


33%

0%

24 2 0 0 73% 6% 0% 0% Docent: liever serieuze discussie over kwal. TT dan koppelen leerdoelen/TT.

Begrijpen

Toepassen

Analyseren

0% 1 3%



0% 2 11%

2011: Schriftelijk (literatuur) tentamen (50%) indiv.literatuurverslag (10%; elders 15%) eindrapportage (groepswerk, 30%) groepspresentatie (10%)

GEO1-3401

40%

60%

0%

0%

0%

13

3

1

0

0

68% 16% 5% 0% 0% Tentamen halverwege de cursus, gericht op kennis en begrip; 2e helft cursus gericht op onderzoekscomponenten: toepassing en combineren theorie en empirie.

SGPL-Regionale & culturele geografie I Weten Begrijpen Toepassen Analyseren Synthetiseren Evalueren - leerdoelen percentages 0% 100% 0% 0% 0% 0% - toetsvragen absoluut 10 45 4 2 0 1 percentages 16% 73% 6% 3% 0% 2% NB: 5e toets (Noordelijk Afrika ontbreekt! Deze wordt in 2011 niet meer Tussentoets in 5 varianten (45-50%), aangeboden; vervangen door Zuidelijk Afrika. opdracht (10%) (groeps)werkstuk (35%) Leerdoelen zijn geformuleerd op niv.2, maar in aanvullende toetsvormen worden presentatie (10%) ook 3, 4 en 6 beoordeeld.

A/8


GEO1-3412

SGPL-Geography of the Netherlands Weten - leerdoelen percentages - toetsvragen absoluut percentages Veldwerkrapport + presentatie (40%) Opdrachten (20%) Eindtoets (40%)

SGPLOntwikkelingsgeografie I Weten - leerdoelen percentages - toetsvragen absoluut percentages tussentoets (50%) eindtoets (50%)

Begrijpen 0% 8 42%

25%

Toepassen 25%

Analyseren 0%


25%

9 1 0 0 1 47% 5% 0% 0% 5% Niv. 3+ komt aan bod in veldwerk en opdrachten. Er wordt gewerkt aan ver-sterken relatie verschillende toetsvormen

GEO1-3501

Begrijpen

Toepassen

Analyseren


0%

100%

0%

0%

0%

0%

25 31%

51 63%

0 0%

5 6%

0 0%

0 0% 0

A/9

BIJLAGE B MATRIX CURSUSDOELEN IN RELATIE TOT EINDTERMEN OPLEIDING Geeft inzicht in de wijze waarop de leerlijnen in verplichte cursussen en keuzecursussen leiden tot de realisatie van de eindtermen van de opleidingen. De eindtermen die per niveau gerealiseerd worden, kunnen een basis vormen voor het formuleren van jaardoelen. De opgenomen cursusdoelen zijn afgeleid uit documenten beschikbaar gesteld t.b.v. de toetsanalyse van BA-1 cursussen in 2011-2012.

Eindterm

Niveau BA-1

Niveau BA-2

Niveau BA-3

BA-Programmadoel

AARDWETENSCHAPPEN

Programma:

-1101 (7,5):Heeft goede basis op gebied van AW; Kan zelfstandig opdrachten uitvoeren d.m.v. practica; is zich bewust van diverse tijdskaders waarin AW-processen plaatsvinden; Kan methodisch werken bij verzamelen en registreren van AW-gegevens in het veld; kan de waarnemingen in een groter ruimtelijk verband plaatsen; Kan verzamelde gegevens analyseren en relateren aan AW-processen op verschillende tijdschalen. (AW 1, 3, 8)

-4117/1118 (15) -

-1325 (7,5) - 1210/1213/1216/4207 verplichte keuze Veldwerk (15) -

AW1: heeft basiskennis van en inzicht in de Aarde als systeem, de afzonderlijke sferen en hun interacties; AW2: heeft basiskennis van en inzicht in de ontwikkelingsgeschiedenis van de Aarde; AW3: heeft meer specifieke kennis en inzicht in één van de subdomeinen van de aardwetenschappen met betrekking tot bijbehorende: structuren en materiële kenmerken; fysische, chemische dan wel biologische processen; ruimte- en tijdschalen; terminologie, nomenclatuur en classificaties; methoden om informatie te verzamelen, interpreteren en modelleren. AW4: kan de verworven elementaire kennis en inzichten gebruiken bij het analyseren en oplossen van eenvoudige vraagstukken; AW5: kan (eenvoudige) onderzoeksvragen formuleren, hypothesen en verklaringen formuleren voor waarnemingen, modellen toepassen voor het testen van hypothesen; AW6: kan onderzoekstechnieken toepassen; AW7: kan informatie uit andere, aan de aardwetenschappen gerelateerde disciplines, met name onderdelen uit de wiskunde/informatica, natuurkunde, chemie en biologie, waar relevant, gebruiken bij aardwetenschappelijke analyses; AW8: kan aardwetenschappelijke gegevens in het veld verzamelen, deze verwerken, analyseren en met elkaar in verband brengen, interpreteren en modelleren, resultaten schriftelijk presenteren in een daarvoor geschikte vorm (bijvoorbeeld kaart of grafiek); AW9: kan een project op zetten, in teamverband hieraan werken, een concrete vraag formuleren, hypotheses opstellen en strategieën aandragen om tot oplossing te komen; AW10: kan relevante aardwetenschappelijke literatuur en informatie opsporen, deze kritisch bestuderen, analyseren, beoordelen en op waarde schatten; AW11: kan schriftelijke werkstukken vervaardigen en mondeling presenteren over het vakgebied en eigen werk in de Nederlandse en Engelse taal, gebruikmakend van de geëigende presentatietechnieken, afgestemd op een gegeven forum; AW12: kan onderdelen uit de informatie- en communicatie-technologie gebruiken ter ondersteuning van vaktechnische vaardigheden. AW13: toont zich bewust te zijn van de invloed en gevolgen van menselijk handelen op het aardse systeem en de noodzaak van een verantwoorde exploitatie en een duurzaam beheer.

-2108 (7,5) -2217 (7,5) -Global climate change (7,5) -

-Milieuwsk adviesproject (7,5) -

MNW1: heeft kennis van en inzicht in het vakgebied de milieunatuurwetenschappen; MNW2: heeft kennis van en inzicht in de theoretische en methodologische grondslagen van de milieunatuurwetenschappen; MNW3: beschikt over algemene academische vaardigheden, in het bijzonder met betrekking tot de milieunatuurwetenschappen; MNW4: is in staat om kennis en inzicht op dusdanige wijze toe te passen, dat dit een professionele benadering van zijn werk of beroep laat zien; MNW5: kan een praktijkvraag of probleem op het vakgebied herformuleren tot een duidelijke en onderzoekbare probleemstelling; de daarin vervatte begrippen op adequate wijze operationaliseren; een onderwerp zowel theoretisch als empirisch bestuderen, in onderlinge samenhang; het resultaat weergeven in een coherent betoog dat wordt afgesloten met een heldere, synthetiserende conclusie; de resultaten gebruiken voor het beantwoorden van de praktijkvraag of het bijdragen aan verheldering en zo mogelijk oplossing van het probleem; vormt een oordeel dat mede gebaseerd is op het afwegen van relevante sociaalmaatschappelijke, wetenschappelijke of ethische aspecten; MNW6: is in staat om informatie, ideeën en oplossingen over te brengen op een publiek bestaande uit specialisten of niet-specialisten; MNW7: bezit de leervaardigheden die noodzakelijk zijn om een masteropleiding aan te gaan.

-4102 (7,5) -1103 (7,5) -1106 (3,75): Heeft inzicht inde historische ontwikkeling van het systeem aarde door de geologische tijd, waarin centraal staat de samenhang tussen plaattectoniek, zeespiegel, klimaat en evolutie. (AW2, 3) -1112 (3,75): Understands the importance of chemistry, when investigating major problems in the geosciences; Knows how some well-known chemical concept scan be applied to the study of the earth. (AW3, 7) -1113 (3,75): Can use chemical principles to understand the functioning of modern and ancient earth surface environments; can perform quantitative chemical calculations; can apply simple models to describe global elemental cycles. (AW2, 3, 5) -1114 (7,5): Kan de fysische oorzaak van een verschijnsel identificeren; kan de belangrijkste fysische principes identificeren die het verschijnsel beïnvloeden; kan de wiskunde die hoort bij deze fysische principes gebruiken om tot een antwoord te komen; kan evalueren of het gevonden antwoord realistisch is; kan bovengenoemde stappen op een heldere en navolgbare manier documenteren. (AW3, 4, 7, 11)

MILIEU-NATUURWETENSCHAPPEN

-1115 (3,75)

-2101 (7,5): kan beschrijving geven vh vakgebied vd NLse milieuwetenschappen en de belangrijkste ontwikkelingen daarin, in termen van het denken over oorzaken van milieuproblemen, het type vraagstukken dat centraal heeft gestaan en de aard van het wsk onderzoek (fundamenteel vs toegepast; disciplinair vs interdisciplinair); kan de belangrijkste vakspecialismen en disciplines in de mnws en mmws typeren en hun mogelijkheden en beperkingen tav het bieden van oplossingsrichtingen voor deze vraagstukken aan te geven; kan de plaats en ontwikkeling van de NL mws schetsen in de mske beleidscontext. -2202 (7,5): Kan omgaan met wiskundige taal; kan eenvoudige functies analyseren, differentiëren en integreren; kan diverse typen diffvgl herkennen en oplossen; heeft kennis van numerieke methoden om diffvgl op te lossen; kan stelsel diffvgl analyseren mbv een faseplaatje; kan zelf eenvoudige diffvgl en modellen opstellen; kan zelfstandig modellen in computersimulaties operationliseren. -2141 (15) -Duurzame ontwikkeling 2103 (7,5): Heeft inzicht in de range van mondiale duurzaamheidsvraagstukken; in het multidisciplinaire karakter van de vraagstukken; in de oorzaken en consequenties van de vraagstukken; in de complexiteit van het proces van zoeken naar oplossingen (incl. de definiëring van het begrip duurzame ontwikkeling); in de ethische en normatieve vraagstukken die daarbij een rol spelen. -2105 (7,5): heeft kennis van belangrijke basisaspecten betr. methoden van empirisch onderzoek; Kan swskldan wel nwsk onderzoek ontwerpen en beargumenteerde keuzes maken voor kwantitatieve en/of kwalitatieve methoden voor de uitvoering van milieuoz; heeft kennis van multidisciplinariteit vd mwsn als vakgebied en is in staat de mogelijkheden en beperkingen van multidisciplinaire ambities te zien; heeft beginnend inzicht in empirische velden in de mwsn; heeft beginnen inzicht in mogelijkheden en beperkingen van diverse milieurelevante disciplines voor het analyseren en oplossen van milieuvraagstukken; heeft kennis gemaakt met wer in interdisciplinair teamverband; is in staat om in woord en geschrift te communiceren over de resultaten van empirisch onderzoek; kan verschillende oztypen en ozontwerpen van elkaar onderscheiden en van kritische kanttekeningen voorzien; kan op heldere wijze een opzet voor empirisch oz schrijven; kan verschillende strategieën voor dataverzameling en –analyse toepassen; kan op adekwate wijze verslag leggen van empirischh ondersoek, op zo’n manier dat middels een logisch gestructureerd en solide betooglijn een afdoende en overtuigend antwoord wordt gegeven op een ozvraag.

B/1

MILIEU-MAATSCHAPPIJWETENSCHAPPEN

BIJLAGE B MATRIX CURSUSDOELEN IN RELATIE TOT EINDTERMEN OPLEIDING - 2101 (7,5): kan beschrijving geven vh vakgebied vd NLse milieuwetenschappen en de belangrijkste ontwikkelingen daarin, in termen van het denken over oorzaken van milieuproblemen, het type vraagstukken dat centraal heeft gestaan en de aard van het wsk onderzoek (fundamenteel vs toegepast; disciplinair vs interdisciplinair); kan de belangrijkste vakspecialismen en disciplines in de mnws en mmws typeren en hun mogelijkheden en beperkingen tav het bieden van oplossingsrichtingen voor deze vraagstukken aan te geven; kan de plaats en ontwikkeling van de NL mws schetsen in de mske beleidscontext. - Duurzame Ontwikkeling 2103 (7,5): Heeft inzicht in de range van mondiale duurzaamheidsvraagstukken; in het multidisciplinaire karakter van de vraagstukken; in de oorzaken en consequenties van de vraagstukken; in de complexiteit van het proces van zoeken naar oplossingen (incl. de definiëring van het begrip duurzame ontwikkeling); in de ethische en normatieve vraagstukken die daarbij een rol spelen.

- 2108 (7,5) - Evaluatie en ontwerp van milieubeleid (7,5) - 2217 (7,5) -

- Milieurecht (7,5) - Milieuwsk adviesproject (7,5) - BA-thesis (7,5) -

-2204 (7,5) -Ozvaardigheden2 I&M (7,5) -2208 (7,5) -Innovation project 1(15) -

-2226 (7,5) -BA-thesis (7,5) -

-Inl. Openbaar bestuur 2104 (7,5): Heeft kennis van de basisconcepten van het bestuursrecht en de bestuurskunde; heeft kennis van de maatschappelijke (mn bestuurlijke en juridische) reacties op zaken van publieke aard, en meer in het bijzonder aangaande milieuproblematiek; heeft kennis van enkele relevante paradigma’s probleemvelden en empirische velden binnen de bestuurlijke en juridische wetenschappen in het algemeen en aangaande het milieu in het bijzonder; heeft kennis over de mogelijkheden en beperking van het recht en de bestuurskunde voor het oplossen van zake van publieke aard, van milieuvraagstukken in het bijzonder; heeft inzicht in de complexiteit van maatschappelijke veranderingsprocessen en kan de verschillende relevante sturingsstrategieën beter onderscheiden en op waarde schatten; is in staat om in woord en geschrift te communiceren over complexe maatschappelijke veranderingsprocessen; kan een globale schets geven van de bestuursinrichting van NL, mede in een internationale context; kan praktijkvraagstukken rondom organisatie en management, politiek en ambtelijke organisatie analyseren en verklaren; heeft inzicht in het huridische systeem, denkwijzen, instrumenten en de structuur van het bestuursrecht; Kan een debat voeren en op een deugdelijke wijze wetenschappelijk argumenteren in woord en geschrift.

• MMW1: heeft kennis van en inzicht in het vakgebied de milieu-maatschappijwetenschappen; • MMW2: heeft kennis van en inzicht in de theoretische en methodologische grondslagen van de

milieumaatschappijwetenschappen; • MMW3: beschikt over algemene academische vaardigheden, in het bijzonder met betrekking tot de milieumaatschappijwetenschappen; • MMW4: is in staat om kennis en inzicht op dusdanige wijze toe te passen, dat dit een professionele benadering van zijn werk of beroep laat zien; • MMW5: kan een praktijkvraag of probleem op het vakgebied herformuleren tot een duidelijke en onderzoekbare probleemstelling; de daarin vervatte begrippen op adequate wijze operationaliseren; een onderwerp zowel theoretisch als empirisch bestuderen, in onderlinge samenhang; het resultaat weergeven in een coherent betoog dat wordt afgesloten met een heldere, synthetiserende conclusie; de resultaten gebruiken voor het beantwoorden van de praktijkvraag of het bijdragen aan verheldering en zo mogelijk oplossing van het probleem; vormt een oordeel dat mede gebaseerd is op het afwegen van relevante sociaalmaatschappelijke, wetenschappelijke of ethische aspecten; • MMW6: is in staat om informatie, ideeën en oplossingen over te brengen op een publiek bestaande uit specialisten of niet-specialisten; • MMW7: bezit de leervaardigheden die noodzakelijk zijn om een masteropleiding aan te gaan.

- 2105 (7,5) : heeft kennis van belangrijke basisaspecten betr. methoden van empirisch onderzoek; Kan swskldan wel nwsk onderzoek ontwerpen en beargumenteerde keuzes maken voor kwantitatieve en/of kwalitatieve methoden voor de uitvoering van milieuoz; heeft kennis van multidisciplinariteit vd mwsn als vakgebied en is in staat de mogelijkheden en beperkingen van multidisciplinaire ambities te zien; heeft beginnend inzicht in empirische velden in de mwsn; heeft beginnen inzicht in mogelijkheden en beperkingen van diverse milieurelevante disciplines voor het analyseren en oplossen van milieuvraagstukken; heeft kennis gemaakt met wer in interdisciplinair teamverband; is in staat om in woord en geschrift te communiceren over de resultaten van empirisch onderzoek; kan verschillende oztypen en ozontwerpen van elkaar onderscheiden en van kritische kanttekeningen voorzien; kan op heldere wijze een opzet voor empirisch oz schrijven; kan verschillende strategieën voor dataverzameling en –analyse toepassen; kan op adekwate wijze verslag leggen van empirischh ondersoek, op zo’n manier dat middels een logisch gestructureerd en solide betooglijn een afdoende en overtuigend antwoord wordt gegeven op een ozvraag.

NATUURWETENSCHAP EN INNOVATIEMANAGEMENT

- 2255 (7,5): Kan basisprincipes van micro-econ toepassen, spec. op vraagstukken uit de innovatiews en milieuws; kan concepten uit innovws omschrijven en toepassen; kan wsk Engelstalig studiemateriaal lezen en verwerken.

B/2

- 2202 (7,5): Kan omgaan met wiskundige taal; kan eenvoudige functies analyseren, differentiëren en integreren; kan diverse typen diffvgl herkennen en oplossen; heeft kennis van numerieke methoden om diffvgl op te lossen; kan stelsel diffvgl analyseren mbv een faseplaatje; kan zelf eenvoudige diffvgl en modellen opstellen; kan zelfstandig modellen in computersimulaties operationliseren. - 2201 (7,5): begrijpt wat innovatie is; kan aangeven wat belang is van innovaties voor onze sl; heeft inzicht in manier waarop innovaties ontstaan als resultaat van interactie tussen ws en technologie enerzijds en sl anderzijds; heeft basisinzicht in manieren waarop sl invloed probeert uit te oefenen op richting waarin innovaties zich ontwikkelen; heeft inzicht in dynamiek van innovatie-processen volgens Utterback model; heeft inzicht in invloed van radicale en disruptieve innovaties op bestaande bedrijven; heeft inzicht in belangrijkste processen die een rol spelen bij diffusie van innovaties; heeft inzicht in aantal cruciale concepten uit innovatietheorie en is in staat deze te gebruiken bij de analyse van een innovatieproces; is beter geëquipeerd om te studeren aan een universiteit. - 2255 (7,5): Kan basisprincipes van micro-econ toepassen, spec. Op vraagstukken uit de innovatiews en milieuws; kan concepten uit innovws omschrijven en toepassen; kan wsk Engelstalig studiemateriaal lezen en verwerken. -

• NWI1: heeft kennis, vaardigheid en inzicht op het gebied van natuur- en innovatiewetenschappen en het bereiken van de eindkwalificaties genoemd in het tweede lid. • NWI2: beschikt over competenties (kennis, vaardigheden en attitudes) ten aanzien van: academisch denken, handelen en communiceren; hanteren van relevant wetenschappelijk instrumentarium; (wetenschappelijk) communiceren in de eigen taal; hanteren van specifieke kennis van een vakgebied in een bredere wetenschappelijke, wetenschapsfilosofische, en maatschappelijk/culturele context. • NWI3: is voorbereid op een verdere studieloopbaan • NWI4: heeft kennis van en inzicht in het vakgebied van de natuur- en innovatiewetenschappen; • NWI5: heeft kennis van en inzicht in de theoretische en methodologische grondslagen van de natuur- en innovatiewetenschappen; • NWI6: beschikt over algemene academische vaardigheden, in het bijzonder met betrekking tot de natuur- en innovatiewetenschappen; • NWI7: is in staat om kennis en inzicht op dusdanige wijze toe te passen, dat dit een professionele benadering van zijn werk of beroep laat zien; • NWI8: kan een praktijkvraag of probleem op het vakgebied herformuleren tot een duidelijke en onderzoekbare probleemstelling; de daarin vervatte begrippen op adequate wijze operationaliseren; een onderwerp zowel theoretisch als empirisch bestuderen, in onderlinge samenhang; het resultaat weergeven in een coherent betoog dat wordt afgesloten met een heldere, synthetiserende conclusie; de resultaten gebruiken voor het beantwoorden van de praktijkvraag of het bijdragen aan verheldering en zo mogelijk oplossing van het probleem; vormt een oordeel dat mede gebaseerd is op het afwegen van relevante sociaalmaatschappelijke, wetenschappelijke of ethische aspecten; • NWI9: is in staat om informatie, ideeën en oplossingen over te brengen op een publiek bestaande uit specialisten of niet-specialisten; • NWI10: bezit de leervaardigheden die noodzakelijk zijn om een masteropleiding aan te gaan.

ALG. ACADEMISCHE VAARDIGHEDEN (VLG. DUBLIN DESCRIPTOREN)

SOCIALE GEOGRAFIE EN PLANOLOGIE

BIJLAGE B MATRIX CURSUSDOELEN IN RELATIE TOT EINDTERMEN OPLEIDING - Inl. Sociale Geografie 3002 (7,5): Is in staat de basisbegrippen en – theorieën van de sociaal-geografische wetenschappen te omschrijven, in een samenhangend kader te plaatsen en toe te passen (tijdens dagexcursie en bij het maken van opdrachten) bij de analyse van nieuwe vraagstukken en situaties; is in staat teksten zelfstandig en kritisch te lezen, eigen standpunten en visies schriftelijk onderbouwd te verwoorden. - Inl. Planologie 3001 (7,5): kan zelfstandig kennis en inzicht verwerven in tradities, concepten en actuele ontwikkelingen in de planologie; verwerft inzicht in de werking van het ruimtelijk beleid in NL in relatie tot de planologische theorie; is in staat de ruimtelijke inrichting waar te nemen en te herkennen.

-Ruimtelijke vraagstukken Eur. (7,5) -Stat. methoden (7,5) -Wsk leeronderzoek (7,5) - Kwalitatieve methoden (7,5) - verplichte keuze (15) -

- BA-thesis (15) - verplichte keuze (7,5) -

- Gebieden in mondiaal perspectief (7,5) - Ruimtelijke vraagstukken NL (7,5) -

-

-

-

Met de opleiding wordt beoogd: • SGPL1: kennis, vaardigheid en inzicht op het gebied van Sociale Geografie en Planolgie en het bereiken van de eindkwalificaties genoemd in het tweede lid. • SGPL2: De student kennis van en inzicht te geven in de belangrijke basisbegrippen van de twee domeinen Sociale Geografie en Planologie. • SGPL3: De student kennis bij te brengen van het vakinhoudelijke begrippenkader van het domein van zijn of haar keuze. • SGPL4: De student te leren om de algemene en domeinspecifieke kennis te plaatsen in een bredere wetenschappelijke en maatschappelijke context en deze toe te passen. • SGPL5: De student kennis bij te brengen van de conventies, methoden en technieken die van belang zijn voor het opzetten, uitvoeren en rapporteren van onderzoek. • SGPL6: De student te leren om van maatschappelijke vraagstukken de planologische en sociaal geografische component te benoemen en daarop te reflecteren. • SGPL7: De student te leren bovengenoemde component(en) te onderzoeken met domeinspecifieke onderzoeksmethoden en de uitkomsten te vertalen naar (beleidsspecifieke) adviezen. • SGPL8: De student bewust te maken van de belangen van actoren bij maatschappelijke vraagstukken en hem/haar te leren dit te betrekken bij de eigen oordeelsvorming over ruimtelijke vraagstukken. • SGPL9: De student te leren om kennis en informatie schriftelijk en mondeling te presenteren. • SGPL10: De student leren zich een leerstrategie eigen te maken die hem/haar in staat stelt zich de stof eigen te maken en aan te wenden voor het beantwoorden van vraagstukken uit het vakgebied. • SGPL11: academische vorming. Hieronder wordt verstaan het ontwikkelen van competenties (kennis, vaardigheden en attitudes) ten aanzien van: - academisch denken, handelen en communiceren; hanteren van relevant wetenschappelijk instrumentarium; - (wetenschappelijk) communiceren in de eigen taal; - hanteren van specifieke kennis van een vakgebied in een bredere wetenschappelijke, wetenschapsfilosofische, en maatschappelijk/ culturele context. • SGPL12: voorbereiding op een verdere studieloopbaan, in het bijzonder op de volgende masterprogramma’s: - Economische Geografie - Geografie: Educatie en Communicatie (educatieve master) - Geo-communicatie - Geographical Information Management and Applications - Human Geography and Planning (selectieve researchmaster) - International Development Studies - Planologie Stadsgeografie/ Urban Geography 2. De afgestudeerde: • SGPL13: heeft kennis van en inzicht in het vakgebied Sociale Geografie en Planologie; • SGPL14: heeft kennis van en inzicht in de theoretische en methodologische grondslagen van Sociale Geografie en Planologie; • SGPL15: beschikt over algemene academische vaardigheden, in het bijzonder met betrekking tot academische vorming, • SGPL16: is in staat om kennis en inzicht op dusdanige wijze toe te passen, dat dit een professionele benadering van zijn werk of beroep laat zien; • SGPL17: kan een praktijkvraag of probleem op het vakgebied herformuleren tot een duidelijke en onderzoekbare probleemstelling; de daarin vervatte begrippen op adequate wijze operationaliseren; een onderwerp zowel theoretisch als empirisch bestuderen, in onderlinge samenhang; het resultaat weergeven in een coherent betoog dat wordt afgesloten met een heldere, synthetiserende conclusie; de resultaten gebruiken voor het beantwoorden van de praktijkvraag of het bijdragen aan verheldering en zo mogelijk oplossing van het probleem; vormt een oordeel dat mede gebaseerd is op het afwegen van relevante sociaal-maatschappelijke, wetenschappelijke of ethische aspecten; • SGPL18: is in staat om informatie, ideeën en oplossingen over te brengen op een publiek bestaande uit specialisten of niet-specialisten; • SGPL19: bezit de leervaardigheden die noodzakelijk zijn om een masteropleiding aan te gaan. • AV1: kan kennis verwerven, interpreteren en conceptualiseren; • AV2: kan informatie analyseren, structureren en synthetiseren; • AV3: is in staat logisch te redeneren, argumenteren en analytisch en kritisch te denken; • AV4: is in staat aangeleerde methoden en technieken op een wetenschappelijke wijze toe te passen bij het oplossen van vraagstukken; • AV5: is in staat wetenschappelijke informatie over te dragen aan zowel vakgenoten als niet-vakgenoten. en daarnaast: • AV6: heeft inhoudelijk begrip van onderzoek in het vakgebied; • AV7: is in staat hun kennis en begrip in bredere wetenschappelijke en maatschappelijke context te plaatsen; • AV8: heeft de leercapaciteiten die nodig zijn als verder (universitair) onderwijs gewenst is; • AV9: toont een wetenschappelijke attitude (objectief, kritisch, etc.) bij het beschrijven, verklaren en voorspellen van verschijnselen; • AV10: is gericht op het zelfstandig bijhouden van ontwikkelingen en nieuwe kennis in hun discipline; • AV11: heeft een reflectieve instelling ten aanzien van eigen functioneren en de eigen ontwikkeling en loopbaan.

B/3

BIJLAGE C.OVERZICHT TOETSVORMEN

Sociale Geografie en Planologie

Natuurwetenschap en Innovatiemanagement

Milieuwetenschappen

Aardwetenschappen

Opleiding

Cursus 1101 1103 1106 1112 1113 1114 1115 4102 Ø 2101 2103 2104 2105 2141 Ø 2201 2202 2203 2206 2207 2210 2216 2255 Ø 3001 3002 3003 3004 3102 3201 3301 3401 3412 3501 Ø

% leerdoelen op weten en begrijpen

% toetsvragen op weten en begrijpen

Schriftelijke toetsen

40% 100% 100% 66% 33% 25%

99% 89% 100% 83% 38% 9%

80% 100% 100% 80% 80% 85%

100% 66% 33% 100% 75% 30% 50% 58% 88% 30% 0%

100% 74% 86% 97% 84% 65% 91% 85% 100% 52% 56%

75% 86% 50% 100% 70% 55% 70% 69% 80% 80% 80%

80% 50% 60% 50% 51% 75% 67% 50% 60% 100% 33% 40% 100% 25% 100% 65%

97% 92% 72% 77% 78% 100% 28% 65% 100% 100% 91% 79% 89% 89% 94% 84%

80% 70% 100% 100% 84% 75% 70% 70% 6% 60% 50% 50% 45% 40% 100% 57%

Groepsopdracht

Veldwerk

Werkgroep opdracht

Practicum

Individuele schrijfopdracht

Presentatie

20%

20% 20% 15% 25% 20%

30%

30% 40% 5%

20%

5% 5% 20%

20% 20% 20% 30%

25% 15%

45% 30% 35% 40%

15% 30% 85% 40% 5% 10% 10% 20%

9%

10% 10%

C/1

BIJLAGE D. HANDLEIDING WERKEN MET BLOOM-NIVEAUS HANDLEIDING WERKEN MET BLOOM-NIVEAUS De taxonomie van Bloom heeft betrekking op het cognitieve domein en omvat het geheel van kennis (van feiten e.d.) tot en met de cognitieve vaardigheden behorende bij kritische reflectie en evaluatie. De taxonomie is in 2000 aangepast door Anderson en Krathwohl, waarbij in de bovenste twee niveaus een omkering heeft plaatsgevonden: synthese en evaluatie werden evaluating en creating. Bij de evaluatie van de bachelor-1 cursussen bij Geowetenschappen is gebruik gemaakt van het oude model van Bloom, aangezien de drie hoogste niveaus doorgaans als 4+ samengenomen blijken te kunnen worden. Er worden zes hoofdcategorieën onderscheiden: kennen, begrijpen, toepassen, analyseren, synthesen, en evalueren. Deze zijn hiërarchisch geordend, d.w.z. dat bij doelen op een hoger niveau (bv. ‘toepassen’, niveau 3) de lagere niveaus (i.c. ‘kennen’ en ‘begrijpen’) zijn inbegrepen. Het begrip ‘hoger’ is niet bedoeld als ‘beter’ of ‘moeilijker’ maar verwijst naar de ordening van niveaus en impliceert dat de onderliggende niveaus daarvoor noodzakelijk zijn. Onderstaande figuur toont de hoofdcategorieën, een korte omschrijving van de kern van elk niveau en bijpassende cognitieve activiteiten.

Figuur . Bloom’s taxonomie (uit: Wood, 2009) Het is aangetoond dat studenten beter studeren/leren als de leerdoelen, de inrichting van het onderwijs en de toetsvormen op een logische manier op elkaar aansluiten. De theorie van Constructive Alignment van John B. Biggs 1 werkt dit principe op een hele doeltreffende manier uit. Twee essentiële principes die hieraan ten grondslag liggen zijn: 1. De student leert op betekenisvolle wijze: nieuwe leerstof wordt verbonden aan bestaande kennis in het geheugen en via reflectie leert hij deze ook te extrapoleren naar toekomstige toepassingen. 2. De docent brengt doelbewust lijn aan tussen de beoogde leerdoelen en de onderwijsactiviteiten (inclusief toetsvormen), zodat de student ook doelgericht kan leren.

1

Biggs, J.B. & Tang, C. (2011) Teaching for Quality Learning at University. (4th edition) Open University Press.

D/1

BIJLAGE D. HANDLEIDING WERKEN MET BLOOM-NIVEAUS Bij constructive alignment is de eerste stap in het ontwerpen van onderwijs het vaststellen van de leerdoelen/cursusdoelen (intended learning outcomes). Die leerdoelen worden heel zorgvuldig geformuleerd: ze bevatten een leeractiviteit in de vorm van een werkwoord. De gedachte hierachter is dat het proces van leren wordt bepaald door wat de student doet, niet door wat de docent doet. Het onderwijs wordt vervolgens ingericht op een manier die in dienst staat van het realiseren van die leerdoelen. De toets moet tenslotte laten zien hoe goed de student zijn leerdoelen heeft gerealiseerd, niet hoe goed hij/zij kan terugrapporteren wat de docent hem/haar heeft verteld. Door gebruik te maken van werkwoorden bij de verwerkingsniveaus van Bloom en de leerdoelen Figuur 2. Model van constructive alignment Bron: http://arc.caut.hku.hk/ConsAlign.html zorgvuldig te formuleren vanuit de gedachte van constructive alignment, kan je vaststellen wat de meest geëigende toetsvorm voor een cursus is. Vervolgens moet je vaststellen welke tussenstappen de student nodig zal of kan hebben om zich in de voorgeschreven periode de leerdoelen eigen te maken.

WAT ZIJN GOEDE LEERDOELEN? HOE KOM JE TOT LEERDOELEN? Voor alle opleidingen zijn eindtermen geformuleerd. Deze zijn vaak afgeleid van een beroepsprofiel en bijbehorende beroepskwalificaties/competenties. Bij de meeste opleidingen zijn deze nader gespecificeerd per jaar of cluster van vakken. Zorg dus dat je weet: - hoe je vak zich verhoudt tot andere vakken in de opleiding - welke algemene vaardigheden en competenties er in je cursus aan de orde moeten komen - Wat het centrale thema van je cursus moet zijn - welke onderwerpen je wilt behandelen - hoeveel tijd je beschikbaar hebt Formuleer: - begrippen, principes en termen die een rol spelen in de cursus en bepaal de onderlinge verbanden. - wat studenten met/van de vakinhoud moeten kunnen en kennen (soorten vaardigheden) - een lijst voorlopige doelstellingen - de relatie tussen de doelstellingen en de studieactiviteiten - de vereisten voor een voldoende prestatie bij toetsen en tentamens - 5-9 leerdoelen op het niveau van de cursus. Orden de leerdoelen in een doordachte volgorde. Formuleer voor je cursus: - Welk waarneembaar eindgedrag verwacht je van de student? - Onder welke omstandigheden wordt dat gedrag verwacht? - Welke factoren bepalen een voldoende beoordeling?  Formuleer op basis van deze taakanalyse de algemene doelen voor de hele cursus.

D/2

BIJLAGE D. HANDLEIDING WERKEN MET BLOOM-NIVEAUS



Splits deze uit naar concrete, meetbare leerdoelen, waarbij je specifieke, actiebeschrijvende werkwoorden gebruikt en inhoud en voorwaarden voldoende afbakent. Bepaal ook wanneer het leerdoel voldoende gerealiseerd is om afgetekend te kunnen worden.

Deze leerdoelen zijn vervolgens leidend voor de invulling het onderwijs. Ze bepalen welke onderwijsactiviteiten nodig zijn om de student de kans te geven de doelen te realiseren. Kijk bij elke activiteit welke ‘materialen’ worden aangeboden en wat er van de student zelf verwacht wordt. WAT IS EEN GOED LEERDOEL? - Een goed leerdoel is specifiek, geeft een goede indicatie van het beheersingsniveau - Een goed leerdoel is onderwijsbaar in de gekozen leeractiviteiten - Een goed leerdoel is toetsbaar met de gekozen toetsvorm - Een goed leerdoel past in de opleiding als geheel, de opleidingsfase en de specifieke cursus. Houd dus rekening met de eindtermen van de programmalijn en de relatie met andere studieonderdelen, vakkenclusters en competentieopbouw. HOE FORMULEER JE EEN GOED LEERDOEL? - Gebruik de juiste werkwoorden om het gewenste beheersingsniveau aan te duiden; bedenk daarbij dat hogere niveaus lagere impliceren (om kennis te kunnen toepassen, moet de kennis gekend en begrepen zijn) - Wees voldoende specifiek ten aanzien van het gewenste gedrag (gebruik een actiewerkwoord dat gedrag aanduidt) - Wees voldoende specifiek ten aanzien van de (vak)inhoud (hiermee perk je de inhoud van de gewenste activiteit in) - Wees voldoende specifiek ten aanzien van de voorwaarden waaronder/waarbinnen het leerdoel gerealiseerd moet kunnen worden (welke middelen mag een student gebruiken om het gedrag te vertonen) - Wees voldoende specifiek ten aanzien van de gewenste prestatie (bv. tijdslimiet, mate van nauwkeurigheid, etc.)

D/3

BIJLAGE D. HANDLEIDING WERKEN MET BLOOM-NIVEAUS HOE MAAK JE DE OPBOUW VAN DE ONDERWIJS EN TOETSING INZICHTELIJK? Om studenten, collega’s en EC’s inzicht te geven in de manier waarop je leerdoelen en toetsvormen samenhangen, kun je gebruik maken van een toetsmatrijs. Deze bestaan in verschillende varianten, waarvan er hieronder een aantal staan aangegeven. De eerste twee matrijzen zijn vormen die bruikbaar zijn voor één toets in een cursus waarin de leerdoelen nog niet geformuleerd zijn in duidelijke actiewerkwoorden volgens de Bloom-niveaus. De derde matrijs gaat uit van leerdoelen waarin een niveau is geformuleerd. Hier kan aangegeven worden in welke mate elk leerdoel in toetsvormen aan bod komt. Het invullen van een toetsmatrijs van type 1 of 2 op basis van een afgeronde cursus kan een docent een goed inzicht geven in de manier waarop de cursus is opgebouwd, maar ook helpen een gevoel te ontwikkelen voor de aspecten van de cursus die het lastig maken de toets in de matrijs te stoppen. Door te experimenteren met verschillende matrijzen, is het mogelijk een vorm te vinden die natuurlijk voelt voor de betreffende cursus. Voorbeeld 1. Deze toetsmatrijs is bedoeld voor het inzichtelijk maken van een toets binnen een cursus, waarvan de leerdoelen nog niet geformuleerd zijn met behulp van actiewerkwoorden die een beheersingsniveau aangeven. Doelen en deelonderwerpen kunnen in de linker kolom worden uitgesplitst. Onder niveau van uitvoering wordt per doel/onderwerp aangegeven hoeveel vragen op elk niveau over het betreffende doel worden gesteld. In de laatste kolom wordt zichtbaar gemaakt hoeveel punten (of een percentage) op dit onderwerp verdiend kunnen worden. In de onderste rij wordt zichtbaar hoeveel vragen er op elk niveau worden gesteld; als het aantal punten per niveau erg uiteen loopt, kan er een rij worden toegevoegd die het te verwerven puntenaantal per niveau zichtbaar maakt. VOORBEELD 1. TOETSMATRIJS DEELTOETS … Naam vak Naam toets Toetsvorm Weging eindcijfer cursus Maximaal toegestane tijdsduur

Doel/onderwerp

Totaal aandeel vragen per niveau

D/4

Niveau van de uitvoering Kennis Inzicht Toepassing

Analyse

Synthese

Evaluatie

15%

10

…%

…%

10%

10%

Aantal vragen per onderwerp

Weging (hoeveel punten?)

20 vragen

100 punten

BIJLAGE D. HANDLEIDING WERKEN MET BLOOM-NIVEAUS Voorbeeld 2 maakt gebruik van een ander type niveau-indeling waarop de stof beheerst kan worden. Ook hier heeft de matrijs betrekking op slechts 1 toets. Voor een cursus met meerdere toetsvormen moeten dan ook meerdere matrijzen worden gemaakt. VOORBEELD 2. TOETSMATRIJS DEELTOETS … Naam vak Naam toets Toetsvorm Weging eindcijfer cursus Maximaal toegestane tijdsduur

Hoofdstuk/onderwerp

Niveau van de uitvoering

Totaal aandeel vragen per niveau

Kennis van belangrijkste concepten

Begrijpen van onderzoeksresultaten

%

%


Weging (hoeveel punten?)

20 vragen

100 punten

Toepassen van theoretische kaders

%

Voorbeeld 3 is een matrijs die op cursusniveau kan worden gebruikt als de cursusdoelen volgens de regelen der kunst zijn geformuleerd. Onder toetsvorm worden de gebruikte toetsvormen ingevuld. Per cursusdoel wordt in de kolom van de betreffende toetsvorm aangegeven in welke mate dit doel binnen deze toets aan de orde komt (= bijdraagt aan het cijfer). Als er geen sprake is van toetsvormen met individuele vragen, kan de voorlaatste kolom worden weggelaten. In de laatste kolom wordt zichtbaar hoe zwaar elk leerdoel binnen de cursus weegt; in de onderste rij wordt zichtbaar hoe de weging van de verschillende toetsen ten opzichte van elkaar is. VOORBEELD 3. TOETSMATRIJS DEELTOETS … Naam vak

Toetsvorm

Cursusdoel (+ niveau)

Totaal aandeel per niveau

MC vraag

Open vraag

Indiv. wc opdracht

Groeps opdracht

Veldwerk opdracht

Paper

%

%

%

%

%

%


Weging (hoeveel punten/%?)

… vragen

… punten/100%

D/5

BIJLAGE E. KORTE PROJECTBESCHRIJVING EMP/Sprint project Analyse van Toetsing Aanleiding van het verzoek: In het 1e jaar van de bacheloropleidingen van de faculteit Geowetenschappen ligt het slagingspercentage van de ongeveer 30 eerstejaars cursussen nogal uiteen. Een terugkerend punt van discussie betreft de aard van de toetsing: is het te moeilijk of te makkelijk, richt de toetsing zich (te veel) op reproductie van kennis en (te) weinig op inzicht en toepassing, etc. Het project Dit project heeft tot doel om beter inzicht te krijgen in de toetsing binnen de 30 eerstejaars (niveau 1) cursussen van onze vijf bacheloropleidingen. De toetsingsvragen van deze cursussen zullen worden beoordeeld in het licht van “Blooms taxonomie”. Er zal worden beoordeeld op welk niveau van Bloom de toetsvragen gericht zijn (feitenkennis, begrip, toepassing, analyse, synthese of evaluatie). Ook wordt gekeken in hoeverre de toetsingsvragen aansluiten bij de leerdoelen van de cursus. Naar aanleiding van de inventarisatie en analyse zullen indien nodig suggesties worden gedaan voor verbetering van toetsvragen. Verder zal binnen dit project een handleiding worden geschreven, waarin het gebruik van de toetsingsvormen op de verschillende niveaus van Bloom helder worden beschreven. De handleiding zal verder concrete handvatten bieden, zoals hoe formuleer je heldere leerdoelen en hoe maak/gebruik je een toetsingsmatrix.

E/1

BIJLAGE F. MAIL AAN DOCENTEN Beste Op verzoek van de vorig jaar opgerichte facultaire toetscommissie GEO, heb ik de toetsen bekeken die u vorig najaar aan Diederik Gussekloo beschikbaar heeft gesteld. Na een onderbreking van een paar maanden is het project weer opgepakt en wil ik graag de laatste gesprekken afronden. In de bijlage vindt u een introductie op het project en mijn analyse van het door u aangeleverde materiaal over uw cursus. Na deze mail stuur ik een datumprikker rond en wil u vragen aan te geven wanneer een afspraak u zou schikken. Tijdens de afspraak (maximaal 1,5 uur) wil ik samen met u naar de uitkomsten kijken. Ik ben immers geen inhoudsdeskundige en heb bovendien geen zicht op de stof zoals die is aangeboden, dus wellicht oordeelt u op een aantal punten anders over het kennisverwerkingsniveau. In de bijlagen vindt u een korte projectbeschrijving en mijn analyse. Als u wilt, kunt u die ter voorbereiding al inkijken, maar dat is niet noodzakelijk.

Leeswijzer bij de analyse: Ik heb de leerdoelen, zoals die bijgevoegd waren en de toetsvragen geanalyseerd op het kennisverwerkingsniveau waarop ze geformuleerd zijn. In grote lijnen zijn deze niveaus 1. Reproduceren; 2. Begrijpen; 3. Toepassen in een nieuwe situatie; 4. Analyseren; 5. Synthetiseren (creëren van nieuwe combinaties uit diverse bronnen); 6. Evalueren (kritisch beschouwen van relatieve waarde). Aangezien het om vakken uit het eerste jaar gaat, was de verwachting dat in de schriftelijke toetsen met name niveaus 1-3 aan bod zouden komen. Vervolgens zijn de niveaus van de leerdoelen naast die van de toetsvragen gezet (in percentages), waardoor inzichtelijk gemaakt wordt in hoeverre doelen en getoetste kennis op hetzelfde niveau liggen. (NB. We hebben alleen naar de schriftelijke toetsen gekeken, dus het is mogelijk dat bepaalde verwerkingsniveaus wel in andere opdrachten worden aangesproken. Hier wordt bij de eindrapportage rekening mee gehouden.) De analyse zegt dus niets over de kwaliteit van de vragen of de leerdoelen, maar geeft primair een indicatie of er in grote lijnen getoetst wordt op hetzelfde niveau als de gestelde leerdoelen. De ervaring binnen het Centrum voor Onderwijs en Leren (voorheen IVLOS), is dat docenten met dit type analyse van hun eigen toets anders naar hun leerdoelen en toetsvragen gaan kijken en op basis van de werkwoorden die aan de niveaus gekoppeld zijn, ook makkelijker vragen op een ander niveau kunnen formuleren. Met vriendelijke groet, Barbara Allart

F/1

Analyse van toetsing 1e jaar Geowetenschappen

Recommend Documents