Herstelplan BA Archeologie en prehistorie Rapportage t.b.v. Visitatiecommissie Geesteswetenschappen Betreft:
Faculteit der Geesteswetenschappen, UvA Departement Geschiedenis, Archeologie en Regiostudies Opleiding: BA Archeologie en prehistorie
1. Inleiding Na de visitatie van de opleidingen Archeologie van de Faculteit der Geesteswetenschappen (dd. 21-22 mei 2013) heeft de commissie in een eerste reactie de opleiding BA Archeologie en Prehistorie geen voldoende gegeven voor Standaard 3. Deze conclusie is bevestigd in de uiteindelijke rapportage van de commissie, dd. 25 oktober 2013. Dit was met name gebaseerd op de naar het oordeel van de commissie structureel te hoge beoordeling van de bachelorscripties, waaronder één geval van een scriptie die geen voldoende had mogen krijgen. Daarnaast werd gewezen op een gebrek aan structurele kwaliteitscontrole van de toetsing. In het voorliggende herstelplan wordt allereerst een nadere probleemanalyse gemaakt. Vervolgens wordt geschetst welke maatregelen ter verbetering reeds zijn genomen voor aanvang van en in de loop van het studiejaar 2013/14 en komen de aandachtspunten aan de orde waarop nadere actie geboden wordt geacht. Tot slot worden de genomen en voorgestelde maatregelen in schema samengevat. 2. Probleemanalyse In haar rapportage stelt de commissie bij de BA Archeologie en prehistorie met name het volgende probleem aan de orde: de bachelorscripties zijn structureel te hoog gewaardeerd, waarbij verschillende scripties die met een voldoende zijn beoordeeld in het grensgebied tussen onvoldoende en voldoende thuishoren en één scriptie met een voldoende beoordeeld is die naar mening van de commissie een onvoldoende had moeten krijgen. Inhoudelijk vindt de commissie veel scripties te beschrijvend van aard, waardoor er ook te weinig interactie tussen beschrijving en interpretatie is. De commissie wijst verder op het belang van de examencommissie en van goede beoordelingsformulieren, die beoordelingen inzichtelijk en consistent kunnen maken. Daarnaast wijst de commissie erop dat er meer in het algemeen nog geen sprake is van structurele kwaliteitscontrole van de toetsing. In de onderzochte situatie, zo constateert de commissie, kan de opleiding onvoldoende aantonen dat de studenten de beoogde eindkwalificatie halen. De commissie spreekt wel het vertrouwen uit dat de stappen die op het moment van de visitatie al genomen zijn in de begeleiding en beoordeling van de scripties het op korte termijn mogelijk zouden moeten maken dat de opleiding een voldoende behaalt in standaard 3. 3. Reeds genomen maatregelen Als gevolg van het nieuwe facultaire toetsbeleid heeft de opleiding al met ingang van het studiejaar 2012-2013, dat nog aan de gang was ten tijde van de visitatie, de volgende maatregelen genomen Alle bachelorscripties worden beoordeeld door twee docenten die beiden hun oordelen expliciet maken door gebruikmaking van een beoordelingsformulier waarin diverse aspecten met betrekking tot de eindtermen aan de orde komen (zie bijlage 1). Deze formulieren worden onafhankelijk van elkaar ingevuld, en pas daarna door beide begeleiders bekeken om tot een gezamenlijk eindoordeel te komen. Indien het verschil tussen de twee oordelen 1.5 punt of hoger bedraagt, of de grens tussen voldoende of onvoldoende overschrijdt, wordt een derde 1
docent, zo mogelijk de BA-coördinator of het hoofd van de opleiding, geconsulteerd. Dit alles heeft als bijkomend voordeel dat er kennisuitwisseling plaatsvindt en debat ontstaat tussen docenten over de beoordelingscriteria. In het maandelijkse docentenoverleg, waar in principe alle docenten aan deelnemen, is een aantal keren over het niveau en de inhoudelijke kwaliteiten van de scripties, de relatie van de doelstellingen van de scriptie en de eindtermen en de wijze van begeleiding en becijfering gesproken. Ook het concept van het beoordelingsformulier (en daarmee ook de parameters die beoordeeld worden en de doelen van het formulier) is besproken. In dit proces zijn de conclusies van de visitatiecommissie (ook die over het theoretisch en interpretatief gehalte van de scripties) en oplossingen voor gesignaleerde problemen expliciet aan de orde gekomen. Uiteraard is er daarbij ook gereflecteerd op het onderwijs voorafgaand aan de scriptie, dat immers de relevante vaardigheden en de benodigde onderzoekende, reflectieve benadering moet aanleren. Met ingang van het studiejaar 2013-2014 zijn daarnaast, mede op basis van het overleg in het docentenoverleg, adviezen uit de opleidingscommissie, en in overleg met de examencommissie, de inhoud en het tijdschema van de (verplichte) scriptiewerkgroep die het schrijfproces begeleidt aangepast (zie Bijlage 2). Dit houdt onder meer het volgende in: De scriptiewerkgroep, formeel in blok 5-6, wordt voorafgegaan door een aantal verplichte bijeenkomsten in blok 3 en 4, waarin de studenten aan het werk worden gezet en hun eerste feedback krijgen. Studenten blijven vrij hun eigen onderwerp en begeleider te kiezen, maar krijgen meer informatie over mogelijke onderwerpen en begeleiders, waarbij ook nadrukkelijk aandacht wordt gegeven aan de inhoudelijke kwaliteiten die verwacht worden. Binnen de scriptiewerkgroep wordt actiever gestuurd op intervisie tussen studenten met verwante onderwerpen. De studiehandleiding van scriptie en scriptiewerkgroep is uitgebreid, onder andere met uitgebreidere richtlijnen, een gedetailleerder (en strakker) tijdschema, en een voorbeeld van het beoordelingsformulier. Deadlines van de eerste versie en de definitieve versie zijn explicieter gemaakt, en er wordt (ook in de werkgroep) duidelijker omschreven wat er op beide momenten moet worden ingeleverd. Er is ook een formele herkansingsprocedure ingesteld, met een duidelijke procedure en deadline. Voor wat betreft de structurele kwaliteitscontrole van de toetsing in het algemeen moet opgemerkt worden dat dit onderwerp een belangrijk onderdeel is van het in 2012-2013 deels ingevoerde en inmiddels volledig geïmplementeerde facultaire toetsbeleid (zie ook bijlage 3). Verschillende vormen van intervisie binnen het docententeam en (steekproefsgewijze) controle van toetsen door de examencommissie zijn opgenomen in dit reglement. Daarbij zijn diverse checklists geformuleerd, zowel voor het maken van toetsen als voor het (al dan niet via intervisie) beoordelen ervan (zie bijlage 4). Deze documenten zullen door de opleiding gebruikt worden bij het verder afstemmen van toetsing en de inhoud van het curriculum. Het onderwerp toetsing wordt ook regelmatig geagendeerd in het docentenoverleg.
2
4. Verdere stappen In het voorjaar van 2014 zal nogmaals een docentenoverleg aan de inhoud en het niveau van de scripties in relatie tot de eindtermen en de becijfering worden gewijd. Jaarlijks zal de opleiding op basis van de gegevens uit de beoordelingsformulieren de bachelorscripties per cohort in een docentenvergadering evalueren zodat de opleiding, en waar nodig individuele docenten, de werkwijze kunnen aanpassen. Het model van de scriptiewerkgroep voor de cursus 2013-2014 staat vast, maar de opleiding beraadt zich op verschillende andere modellen op basis van discussie hierover in de faculteit en een analyse van best-practices binnen en buiten de Universiteit van Amsterdam. De examencommissie beoordeelt per 2013-2014 de beoordeling van de scripties steekproefsgewijs. Middels terugkoppeling naar de opleiding/docenten ontstaat zo een systeem dat de toetskwaliteit waarborgt en condities voor verdergaande consensus m.b.t. de normering schept. Tenslotte wordt er momenteel in samenwerking met de collega’s van de VU hard gewerkt aan de voorbereidingen van een nieuw BA-programma Archeologie, in de bredere context van het Amsterdam Centre for Ancient Studies and Archaeology (ACASA), waarin ook de Klassieke Talen, Oudheidkunde en (ten dele) Religiestudies en Oude Geschiedenis participeren. Dit programma moet van start gaan in zomer 2016. Nadenken over de eindtermen, doelstellingen en inhoud van een nieuw programma is natuurlijk ook een vorm van intervisie en reflectie op het huidige programma, en heeft inmiddels al geleid tot enkele kleine aanpassingen aan lopende modules. 5. Samenvatting De bovenstaande maatregelen kunnen als volgt in schema worden gezet: Actie Tweede beoordelaar bij alle BA scripties, inclusief regels bij verschillende beoordelingen Beoordelingsformulier met meerdere beoordelingscriteria Aanpassing scriptiewerkgroep, inclusief tijdschema voorbereiding en schrijfproces, en aandacht voor inhoud in relatie tot eindtermen. Brede discussie m.b.t. BA scriptie Jaarlijkse evaluatie BA scripties Implementatie facultair toetsbeleid met diverse vormen van intervisie en controle Voorbereiding op nieuw
Verantwoordelijk Examencommissie GARS, stafleden Archeologie
Tijdpad Vanaf 2012-2013
Examencommissie GARS, stafleden Archeologie, in overleg met Opleidingscommissie Stafleden Archeologie, in overleg met Opleidingscommissie en Examencommissie GARS Stafleden Archeologie, Opleidingscommissie Stafleden Archeologie, deels Examencommissie GARS Examencommissie GARS, stafleden Archeologie
Vanaf 2012-2013
Stafleden Archeologie, in
Vanaf eind 2013
3
Vanaf 2013-2014
Zomer 2013-Voorjaar 2014 Vanaf zomer 2014 Vanaf begin 2013
programma (ingaande 2016)
overleg met Opleidingscommissie
4
Bijlage 1:
Beoordelingsformulier bachelorscriptie Archeologie en prehistorie 2013-2014 Naam student Studentnummer Begeleider Tweede lezer Ingevuld door Titel scriptie Studiepunten
12
Vakcode
110219002
Datum van voltooiing scriptie Invuldatum van dit formulier Onderzoeksvaardigheden (Probleemstelling en beantwoording; verantwoording onderwerp; theoretisch en/of interpretatief gehalte; afbakening; verband beschrijving en conclusies; referenties en verwijzingen)
20%
Archeologische gegevens (volledigheid literatuurlijst; organisatie en presentatie gegevens; reflectie op archeologische gegevens; kwaliteit interpreterende conclusies)
30%
Betoog (hoofdstukindeling; theoretisch kader; helderheid en kwaliteit betoog; argumentatie)
30%
Vormgeving (taal, grammatica, keuze afbeeldingen, opmaak)
20%
Opmerkingen
Eindcijfer
Scriptiecijfer (80%) Werkgroepcijfer (20%) 5
Bijlage 2:
Studiehandleiding bachelorscriptie Archeologie en prehistorie 2013-2014 Administratieve gegevens Studiegidsnummer 110219002Y Ingangseis propedeuse Archeologie en prehistorie Periode(n) semester 2 blok 5 en 6 Onderwijsinstituut Geschiedenis, archeologie en regiostudies Verzorgd door Leerstoelgroep Amsterdams Archeologisch Centrum Docent(en) mw. dr. H. van Londen Inlichtingen Onderwijsadministratie GARS Onderdeel van Bachelor Archeologie en prehistorie Leerdoel Het verrichten van een klein zelfstandig onderzoek, dat op zijn minst een kritische en interpreterende bespreking van voor de problematiek relevante vakliteratuur en archeologische en historische gegevens bevat, die uitkomt op een beargumenteerd eigen standpunt. Het resultaat moet een wetenschappelijk verantwoorde tekst zijn van ongeveer 10.000 woorden exclusief annotatie. Inhoud Het volgen van een voorbereidende werkgroep en het schrijven van een bachelorscriptie. De werkgroep beslaat 1 compleet semester, waarbij de grootste studielast ligt in blok 5 van 31 maart t/m 23 mei 2014 en blok 6 van 2 juni t/m 20 juni 2014. De onderwerpkeuze en het vinden van een begeleider vindt plaats voorafgaand aan blok 5. Daartoe worden in blok 3 en 4 elk een ondersteunende werkgroepbijeenkomst georganiseerd. De voorbereiding wordt afgesloten met één werkgroep in de UB gericht op het verzamelen van passende literatuur. Voor de eerste zitting kiezen alle studenten het hoofdonderwerp van hun scriptie, ofwel door te kiezen uit een door de onderwijsstaf vooraf verzorgde lijst thema's, ofwel door zelf een onderwerp te kiezen. De thema’s op de lijst zijn gekoppeld aan individuele docenten, die als inhoudelijke begeleider fungeren. Studenten die zelf een onderwerp verzinnen moeten daarbij vóór de eerste zitting ook een geschikte begeleider weten te vinden. Begeleiders mogen in totaal niet meer dan 5 studenten begeleiden, verdeling volgens het principe “wie het eerst komt wie het eerst maalt”. In blok 3 en 4 komt men, naast de gesprekken met de individuele inhoudelijke begeleider, 3 maal bijeen en sluit men deze sessies af met een voorlopige opzet van het scriptieonderwerp, vraagstelling en literatuurlijst. In het vijfde blok komt men viermaal bijeen met een groep studenten die met verwante (of zo verwant mogelijke) onderwerpen bezig zijn en heeft men minstens één individuele bespreking met de begeleidende docent (blok 5, week 3) waarin het onderzoeksontwerp van de scriptie wordt besproken. Het idee is dat de student in blok 5 (week 1-4) onder begeleiding van de werkgroep-docent en de intervisie van mede-studenten, en met assistentie van zijn inhoudelijke begeleider, zijn/haar ontwerp formuleert en aanscherpt en door dit alles enerzijds een inhoudelijke basis opbouwt en anderzijds de structuur van het betoog opzet, die dan in het vervolg van dit blok (week 5-8 + tentamenweek) kan worden ingevuld. Onderwijstijden en -lokatie Blok 5: Dinsdag 13-15 uur, BG 2.05
6
Toetsvorm en beoordeling • Participatie in de werkgroep, dit betreft 20% van het eindcijfer, en moet minimaal een voldoende zijn (5,5). Becijfering vindt plaats via de volgende criteria: - opdrachten ingeleverd (deze dienen van niveau te zijn) - actieve deelname aan intervisie - behalen deadlines • De scriptie draagt voor 80% bij aan het eindcijfer, en moet ook minimaal een voldoende zijn (5,5). Bij de beoordeling van de scriptie wordt gekeken naar: onderzoeksvaardigheden, de (reflectie op) archeologische gegevens, de kwaliteit van het betoog en aspecten van vormgeving en tekstredactie. Een preciezere omschrijving van de punten waarop beoordeeld wordt, en hun relatieve gewicht, is te vinden in het bijgevoegde beoordelingsformulier. Met name het onderzoekende karakter van de scriptie (aanwezigheid van een probleem, reflectie daarop en interpreterende conclusies) weegt zwaar. Gemiste colleges: het is mogelijk een opdracht in blok 5 te missen, mits deze voor het eind van het blok alsnog is ingeleverd. Bij het missen van twee of meer opdrachten en/of colleges volgt een aanvullende opdracht, maar ook dan moeten voor het einde van blok 5 alle reguliere wekelijkse opdrachten ingeleverd zijn. Als die als voldoende worden beoordeeld krijgt de student alsnog een voldoende voor de participatie in de werkgroep. Herkansing scriptie: Deze kan zo nodig aan het einde van blok 6 (in dezelfde periode als de andere herkansingen) herschreven worden mits de student een voldoende heeft voor de participatie in de werkgroep. Planning Startbijeenkomst eerste voorbereidende werkgroep - blok 3 week 4 Inleiding op de module; aspecten van het doen van onderzoek en het schrijven van een scriptie; algemene literatuurtips. Inventarisatie scriptieonderwerpen en verdeling studenten naar thema's: een deel van de werkgroep zal plaatsvinden in kleinere groepen van studenten die aan zo veel mogelijk aan elkaar verwante onderwerpen werken. Samenstelling intervisie-duo's: studenten zullen wekelijks in wisselende samenstelling schriftelijk commentaar geven op elkaars werk). Opdrachten: 1) in te leveren voor donderdag 20 februari, 24.00 uur via e-mail aan docent en je intervisie-partner: een korte omschrijving van het thema van je scriptie (ca. 10 regels). 2) in te leveren voor zondag 23 februari, 24.00 uur via e-mail aan docent en je intervisie-partner: commentaar en tips voor je intervisie-partner (ca. 10 regels). Het onderwerp en je begeleider individuele voorbereiding- blok 4 week 2 Sparren over het scriptieonderwerp met begeleiders en/of werkgroepleider op afspraak. De vraagstelling tweede voorbereidende werkgroep - blok 4 week 4 Introductie over soorten vraagstellingen. Maak je gebruik van een beschrijvende, vergelijkende, verklarende of beoordelende vraagstelling? Valkuilen bij het maken van een vraagstelling. Opdrachten: 7
1) in te leveren voor donderdag 26 maart, 24.00 uur via e-mail aan docent, je intervisie-partner en je groepsgenoten: een eerste versie van je vraagstelling (ca ½ A4). 2) in te leveren voor zondag 30 maart, 24.00 uur via e-mail aan docent en je intervisie-partner: commentaar en tips voor je intervisie-partner. 3) zorgen voor feedback van je scriptiebegeleider (via een gesprek of desnoods per e-mail). Literatuur zoeken bij je onderwerp UB practicum - blok 4 week 6, twee mogelijkheden - door Ewa Zakrzewska Samenstellen bronnenlijst en update bibliotheek. Theorie over het zoeken, verwerken en annoteren van literatuur. Bespreking onderwerpskeuze. Opdrachten: 1) in te leveren voor donderdag 26 maart, 24.00 uur via e-mail aan docent en je intervisie-partner: een lijst van minimaal 10 bronnen, met een korte omschrijving van ieder (ca. 5-10 regels per stuk). 2) in te leveren voor zondag 30 maart, 24.00 uur via e-mail aan docent en je intervisie-partner: commentaar en tips voor je intervisie-partner. Het ontwerpen van je onderzoek eerste werkgroep college - blok 5 week 1 Informatie over het maken van een onderzoeksontwerp en andere algemene tips (werkwijze, maar ook citeren, bronverwijzingen e.d.). Bespreking vraagstellingen (deels in groepen) en voortgang feedback door begeleider. Denk hierbij ook na over de inhoudsopgave van je werkstuk, wat wil je vertellen in je scriptie? Blijf literatuur zoeken en scherp je vraagstelling aan. Bespreking literatuur (per groep). Aangezien iedere student literatuurlijsten met toelichting heeft gemaakt, en als het goed is ook verder heeft rondgekeken, zou onderlinge uitwisseling van informatie nuttig moeten zijn. Opdrachten: 1) in te leveren voor donderdag 3 april, 24.00 uur via e-mail aan docent, je intervisie-partner en je groepsgenoten: een eerste versie van je onderzoeksontwerp (ca. 5 pagina's). 2) in te leveren voor zondag 6 april, 24.00 uur via e-mail aan docent en je intervisie-partner: commentaar en tips voor je intervisie-partner. Presentaties van onderzoeksontwerpen tweede werkgroep college - blok 5 week 2 Opdrachten: 1) in te leveren voor donderdag 10 april, 24.00 uur via e-mail aan docent, je intervisie-partner en je groepsgenoten: een verbeterde versie van je onderzoeksontwerp (ca. 5 pagina's). 2) in te leveren voor zondag 13 april, 24.00 uur via e-mail aan docent en je intervisie-partner: commentaar en tips voor je intervisie-partner. Individuele bespreking voor bijgestelde ontwerpen Individuele bespreking - blok 5 week 3 Bespreking van het verbeterde onderzoeksontwerp voor wie dat nodig is. Als je ontwerp goed is mag je alvast aan de slag met het schrijven! De hoofdlijn van je betoog derde werkgroep college - blok 5 week 4
8
Introductie argumentatie: Informatie over verschillende soorten van argumentatie (opnieuw Academische Vaardigheden voor gevorderden). Opdrachten: 1) In te leveren voor donderdag 17 april, 24.00 uur via e-mail aan docent, je intervisie-partner en je groepsgenoten: schrijf de argumentatiestructuur van je scriptie uit (in een schema en/of in lopende tekst). 2) in te leveren voor zondag 19 mei, 24.00 uur via e-mail aan docent en je intervisie-partner: commentaar en tips voor je intervisie-partner 3) Zorgen voor feedback van je scriptiebegeleider (via een gesprek of desnoods per e-mail). Schrijven Blok 5 Week 5 t/m 8 incl. tentamenweek (5 weken) Individueel schrijven, wekelijks de mogelijkheid tot inloop bij werkgroepbegeleider. DEADLINE EERSTE VERSIE Deadline inleveren: maandag 2 juni 9.00 uur Deadline feedback van docenten op eerste versie: 13 juni 17.00 uur Verbeteren in één week Blok 6 week 3 Verbeteren eerste versie van de scriptie. DEADLINE EINDVERSIE Deadline inleveren: maandag 23 juni 2014 Deadline feedback van docenten op eerste versie: 27 juni 2014 DEADLINE HERKANSING Indien het uitzonderlijke geval voorkomt dat de definitieve versie van de scriptie een onvoldoende is, is er een laatste mogelijkheid tot herschrijven. Deadline inleveren herkansing: 3-7-2014 Deadline beoordeling herkansing: 4-7-2014
Beoordelingsformulier bachelorscriptie Archeologie en prehistorie [weggelaten, zie Bijlage 1]
9
Bijlage 3: Kwaliteitsborging van toetsen FGw
Kwaliteitsborging van toetsen Bij de kwaliteitsborging toetsen zijn diverse mensen betrokken: De examinator (voor het vak verantwoordelijke docent of de vakcoördinator) is verantwoordelijk voor het ontwikkelen van kwalitatief goede toetsen. •
De programmateamleider is verantwoordelijk voor het toetsprogramma van de gehele opleiding en de afstemming tussen toetsvormen, leerdoelen en eindtermen. •
De examencommissie is verantwoordelijk voor de kwaliteitsborging van toetsing binnen de opleiding en ontwikkelt daarvoor een toetsprocedure. •
Peer review De examinator maakt bij het ontwikkelen van een nieuwe toets gebruik van peer review of een andere wijze van controle op de validiteit en betrouwbaarheid. Hierbij gaat het om validiteit en betrouwbaarheid zoals omschreven in het universitaire Kader toetsbeleid. De programmateamleider faciliteert peer review, bijvoorbeeld door dit punt te beleggen in een bepaalde vergadering van het programmateam en de gezamenlijke bespreking van toetsen een aantal maal per jaar te agenderen. De examencommissie informeert jaarlijks bij de programmateamleider(s) op welke wijze peer review binnen de opleiding gefaciliteerd wordt en rapporteert hierover in het jaarverslag. Bij het afnemen van toetsen met multiple choice vragen worden statistische data gegenereerd. Om dit proces te ondersteunen is de qDNA-tool ontwikkeld, waarmee docenten deze data kunnen interpreteren. Eindverantwoordelijkheid examinatoren De examencommissie benoemt jaarlijks de examinatoren. In het reglement van de examencommissie is vastgelegd aan welke voorwaarden een examinator dient te voldoen en op welke wijze benoeming van de examinatoren geschiedt. De examinator draagt er zorg voor dat zijn toetsen voldoen aan de kwaliteitscriteria. Evaluatie van de toetsing van een opleiding De programmateamleider evalueert jaarlijks in een vergadering van het programmateam het toetsprogramma van de opleiding. De examencommissie controleert steekproefsgewijs de kwaliteit van de toetsing van vakken door middel van beoordeling van de toetsdossiers en de evaluatie van de programmateamleider. Een examencommissie stelt daarvoor een toetsprocedure vast. Zo kan de commissie er voor kiezen om zelf zorg te dragen voor kwaliteitscontrole, of om dit uit te besteden aan een daarvoor ingestelde toetscommissie of externe partij. Indien gebreken in de toetskwaliteit worden geconstateerd, stelt de examencommissie de betreffende examinator op de hoogte, evenals de betreffende
10
programmateamleider en departementsvoorzitter, en volgen nadere afspraken over het verhogen van de toetskwaliteit.
11
Bijlage 4: Checklist Toetsen en Beoordelen FGw, Praktische Informatie Toetsing en Peer Review Toetsing
12
13
14
