Verschilt de toegevoegde waarde van het intern rendement van scholen in het voortgezet onderwijs? Enkele kanttekeningen bij het Trouw-onderzoek Schoolprestaties 1998.1 J. Dronkers SCO-Kohnstamm Instituut, Universiteit van Amsterdam
1. Inleiding Meting van kwaliteit van scholen: 4 dimensies: intern rendement, extern rendement, sociaal-culturele vorming, sociale integratie Alleen eerste twee dimensies passen in de grondwettelijke deugdelijkheidseisen: bewaking van de gelijkwaardigheid van gesubsidieerde en openbare scholen. Op dit moment alleen intern rendement beschikbaar. Maar sociale integratie, uitgedrukt als het multiculturele karakter van een school behoort tot de mogelijkheden (zie Mariën, 1997). Proceskenmerken (welzijn leerlingen, kwaliteit organisatie) zijn geen kwaliteitsdimensies, maar randvoorwaarden. 2. De meting van het totaal rendement Het verschil tussen een analyse met geaggregeerde data en multi-level analyse met kenmerken van individuele schoolloopbaan gegevens: 1. geaggregeerde gegevens zijn wel beschikbaar als inspectiegegevens, individuele schoolloopbaangegevens over alle scholen niet; 2. geaggregeerde gegevens kunnen de vraag beantwoorden “hoe hoog het intern rendement van een school is vergeleken met die van scholen met een vergelijkbare leerlingpopulatie”, multilevel-analyse geeft antwoord op de vraag wat “de gemiddelde vooruitgang is van vergelijkbare leerlingen van verschillende scholen” (Bosker, 1998). Deze vragen zijn niet identiek en dus ook hun antwoorden niet (Dronkers, 1998b); 3. verschil in antwoorden van geaggregeerde analyse en multi-level analyse wordt belangrijker naarmate de binnengroepregressie afwijkt van de tussengroepregressie. Deze afwijking treedt inderdaad op, maar is relatief niet groot. Dus voor de meeste scholen en leerlingen wijkt de binnengroepregressie niet belangrijk af van de tussengroepregressie. Conclusie: geaggregeerde analyses geven een goed beeld van het intern rendement van scholen voor de gemiddelde leerlingen en de gemiddelde school, maar niet voor elke specifieke combinatie van school en leerling. Verbeteringen in de meting van intern rendement in vergelijking met de meting met de inspectiegegevens 1995-’96 (Agerbeek, 1998b): 1. Gegevens over vestigingen in plaats over scholengemeenschappen; 2. Een meer systematische controle op de gegevens van de school en verwijdering van bijzondere categorieën leerlingen (asielzoekers, buitenlandse zij-instromers, drop-out projecten) (Agerbeek, 1998a; Dronkers, 1998a);
1
3. Gemiddeld eindexamencijfer voor het Centraal Schriftelijk Examen in plaats van drie afzonderlijke vakken; 4. Percentage leerlingen met bètavakken voor VWO of HAVO; 5. Percentage leerlingen met examen op D-niveau in MAVO en VBO; 6. Gemiddeld zittenblijf-percentage in plaats van zittenblijven per klas; 7. Gemiddeld uitstroom-percentage in plaats van uitstromers tijdens of aan het eind van het schooljaar per klas. Nog mogelijke verbeteringen: 1. Nog meer indicatoren voor intern rendement (bv percentage leerlingen met extra eindexamenvakken), maar extra indicatoren betekent waarschijnlijk niet een grote verandering in ordening van scholen op een totaal intern rendement schaal (zie Dronkers, 1998a; 13-14 mbt al dan niet opname van zittenblijven in totaal intern rendement). Tabel 1: De factorladingen, eigen values en verklaarde varianties van het totaal intern rendement van VWO-, HAVO-, MAVO- en VBO-vestigingen VWO HAVO MAVO VBO Slaagpercentage .89 .91 .87 .83 Gem.eind.84 .86 .83 .41 examen cijfer Gem. -.74 -.72 -.61 -.72 zittenblijven Gem. uitval -.66 -.74 -.73 -.80 % bèta vakken .37 .35 n.v.t. n.v.t. % examen Dn.v.t. n.v.t. .70 .32 niveau Eigen value 2.6 2.8 2.9 2.1 % variantie 52.3 55.1 57.2 42.3 Aantal 498 478 691 414 vestigingen
Conclusies: 1. totaal intern rendement is een duidelijke en stabiele dimensies waarop de verschillende vestigingen goed op te onderscheiden zijn. 2. scholen met een hoog totaal intern rendement halen dat niet ten koste van een bèta pakket keuze of een laag examenniveau. 3. Het gemiddelde totale zittenblijf- en uitstroompercentage per vestiging past beter in de totaal intern rendement dimensie dan de afzonderlijke zittenblijf- en uitstroompercentages per klas, mogelijk omdat de eerste wel stabiel is maar de laatste te veel van toevalligheden afhangt. 1. De berekening van de toegevoegde waarde Bij de berekening van toegevoegde waarde wordt rekening gehouden met verschillen tussen leerlingpopulaties maar niet met andere schoolkenmerken, omdat het bij intern rendement juist gaat om verschillen tussen scholen.
2
Verbeteringen in de meting in vergelijking met de meting met inspectiegegevens 1995-’96 (Agerbeek, 1998b): 1. Percentage tweede-kansers (opstromers na behalen van een lager diploma; ongediplomeerde afstromers uit een hoger onderwijstype; binnenlandse verhuizingen; overplaatsing tussen scholen); 2. Percentage cumi-leerlingen per onderwijstype per scholengemeenschap in plaats van per scholengemeenschap. Nog niet gerealiseerde verbetering: 1. Een nauwkeuriger en meer legitieme meting van sociaal-culturele samenstelling van de leerlingpopulatie dan met cumi-leerlingen (maar zie Veenstra et al 1998).
Tabel 2: De gestandaardiseerde regressie coëfficiënten van % tweede-kansers en % cumileerlingen voor de voorspelling van het totaal intern rendement van alle VWO-, HAVO-, MAVO- en VBO-vestigingen VWO HAVO MAVO VBO % tweede-.11 -.18 -.09 -.26 kansers % cumi-.52 -.55 -.56 -.38 leerlingen Constante .33 .50 .44 .65 2 R .31 .36 .35 .27 Conclusies: 1. correctie voor tweede-kansers en sociaal-culturele achtergrond van leerlingen is voor alle schooltypen van ongeveer even groot belang; 2. sociaal-culturele achtergrond van leerlingen is belangrijker dan het % tweede-kansers 3. het negatieve effect van een hoog % tweede-kansers kan verklaard worden uit de zwakkere achtergrond van opstromers (gediplomeerden die een hoger diploma willen halen) en de problematische onderwijservaringen van afstromers (ongediplomeerden die naar een lager onderwijstype worden teruggezet). 4. de constante geeft de verhoging van het totaal intern rendement bij de gemiddelde school weer als gevolg van de correctie voor tweede-kansers en sociaal-culturele achtergrond van de leerlingen. Bij VWO-vestigingen is deze gemiddelde correctie het kleinst (een derde standaard-deviatie) en bij VBO-vestigingen het grootst (driekwart standaard-deviatie). 5. De relatie tussen % tweede kansers en % cumi-leerlingen is niet in alle gevallen lineair. Uit analyses waarin de kwadraten van beide onafhankelijke variabelen ook worden opgenomen geven deze kwadraten soms significante effecten. Bij het VWO is het kwadraat van % tweede kansers significant en positief, en deze toevoeging verhoogt de verklaarde variantie met 1%. Bij de HAVO is het kwadraat van % cumi-leerlingen significant en positief en deze toevoeging verhoogt de verklaarde variantie met 3%. Bij MAVO is de relatie wel lineair. Bij het VBO is het kwadraat van het % tweede kansers significant en positief en deze toevoeging verhoogt de verklaarde variantie met 1%. Berekeningen van het omslagpunt in deze curvilineaire relatie laat zien dit voor het % tweede kansers in het VWO op 29.2% ligt: dat wil zeggen dat een school met meer dan 29.2% tweede kans leerlingen van dat extra geen nadeel meer ondervindt voor zijn totaal intern rendement. Dit omslagpunt ligt echter erg dicht bij het maximum (30.6%), wat daarom in de praktijk betekent dat het negatieve effect van het % tweede kansers in het VWO-scholen bij hoge percentages alleen maar afzwakt. De 3
omslagpunten in de curvi-lineaire relaties bij HAVO en VBO liggen ook boven hun maxima of zelfs boven de 100%, wat ook hier betekent dat het negatieve effect van het % tweede kansers of het % cumi-leerlingen bij hoge percentages alleen maar afzwakt. Een mogelijke verklaring van het curvi-lineair karakter van deze relaties is dat scholen met een hoog % tweede kans leerlingen of cumi-leerlingen zich beter hebben aangepast aan de specifieke omstandigheden van deze leerlingen en daardoor iets van de negatieve effecten van de sociaalculturele achtergrond van zijn leerlingen of van de moeizamere schoolloopbanen van zijn leerlingen kan opvangen. Gezien deze verklaring van het curvi-lineaire karakter als schoolkenmerk is bij de berekening van de toegevoegde waarde met dat curvi-lineair karakter geen rekening gehouden. 4. Verschillen in toegevoegde waarde van scholen per provincie, denominatie en breedte van de school Tabel 3: De gemiddelde afwijking van de gemiddelde toegevoegde waarde van alle VWO-, HAVO-, MAVO- en VBO-vestigingen per breedte van de scholengemeenschap (tussen haakjes standaard-deviatie) VWO HAVO MAVO VBO 1 type .23 1.00 -.01 .33* (.80) (1.00) (.72) (.82) 2 typen -.24* -.25* -.26 .05 (.66) (.78) (1.11) (.90) 3 typen -.01 -.03 -.02 .00 (.86) (.85) (.79) (1.41) 4 typen -.02 .00 .05 -.05 (.94) (.86) (.89) (.91) Totaal .01 .00 .01 .00 (.89) (.85) (.87) (.91) Binnen/Tussen F =1.95 F = 2.70 F = 2.12 F = 2.20 Variantie P = .12 P = .05 P = .10 P = .09 * gemiddelde wijkt significant af van .00 Conclusie: smalle scholengemeenschappen hebben over het algemeen een ondergemiddelde toegevoegde waarde in vergelijking met bredere scholengemeenschappen, met het zelfstandig VBO als gunstige uitzondering.
4
Tabel 4: De gemiddelde afwijking van de gemiddelde toegevoegde waarde van alle VWO-, HAVO-, MAVO- en VBO-vestigingen per denominatie van de school (tussen haakjes standaard-deviatie) VWO HAVO MAVO VBO Algemeen-.27 -.17 -.17 .00 bijzonder (.94) (.91) (1.07) (.96) Gereformeerd .45 .17 -.24 .00 Reformatorisch (.69) (.58) (.78) (.50) Openbaar -.21* -.23* -.06 -.32* (.99) (.91) (.95) (1.03) Protestant.04 .05 -.02 .04 Christelijk (.82) (.76) (.85) (.83) Rooms.21* .24* .23* .36* katholiek (.82) (.78) (.78) (.68) Samenwerking -.07 -.07 -.15 -.07 (.75) (.96) (.89) (.95) Binnen/Tussen F = 4.79 F = 5.12 F = 4.07 F = 7.16 Variantie P = .00 P = .00 P = .00 P = .00 * gemiddelde wijkt significant af van .00 Conclusie: openbare scholen hebben een ondergemiddelde toegevoegde waarde, terwijl rooms-katholieke scholen een bovengemiddelde toegevoegde waarde hebben. De afwijkende toegevoegde waarden van reformatorische en algemeen-bijzondere scholen zijn niet significant door de kleine aantallen.
5
Tabel 5: De gemiddelde afwijking van de gemiddelde toegevoegde waarde van alle VWO-, HAVO-, MAVO- en VBO-vestigingen per provincie (tussen haakjes standaard-deviatie) VWO HAVO MAVO VBO Drenthe -.40* -.18 .38* -.11 (.71) (.40) (.65) (.60) Flevoland .00 .44 .00 .27 (.58) (1.13) (.58) (.90) Friesland -.65* -.06 -.20* -.46* (.80) (.66) (1.02) (.88) Gelderland -.09 .02 .23* -.05 (.93) (.65) (.66) (1.08) Groningen -.10 -.42* -.28* -.67 (.85) (.84) (.87) (1.29) Limburg .54* .63* .35* .17 (.73) (.69) (.87) (.75) Noord-Brabant .27* .31* .24* .41* (.73) (.77) (.72) (.65) Noord-Holland -.31* -.25* -.20* -.13 (.95) (.90) (.89) (.97) Overijssel .45* .35* .27* .06 (.67) (.61) (.76) (.65) Utrecht -.03 -.22 -.16 .00 (.74) (.98) (.87) (.78) Zuid-Holland -.13 -.22* -.24* -.05 (.94) (.87) (1.08) (.94) Zeeland .25 .25 .19 .46* (1.08) (.97) (.54) (.66) Binnen/Tussen F = 5.41 F = 5.84 F = 5.24 F = 3.19 Variantie P = .00 P = .00 P = .00 P = .00
Conclusie: scholen in Limburg, Noord-Brabant en Overijssel hebben een bovengemiddelde toegevoegde waarde, terwijl scholen in Noord-Holland, Zuid-Holland, Friesland, Groningen en Drenthe een ondergemiddelde toegevoegde waarde hebben. Tabel 6: De gecombineerde effecten van provincie, denominatie en hun interactie op de toegevoegde waarde van alle VWO-, HAVO-, MAVO- en VBO-scholen, uitgedrukt in Fwaarden (tussen haakjes significantie) VWO HAVO MAVO VBO Provincie 4.00 4.61 3.97 1.69 (.00) (.00) (.00) (.08) Richting 2.05 2.50 1.58 3.74 (.07) (.03) (.16) (.00) Interactie .70 1.22 .70 .76 (.92) (.17) (.92) (.86) Conclusies: 1. Verschillen in de toegevoegde waarde van scholen uit verschillende provincies zijn
6
belangrijker dan de verschillen in toegevoegde waarde van scholen uit verschillende denominaties; 2. Verschillen in toegevoegde waarde van scholen in verschillende provincies en die van verschillende denominaties zijn niet tot elkaar herleidbaar: de conclusies van tabellen 4 en 5 worden niet verworpen door de ANOVA analyse. Wel zijn de eerder gevonden effecten van richting voor VWO- en MAVO-vestigingen niet meer significant.
5. Consequenties van de verschillen tussen de oude en de huidige methode De belangrijkste verschillen die tussen de oude methode van vorig jaar en de huidige methode zijn: 1. De oude methode gebruikte alleen rendement gegevens op het niveau van de gehele scholengemeenschap; de huidige methode heeft alle rendement gegevens op het niveau van de afzonderlijke vestiging. 2. De oude methode gebruikte het percentage cumi-leerlingen op het niveau van de gehele scholengemeenschap, zonder onderscheid naar schooltype. De huidige methode gebruikt ook het percentage cumi-leerlingen op het niveau van de scholengemeenschap maar nu wel uitgesplitst naar schooltype. 3. De oude methode maakte onderscheid naar tussentijdse uitstroom, uitstroom na zittenblijven en zittenblijven per klas (behalve brugklas en eindexamenklas). De huidige methode gebruikt gemiddelde zittenblijf- en uitstroompercentages per vestiging en schooltype. 4. De oude methode gebruikte drie losse eindexamencijfers, de huidige een gewogen gemiddelde van alle eindexamencijfers. 5. De huidige methode houdt ook rekening met het percentage eindexamenkandidaten met bètavakken, het percentage eindexamenkandidaten op D-niveau en met het percentage tweede-kansers. De oude methode deed dat niet. Hieronder worden de gevolgen van deze veranderingen nagegaan. De data zijn de door Agerbeek (1998a; 1998b) bewerkte inspectiegegevens van 1996/’97. In het vorige college paste ik de oude methode toe op deze nieuwe door Agerbeek bewerkte inspectiegegevens voor VWO- en HAVO-scholen, en wel met de gewichten en correcties die het best paste bij deze nieuwe de door Agerbeek bewerkte inspectiegegevens (Dronkers, 1998a: 10-11). De leverde een totaal intern rendement score en een toegevoegde waarde score op (=oud totaal intern rendement voor VWO en HAVO, oud toegevoegde waarde VWO en HAVO). Ten einde deze oude scores vergelijkbaar te maken met de uitkomsten van de huidige methode aggregeerde ik de huidige totaal intern rendement scores en de huidige toegevoegde waarde scores voor VWO en HAVO van het vestiging-niveau naar het schoolgemeenschap-niveau op (= huidige totaal intern rendement voor VWO en HAVO, huidige toegevoegde waarde VWO en HAVO). In tabel 7 worden de samenhangen tussen de oude en huidige totaal intern rendement scores en de oude en huidige toegevoegde waarde voor VWO- en HAVO-scholen afzonderlijk na gegaan. Tabel 7: De samenhangen tussen de oude en huidige totaal intern rendement scores en de oude en huidige toegevoegde waarde voor VWO- en HAVO-scholen, alle gebaseerd op de door Agerbeek (1998b) bewerkte inspectiegegevens 1996/97 Samenhangen VWO HAVO Oude / huidige methode .62 .72 7
toegevoegde waarde Oude / huidige methode totaal intern rendement
.72
.91
Conclusies: 1. De huidige methode om het totaal intern rendement te meten verschilt niet sterk van de oude methode, want het totaal intern rendement volgens de oude en de huidige methode hangt hoog samen. De lagere samenhang bij VWO-scholen kan verklaard worden uit een verschil tussen de betekenis van uitstroom in onder- en bovenbouw bij VWO-scholen (Dronkers 1998a: 14), terwijl dat onderscheid bij HAVO-scholen niet zo optreedt. Ook is de betekenis van het percentage leerlingen met bèta vakken groter in het VWO dan in de HAVO (tabel 1). De huidige methode houdt geen rekening met het verschil in uitstroom in onder- en bovenbouw, terwijl de oude methode geen rekening hield met het percentage bèta vakken. 2. De belangrijkste consequentie van de huidige methode ligt hem in de betere verwerking van de verschillen in sociaal-culturele samenstelling van de leerlingpopulatie, waarbij de huidige methode onderscheid maakt naar het schooltype (maar nog niet per vestiging). De introductie van tweede-kansers als correctiefactor heeft voor het verschil tussen de oude en huidige methode geen grote betekenis, want dit kenmerk voegt niet veel verklaarde variantie bij huidig totaal rendement toe, na opname van het percentage cumi-leerlingen (VWO: 1%; HAVO: 3%).
6. Verschillen in toegevoegde waarde binnen en tussen scholengemeenschappen Tabel 8 De mate van verschillen in toegevoegde waarde binnen en tussen scholengemeenschappen N tussen / N binnen F-waarde P-waarde Alleen VWO 470 / 27 1.08 .43 Alleen HAVO 446 / 31 1.31 .18 Alleen MAVO 506 / 184 1.55 .00 Alleen VBO 354 / 59 .93 .66 Alle schooltypen 649 / 1431 2.29 .00
Conclusies: 1. De verschillen in toegevoegde waarde van scholen binnen een zelfde scholengemeenschap verschilt minder dan de verschillen in toegevoegde waarde van scholen uit verschillende scholengemeenschappen. Dit betekent dat scholengemeenschappen sociologisch significante entiteiten kunnen zijn en niet alleen maar juridische of financiële entiteiten behoeven te zijn. 2. De eerste conclusie is niet waar voor scholengemeenschappen met meerdere VWO-, HAVO- of VBO-vestigingen: VWO-, HAVO- of VBO-vestigingen binnen een zelfde scholengemeenschap verschillen evenveel in toegevoegde waarde als VWO-, HAVO- of VBO-vestigingen uit verschillende scholengemeenschappen. Meerdere vestigingen van hetzelfde onderwijstype binnen een scholengemeenschap bevordert blijkbaar niet de onderlinge samenhang. 3. 33 (6,8%) van de 487 scholengemeenschappen met meer dan één vestiging en/of schooltype
8
hebben een gemiddelde toegevoegde waarde voor hun vestigingen en/of schooltypen die significant (95%) groter is dan de gemiddelde toegevoegde waarde. 26 (5,3%) scholengemeenschappen met meer dan één vestiging en/of onderwijstype hebben een gemiddelde toegevoegde waarde voor hun vestigingen en/of schooltypen die significant kleiner is dan de gemiddelde toegevoegde waarde. Eerst genoemde scholengemeenschappen kunnen als systematisch bovengemiddeld worden aangemerkt, de laatst genoemde als systematisch ondergemiddeld. In de overige 87,9% van de scholengemeenschappen komt men dus vestingen van uiteenlopende toegevoegde waarden tegen of is de toegevoegde waarde gemiddeld.
Literatuur Agerbeek, M., 1998a. "Scholen slordig met cijfers." Trouw 9 mei. Agerbeek, M., 1998b. "Schoolprestaties 1998" Trouw 13 juni. Bosker, R. 1998. Maatschappelijke implicaties van (verkeerde) indicatoren. Enschede: Vakgroep Onderwijsorganisatie en -management/ OCTO, Universiteit Twente. Paper gepresenteerd op de Onderwijsresearchdagen 1998, Universiteit Twente Dronkers, J. 1998a. De stabiliteit van het intern rendement van scholen in het voortgezet onderwijs: een analyse van de inspectiegegevens over de schooljaren 1995/96 en 1996/97. Amsterdam: SCO-Kohnstamm Instituut, Universiteit van Amsterdam. Tekst van een openbaar college, gegeven op 11 mei 1998 ---, 1998b. "Het betere is de vijand van het goede. Een reactie op de commentaren over het Trouw rapportcijfer." Pedagogische Studiën 75: 142-150. Marien, T., 1997. "Een klantgerichte benadering: meetbare kwaliteit." pp. 26-34 in Integrale beleidsontwikkeling. Kwaliteitsbeleid en de schoolgids als instrument. Utrecht: Vereniging voor het Management in het Voortgezet Onderwijs. Veenstra, D. R., A. B. Dijkstra, J. L. Peschar en T. A. B. Snijders, 1998. "Scholen op rapport. Een reactie op het Trouw-onderzoek naar schoolprestaties." Pedagogische Studiën 75: 121-134.
Noten
1
Sommige getallen voor VWO en MAVO in dit artikel wijken licht af van de getallen die ik noemde op het college van 19 juni. De oorzaak daarvan waren rekenfouten bij het gemiddeld eindexamencijfer (zie verder Trouw, 25 juni 1998). De conclusies worden door deze afwijkingen in het geheel niet aangetast.
9
