A - 56 Onderwijs (20) 2. Eindrapport onderzoek loting en matching 2015 2020
Tekst van het document
Eindrapport evaluatie centrale loting en matching 2015-2020 Nadine Ketel – Vrije Universiteit Bas van der Klaauw – Vrije Universiteit Hessel Oosterbeek – Universiteit van Amsterdam Sándor Sóvágó – Rijksuniversiteit Groningen Frederique van Spijker – OIS, gemeente Amsterdam Merel van der Wouden – OIS, gemeente Amsterdam Juli 2021 Samenvatting Sinds 2015 gebruikt Amsterdam een centrale loting om leerlingen die van de basisschool komen een plek te geven op een school voor voortgezet onderwijs (vo). Meestal komt iets meer dan 80% van de leerlingen op de school van eerste voorkeur en ongeveer 95% in de top-3. Elk jaar heeft ook een aantal leerlingen de pech dat ze geplaatst worden op een school die laag op hun voorkeurslijst staat. De loting zorgt ervoor dat leerlingen met identieke voorkeurslijsten op verschillende scholen terecht kunnen komen. Door deze leerlingen met elkaar te vergelijken, krijgen we goed inzicht in de gevolgen van uitgeloot worden. Leerlingen die na de loting geplaatst worden op een school die laag op de voorkeurslijst stond, zitten regelmatig aan het begin van het eerste schooljaar al op een andere school dan waarop ze geplaatst zijn. Van de havo en vwo-leerlingen die buiten hun top-5 terecht komen geldt dit voor ongeveer 40% van de leerlingen. Ongeveer de helft hiervan gaat naar een school die hoger op hun voorkeurslijst stond.
Dit kan gebeurd zijn via de reservelijsten. Een klein deel van de vwoleerlingen die laag op de voorkeurslijst geplaatst werd gaat naar een vo-school buiten Amsterdam. De uitkomst van de centrale loting is niet van invloed op de studievoortgang van de leerling. Leerlingen die zijn uitgeloot zitten in de latere jaren nog net zo vaak zonder vertraging op het niveau van hun basisschooladvies als leerlingen die op hun eerste voorkeursschool zijn geplaatst. Leerlingen die uitgeloot zijn geven wel vaker aan minder tevreden te zijn met de school waarop zij zitten en zij geven vaker aan liever naar een andere school te gaan. Dit effect is groot in het eerste jaar van het vo en verdwijnt in het tweede jaar voor havo leerlingen en wordt voor vwo-leerlingen minder sterk in de latere jaren. Het uitgeloot worden op de school van eerste voorkeur heeft een positief effect op studiehouding; vmbo en vwo-leerlingen besteden meer tijd aan huiswerk, havo en vwo-leerlingen worden minder vaak uit de les gestuurd, havo-leerlingen komen
1
minder vaak te laat en havo en vwo-leerlingen lijken iets hogere cijfers te halen. Vmbo-leerlingen halen juist iets lagere cijfers als zij uitgeloot worden. De school waarop een uitgelote leerling terecht komt heeft vaak andere kenmerken en een andere leerlingensamenstelling dan de school van eerste voorkeur. Voor alle leerlingen geldt dat het grootste deel van hun vriendengroep op dezelfde vo-school zit. Uitgeloot worden heeft geen effect op het aantal vrienden, maar naar een andere school gaan zorgt er wel voor dat een leerling andere vrienden zal krijgen. Een andere samenstelling van de vriendengroep gaat niet gepaard met meer of minder ongewenst gedrag buiten school. Voor sommige leerlingen vinden we dat het uitgeloot worden op de school van eerste voorkeur hun beeld van de maatschappij verandert, dit geldt vooral voor vmbo-leerlingen, maar ook vwo-leerlingen worden iets toleranter naar andere groepen.
2
1. Inleiding Sinds 2015 gebruiken vo-scholen in Amsterdam een centraal systeem van Loting & Matching om leerlingen die van de basisschool komen op een vo-school te plaatsen. In dit systeem leveren leerlingen een voorkeurslijst in waarop de vo-scholen staan waar zij heen willen. Scholen bepalen hun capaciteit en hanteren een beperkt aantal voorrangsregels. Toewijzing van leerlingen aan scholen vindt vervolgens plaats op basis van een algoritme. Het algoritme is gebaseerd op het deferred acceptance algoritme maar hieraan zijn verschillende extra elementen toegevoegd.1 In bijna alle jaren waarin dit systeem is toegepast, werd meer dan 80 procent van de leerlingen op de school geplaatst die het hoogst op hun voorkeurslijst stond en ongeveer 95 procent op een school uit hun top-3. Deze percentages zijn lager voor leerlingen met een vwo, havo/vwo en havo advies en hoger voor leerlingen met een vmbo-b, vmbo-k en vmbo-t advies. In dit rapport onderzoeken we empirisch wat de gevolgen zijn voor leerlingen wanneer zij worden uitgeloot voor de school van hun eerste voorkeur. We kijken daarbij allereerst naar studievoortgang. Daarnaast kijken we naar tevredenheid van de leerling met de school en naar andere uitkomsten die hiermee kunnen samenhangen.
Door een groot aantal potentiële gevolgen te onderzoeken, proberen we een zo volledig mogelijk beeld te geven van de factoren die belangrijk kunnen zijn bij de keuze voor een vo-school. Om het onderzoek uit te voeren gebruiken we de voorkeurslijsten die leerlingen tussen 2015 en 2019 hebben ingediend bij hun aanmelding voor een vo-school. Aan deze voorkeurlijsten koppelen we eerst administratieve gegevens over studievoortgang. Daarna koppelen we ook de antwoorden van leerlingen op een vragenlijst die we in de schooljaren 2019/’20 en 2020/’21 hebben afgenomen op een groot aantal vo-scholen in Amsterdam. De vragenlijst is afgenomen onder alle leerlingen uit de eerste tot en met de vijfde klas. Hiermee kunnen we laten zien wat de gevolgen zijn van het niet geplaatst worden op de school van eerste voorkeur. Het gebruik van willekeurige lotnummers bij de centrale loting geeft de mogelijkheid om de gevolgen van het niet geplaatst worden op de school van eerste voorkeur empirisch te onderzoeken doordat de lotnummers een soort gerandomiseerd experiment creëren. Het achterliggende idee is om steeds leerlingen te vergelijken die dezelfde voorkeurslijst hebben ingevuld maar waarvan sommigen geluk hadden en geplaatst werden op hun eerste voorkeursschool en anderen de pech hadden dat ze hiervoor werden uitgeloot.
Door vervolgens de uitkomsten van de groepen met geluk en pech met elkaar te vergelijken kunnen we de gevolgen van het niet geplaatst worden op de school van eerste voorkeur onderscheiden van andere verschillen tussen leerlingen. De complicaties waarmee 1 Zie voor meer informatie de jaarlijkse cijfermatige analyse van de Amsterdamse Loting en
Matching.
3
we in de analyses rekening moeten houden zijn dat leerlingen niet altijd naar de school gaan waarop ze bij de loting geplaatst zijn en dat non-respons bij de vragenlijst niet altijd willekeurig is. Het vervolg van dit rapport is als volgt ingedeeld. Hoofdstuk 2 geeft de context weer van de Loting & Matching voor vo-scholen in Amsterdam. In hoofdstuk 3 bespreken we onze onderzoeksopzet en in hoofdstuk 4 de data. In hoofdstuk 5 staat het empirische model centraal en in hoofdstuk 6 de onderzoeksresultaten. De conclusies staan in hoofdstuk 7. 2. Context In Amsterdam is het al lange tijd het geval dat een aantal vo-scholen onvoldoende capaciteit heeft om alle leerlingen te plaatsen die het liefst naar deze scholen willen. Sinds 2015 wordt een centrale loting gebruikt om te bepalen welke leerling naar welke vo-school mag gaan. De loting is gebaseerd op het zogenaamde deferred acceptance (DA) mechanisme. Om mee te doen aan de centrale loting maken leerlingen een voorkeurslijst met voscholen die het niveau van het basisschooladvies van de leerling aanbieden. Scholen zijn daarop geordend naar voorkeur (eerste, tweede, en zo verder). De vo-scholen geven allemaal hun capaciteit op voor elk niveau. Bij de plaatsing wordt eerst een beperkt aantal voorrangsregels gebruikt en daarna wordt door middel van lotnummers bepaald welke leerlingen naar welke school mogen.
Het algoritme werkt als volgt. In de eerste ronde komen alle leerlingen in aanmerking voor de school die als eerste op hun voorkeurslijst staat. Zijn dat er meer dan de capaciteit van de school toestaat, dan worden de leerlingen met de laagste lotnummers afgewezen. De anderen worden voorlopig geplaatst. In de tweede (volgende) ronde komen leerlingen die in de eerste (vorige) ronde zijn afgewezen in aanmerking voor de tweede (volgende) school op hun voorkeurslijst. Als dit aantal leerlingen plus de voorlopig geplaatste leerlingen groter is dan de capaciteit van de school, worden de leerlingen met de laagste lotnummers afgewezen. Dit proces herhaalt zich totdat alle leerlingen geplaatst zijn. In 2015 kreeg elke leerling een afzonderlijk lotnummer voor elke school (multiple tie-breaking). Vanaf 2016 krijgt elke leerling één lotnummer dat voor alle scholen geldt (single tie-breaking).2 Scholen die leerlingen afwijzen, plaatsen deze leerlingen op hun reservelijst. Deze lijsten worden gebruikt voor het geval er nog plekken vrij komen. Elk jaar doen ongeveer 7500 leerlingen mee aan de centrale loting. Tabel 1 geeft voor elk jaar per basisschooladvies het percentage leerlingen weer dat geplaatst werd op de school die het hoogst op de voorkeurslijst stond, en in de top-3 en de top-5 van de voorkeurslijst.
Door het gebruik van multiple tie-breaking waren voor 2 Vanaf 2016 kon een leerling alleen voorrang krijgen op de school die het hoogst op de
voorkeurslijst stond. In 2018 werd de plaatsingsgarantie ingevoerd en in 2021 de staartverbetering.
4
alle adviezen de kansen om geplaatst te worden op de eerste voorkeur in 2015 het laagst. Maar ook in de andere jaren fluctueert het percentage leerlingen dat op de eerste voorkeur werd geplaatst. Dit heeft te maken met verschillen in de capaciteit en de aantallen leerlingen met de verschillende basisschooladviezen. In het algemeen geldt dat voor leerlingen met een havo, havo/vwo en vwo-advies de kans om op de eerste voorkeur geplaatst te worden lager is dan voor leerlingen met een vmbo-advies. Voor de plaatsingspercentages in de top-3 en top-5 zien we hetzelfde beeld. De plaatsingspercentages zijn lager voor de hogere adviezen en fluctueren tussen de jaren.
Tabel 1: Plaatsingspercentages per jaar en basisschooladvies 2015 2016 2017 2018 Top-1 vwo 62,9% 81,6% 75,4% 77,2% havo/vwo 66,1% 71,8% 78,2% 80,5% havo 69,6% 77,1% 83,1% 82,7% vmbo-t/havo 74,9% 87,4% 94,1% 94,6% vmbo-t 81,5% 90,9% 93,7% 97,8% vmbo-k 88,9% 87,4% 92,7% 97,0% vmbo-b/vmbo-k 92,7% 90,0% 96,3% 96,8% vmbo-b 95,4% 95,4% 99,6% 98,1% Top-3 vwo 92,3% 91,0% 89,3% 92,4% havo/vwo 87,4% 90,9% 91,6% 95,6% havo 91,9% 92,8% 94,2% 96,0% vmbo-t/havo 97,9% 91,0% 99,8% 100% vmbo-t 98,6% 99,4% 100% 100% vmbo-k 99,1% 99,4% 99,6% 100% vmbo-b/vmbo-k 99,6% 99,3% 99,3% 100% vmbo-b 100% 99,8% 99,8% 99,8% Top-5 vwo 98,1% 94,4% 93,6% 97,2% havo/vwo 96,3% 95,1% 96,8% 98,9% havo 97,2% 96,8% 97,6% 99,2% vmbo-t/havo 98,9% 99,7% 100% 100% vmbo-t 99,4% 99,2% 100% 100% vmbo-k 99,9% 99,4% 99,6% 100% vmbo-b/vmbo-k 99,6% 100% 99,3% 100% vmbo-b 100% 99,8% 99,8% 99,8%
5
2019
2020
78,9% 73,3% 80,8% 85,8% 90,4% 90,3% 90,5% 92,0%
81,6% 65,5% 72,7% 81,3% 82,8% 94,3% 96,7% 100%
92,9% 88,7% 94,4% 98,4% 98,5% 99,7% 99,7% 99,8%
91,0% 84,4% 88,3% 95,3% 95,2% 100% 100% 100%
96,7% 93,8% 98,0% 99,7% 99,8% 99,8% 100% 100%
94,4% 93,1% 94,4% 98,7% 99,1% 100% 100% 100%
3. Onderzoeksopzet Het doel van dit onderzoek is om empirisch vast te stellen wat de gevolgen zijn van uitgeloot worden op de school van eerste voorkeur. We maken daarbij onderscheid tussen geplaatst worden buiten de top-1, buiten de top-3 en buiten de top-5. We richten ons in het onderzoek niet alleen op schoolprestaties (studievoortgang) maar ook op verschillende vormen van schooltevredenheid van leerlingen en andere uitkomsten die van belang kunnen zijn bij de keuze van een vo-school. Het achterliggende idee van het onderzoek is om steeds leerlingen te vergelijken die in hetzelfde jaar dezelfde voorkeurslijst hadden, maar die vanwege de centrale loting op andere scholen terechtgekomen zijn. Als leerlingen dezelfde voorkeurslijst hebben, dan hebben deze leerlingen dezelfde kansen om op hun eerste voorkeur, top-3 en top-5 geplaatst te worden. Omdat het lot bepaalt op welke school leerlingen met dezelfde voorkeurslijst komen, kunnen structurele verschillen in uitkomsten tussen leerlingen op verschillende scholen oorzakelijk worden toegeschreven aan de uitkomst van de centrale loting. Voor het onderzoek combineren we de voorkeurslijsten van leerlingen met de relevante uitkomsten.
Informatie over de uitkomsten is afkomstig uit de administratieve gegevens die beschikbaar zijn in de microdata-omgeving van het Centraal Bureau voor de Statistiek (CBS) alsmede uit de enquêtes die zijn afgenomen onder leerlingen op scholen waarvoor de centrale loting van belang is. Dit zijn zowel scholen waar leerlingen uitgeloot worden als scholen waar leerlingen terecht komen die op andere scholen uitgeloot worden. Omdat we niet weten welke leerlingen in- en uitgeloot zijn, moeten we alle leerlingen op een school de enquête laten invullen. Voor het onderzoek wilden we de vragenlijst afnemen bij 45 vo-scholen waar leerlingen uitgeloot worden of waar uitgelote leerlingen terechtkomen. In totaal hebben we vragenlijsten afgenomen bij 35 vo-scholen. In het schooljaar 2019/’20 zijn we bij 29 scholen langsgegaan. Door de schoolsluiting vanwege Covid-19 konden we dat schooljaar niet bij alle scholen langs. Dit speelde ook nog in schooljaar 2020/’21, maar uiteindelijk konden we toen toch nog bij zes scholen terecht om vragenlijsten af te nemen. In Bijlage A staat een overzicht van de scholen waar vragenlijsten zijn afgenomen en wanneer dat is gebeurd. De eerste school waar de vragenlijsten zijn ingevuld was Ir Lelylyceum op 15 oktober 2019. De laatste school was Hervormd Lyceum Zuid op 11 en 12 mei 2021.
Ook hebben een aantal leerlingen die wel hebben meegedaan aan de centrale loting maar niet (meer) naar een vo-school in Amsterdam gaan de vragenlijst ingevuld. Om dit te organiseren is er contact geweest met Stichting VSA. Voordat we naar een school gingen ontvingen ouders een brief om ze te informeren over het onderzoek. Deze brief bevatte ook een link waarmee ouders konden aangeven dat hun kind de vragenlijst niet zou invullen (of als dit toch gebeurd was 6
de gegevens vernietigd zouden worden). Bij het invullen van de vragenlijsten konden leerlingen kiezen of ze deze op papier invulden of digitaal. De vragenlijst staat in Bijlage B. De vragenlijst is voordat deze werd afgenomen op de scholen besproken met een klankbordgroep vanuit de vereniging van schoolbesturen in het Amsterdamse voortgezet onderwijs (OSVO). Alle verzamelde gegevens zijn opgeslagen en geanalyseerd binnen de beveiligde microdata-omgeving van het Centraal Bureau voor de Statistiek (CBS).3 Het CBS zorgt ervoor dat individuele leerlingen en scholen niet herkend kunnen worden en garandeert dat er nooit gegevens gerapporteerd worden over individuele leerlingen of scholen. 4. Data In de eerste kolom van Tabel 2 staat het totaal aantal leerlingen dat in de verschillende jaren heeft deelgenomen aan de loting en matching. In de tweede kolom staat voor elk jaar het aantal leerlingen dat te maken had met het risico om uitgeloot te worden op de school van eerste voorkeur. Dit zijn leerlingen die als eerste keuze een school hadden waarop leerlingen in dat jaar uitgeloot zijn en die niet vanwege voorrang zeker waren van plaatsing. In de derde kolom staat het aantal leerlingen dat tijdens de loting en matching is geplaatst op een school waar vragenlijsten zijn afgenomen. In de laatste kolom staat het aantal leerlingen op deze scholen dat de vragenlijst heeft ingevuld.
Tabel 2: Aantal deelnemers aan de centrale loting en aantal respondenten, per jaar Start vo Leerlingen met risico op geënquêteerde en ingevulde in CBS data op uitloting school vragenlijsten 2015/’16 7.410 3.675 2.481 1.225 2016/’17 7.353 3.992 2.813 1.680 2017/’18 7.558 3.481 2.556 1.743 2018/’19 7.076 2.964 2.196 1.685 2019/’20 7.267 4.181 2.765 1.992 Totaal 36.664 18.293 12.811 8.325 Noot: Deze tabel gaat uit van leerlingen waarvan de voorkeurslijst gekoppeld kon worden in de CBS omgeving. Voor elk jaar lukt dat niet voor een klein aantal leerlingen dat mee deed aan de loting. Vergelijking van de eerste twee kolommen laat zien dat jaarlijks 42% tot 58% van de leerlingen de kans loopt om uitgeloot te worden op de school van eerste voorkeur. Van de leerlingen die te maken hadden met een risico op uitloting is ongeveer 70% geplaatst op een school waar we zijn geweest om de vragenlijst af te nemen. Dit zegt iets over de representativiteit van onze resultaten. Als we van de 3 https://www.cbs.nl/nl-nl/onze-diensten/maatwerk-en-microdata/microdata-zelf-onderzoek-doen
7
derde naar de vierde kolom gaan dan zien we dat ongeveer 65% van de leerlingen die de vragenlijst konden invullen dit ook gedaan heeft. Van de vmbo (en havo) leerlingen die in de eerdere jaren hebben meegedaan aan de centrale loting had het grootste deel al eindexamen gedaan voordat wij de vragenlijst afnamen. Dit zorgt ervoor dat in 2015 en 2016 het aantal ingevulde vragenlijsten van leerlingen die zijn geplaatst op de scholen waar we de vragenlijsten hebben afgenomen relatief klein is ten opzichte van de latere jaren. Er kunnen drie redenen zijn waarom niet alle leerlingen op een school een vragenlijst hebben ingevuld. Ten eerste kan het zo zijn dat de leerling niet meer op de school zit waarop zij geplaatst was tijdens de centrale loting. Dit kan zijn omdat de leerling eindexamen gedaan heeft of omdat de leerling van school is gewisseld. Ten tweede is het mogelijk dat de leerling niet op school was op het moment dat wij de vragenlijst afnamen of in een klas zat die toevallig geen les had. Ten derde kan het zijn dat de leerling de vragenlijst weigerde in te vullen of dat er informatie in ontbrak waardoor wij deze niet konden matchen aan een voorkeurslijst.4 In totaal hebben 14.768 leerlingen de vragenlijst ingevuld. Hiervan hebben we 12.878 vragenlijsten kunnen matchen aan een voorkeurslijst, dus ongeveer 87%.
Het aantal van 12.878 is hoger dan het aantal van 8.325 in de laatste rij van de laatste kolom van Tabel 2. Dit verschil wordt veroorzaakt doordat ruim 4.500 respondenten voorrang hadden of als eerste voorkeur een school hadden staan waarop geen leerlingen werden uitgeloot op het niveau van hun basisschooladvies. In onze empirische analyses waarbij we gegevens van de vragenlijsten gebruiken houden we rekening met de non-respons. We doen dit door observaties te wegen met de inverse van het aandeel respondenten voor vergelijkbare studenten. Dat betekent dat we per niveau van elke school in ieder jaar berekenen welk percentage leerlingen de vragenlijst heeft ingevuld. Hierbij houden we rekening met de positie van de school op de voorkeurslijst. De validiteit van deze manier van wegen van observaties hebben we getest op uitkomsten die in de administratieve data voor alle leerlingen beschikbaar zijn. 5. Methodiek van empirische analyse Dit rapport onderzoekt het loting en matching systeem in Amsterdam. We zijn dus geïnteresseerd in de effecten van uitloting voor de school van eerste voorkeur op verschillende uitkomsten. Hiervoor schatten we voor elke uitkomst Y het volgende lineaire regressie model: Yist = αst + δ Di + k(pit) + Uist
4 In totaal hebben 77 ouders van leerlingen de opt-out voor de vragenlijst ingevuld. Als deze
leerlingen de vragenlijst al hadden ingevuld, dan zijn de antwoorden uit de data verwijderd.
8
Hierin geeft de index i de leerling aan, s is de school van eerste voorkeur en t is het jaar waarin een leerling mee deed aan de loting. De variabele Di geeft aan of de leerling op een school buiten haar top-x is geplaatst, dus δ is het effect op uitkomst Yist van niet geplaatst worden op een school in de top-x van de voorkeurslijst (waarbij x gelijk is aan 1, 3 of 5). Het is belangrijk om hier te benadrukken dat we kijken naar de plaatsing buiten top-x tijdens de eerste ronde van de centrale loting. Dit is de relevante variabele als het gaat om de evaluatie van de centrale loting. De school waarop een leerling daadwerkelijk zit kan verschillen van de school waarop een leerling geplaatst is. Hoe vaak dit voorkomt bespreken we in het volgende hoofdstuk. De parameters αst zijn fixed effecten voor de school van eerste voorkeur voor elk jaar van de loting en k(pit) is een flexibele functie van de kans p dat leerling i in jaar t in haar top-x werd geplaatst. Uist is de storingsterm die, conditioneel op k(pit) onafhankelijk is van Di. Deze laatste eigenschap volgt uit de willekeurigheid van de lotnummers. Met deze specificatie van het regressiemodel vergelijken we leerlingen die dezelfde school als eerste voorkeur hebben en die dezelfde kans hadden om geplaatst te worden op een school in de top-x van de voorkeurslijst.
Bij het schatten van de modellen gebruiken we leerlingen die op de school van eerste voorkeur zijn geplaatst en leerlingen die op een school buiten de top-x zijn geplaatst. We nemen dus leerlingen die wel in de top-x zijn geplaatst, maar niet op de eerste voorkeur niet mee met het schatten van het model. Daarnaast negeren we leerlingen voor wie de kans 0 of 1 was om in hun top-x geplaatst te worden. Met deze specificatie en selectie van data kunnen we de parameter δ een causale interpretatie geven. We schatten het regressiemodel apart voor verschillende jaren en ook voor verschillende basisschooladviezen. Dubbeladviezen worden samengenomen met het laagste van de twee adviezen, dus havo/vwo gaat bijvoorbeeld samen met havo. Dit is ook het geval bij de centrale loting in Amsterdam. Verder schatten we daarnaast het model voor top-1 ten opzichte van niet top-1, top-1 ten opzichte van niet top-3 en top-1 ten opzichte van niet top-5. De indeling wordt gebaseerd op de school waar een leerling geplaatst is. Dit kan, zoals we in het volgende hoofdstuk laten zien, afwijken van de school waar een leerling daadwerkelijk wordt ingeschreven. Voor elke uitkomst schatten we het regressiemodel opnieuw. Dit geeft een groot aantal causale effecten, die we in het volgende hoofdstuk zullen bespreken.
In de tabellen met resultaten geven we bij de geschatte effecten steeds aan of deze significant zijn op 10%-niveau (*), 5%-niveau (**) of 1%-niveau (***). Dit geeft een idee hoe precies een effect is geschat. Significantie op 10%-niveau betekent dat als we een onderzoek naar een effect dat er eigenlijk niet is heel vaak zouden herhalen we (per ongeluk) in 10% van de gevallen een effect vinden dat significant is op 10%niveau. Omdat we in dit onderzoek veel effecten zullen rapporteren, zullen een aantal effecten toevallig significant zijn. Bij het bespreken van de resultaten houden we daarom als vuistregel aan dat een significant effect niet alleen moet staan. 9
Daarnaast zullen effecten voor plaatsing buiten top-5 altijd minder precies worden geschat dan effecten voor buiten top-3 omdat er minder leerlingen buiten top-5 geplaatst worden dan buiten top-3. Als we vinden dat een effect significant is voor buiten top-3 en het effect wordt naar buiten top-5 niet kleiner, dan zullen we bij de bespreking van de resultaten hier meestal geen onderscheid in maken. 6. Resultaten Bij het bespreken van de resultaten maken we onderscheid tussen uitkomsten die afkomstig zijn uit de administratieve data (schoolwisselingen, studievoortgang) en uitkomsten die afkomstig zijn van de vragenlijst (schooltevredenheid, studiegedrag, maatschappelijke houding en persoonlijke ontwikkeling). Bij de administratieve data nemen we alle ongeveer 18.000 leerlingen mee die tijdens de loting een risico liepen om niet geplaatst te worden op de school van eerste voorkeur. Deze leerlingen volgen we in de administratieve data elk jaar dat zij op een vo-school zaten. Een leerling die vijf jaar geleden mee deed aan de centrale loting observeren we dus in de eerste tot en met de vijfde klas van het vo. Bij de vragenlijst nemen we de ruim 8.300 leerlingen mee die tijdens de loting een risico liepen en de vragenlijst hebben ingevuld. Deze leerlingen observeren we enkel op het moment dat ze de vragenlijst invulden.
Omdat we bij de vragenlijsten minder waarnemingen hebben, voegen we hier alle vmbo niveaus samen. Om dezelfde reden voegen we ook alle jaren samen. In Tabellen 3, 4, 5, 6, en 7 staan de geschatte effecten voor uitkomsten uit de administratieve data en in Tabel 8 staan de uitkomsten van de vragenlijsten. We maken steeds onderscheid naar niet geplaatst zijn in de top-1, top-3 en top-5. Tabel 8 volgt de volgorde van de vragen in de vragenlijst. We bespreken de belangrijkste bevindingen van de vragenlijst en geven bij de bespreking steeds aan op welke vragen de resultaten betrekking hebben. Nummers voor de variabelen verwijzen naar het nummer van de corresponderende vraag in de vragenlijst. Tussen haakjes staat achter elke variabele een aanduiding van de schaal waarop die is gemeten. Schoolwisselingen Niet alle leerlingen gaan in het eerste jaar van het voortgezet onderwijs naar de school waar ze in de loting en matching zijn geplaatst of blijven daar gedurende hun hele schooltijd in het vo. We gaan daarom eerst na of zich hierin verschillen voordoen tussen leerlingen die wel of niet op de school van hun eerste voorkeur zijn geplaatst. In Tabel 3 staan de effecten van buiten de top-1, top-3 en top-5 geplaatst worden op de kans dat een leerling niet meer op school van plaatsing zit.
De tabel laat het effect apart zien voor de verschillende basisschooladviezen en voor de verschillende jaren sinds de centrale loting. De school van plaatsing is de school waarop een leerling wordt geplaatst in de loting en matching (inclusief aanpassingen vanwege de plaatsingsgarantie).
10
De resultaten laten zien dat voor alle basisschooladviezen geldt dat al in het eerste jaar een significant hoger percentage uitgelote leerlingen voor de eerste voorkeur niet begint op de school van plaatsing of nog vóór oktober van school wisselt. De geschatte coëfficiënt van 0,145 voor vwo-leerlingen in het eerste jaar betekent dat een vwo-leerling die niet op de eerste voorkeur is geplaatst 14,5%-punt meer kans heeft om het eerste schooljaar niet te beginnen op de school van plaatsing dan een vwo-leerling die wel op de eerste voorkeur geplaatst is. Dit geschatte effect is groter voor plaatsing buiten top-5 dan voor buiten top-3 en groter voor plaatsing buiten top-3 dan voor buiten top-1. Het effect is groter voor vmbo-b en vmbo-k leerlingen dan voor vmbo-t, havo en vwo leerlingen. Na het eerste jaar zijn er geen substantiële veranderingen van het effect meer. In sommige gevallen wordt het effect zelfs kleiner. Er veranderen dan meer leerlingen die aanvankelijk op de school van eerste voorkeur geplaatst zijn van school dan leerlingen die uitgeloot waren. Dit is bijvoorbeeld het geval voor havo.
Tabel 3: Effect van niet geplaatst worden in top-x op kans om niet meer op school van plaatsing zitten, per basisschooladvies en jaar sinds loting Jaar sinds loting vwo havo vmbo-t vmbo-b/k Buiten top-1 1 0,145*** 0,209*** 0,218*** 0,320*** 2 0,159*** 0,140*** 0,194*** 0,238*** 3 0,164*** 0,108*** 0,187*** 0,173*** 4 0,164*** 0,083*** 0,192*** 0,160*** 5 0,182*** 0,092*** 6 0,129*** Buiten top-3 1 0,279*** 0,341*** 0,510*** 2 0,306*** 0,261*** 0,601*** 3 0,288*** 0,210*** 0,523*** 4 0,292*** 0,197*** 0,512*** 5 0,321*** 0,171*** 6 0,233*** Buiten top-5 1 0,399*** 0,463*** 2 0,444*** 0,426*** 3 0,421*** 0,338*** 4 0,408*** 0,321*** 5 0,419*** 0,262*** 6 0,363*** Noot: *, ** en *** geeft aan dat de schatting significant is op 10%, 5% en 1% niveau. Voor vmbo-t (b/k) is het aantal leerlingen buiten de top-5 (top-3) te gering. Gebaseerd op administratieve data.
11
Tabel 4: Effect van niet geplaatst worden in top-x op kans om naar een school te gaan die hoger op de voorkeurslijst stond, per basisschooladvies en jaar sinds loting Jaar sinds loting vwo havo vmbo-t vmbo-b/k Buiten top-1 1 0,081*** 0,108*** 0,141*** 0,219*** 2 0,106*** 0,118*** 0,140*** 0,171*** 3 0,113*** 0,106*** 0,134*** 0,139*** 4 0,115*** 0,100*** 0,144*** 0,130*** 5 0,100*** 0,087*** 6 0,066** Buiten top-3 1 0,154*** 0,171*** 0,322*** 2 0,210*** 0,206*** 0,417*** 3 0,215*** 0,183*** 0,403*** 4 0,214*** 0,174*** 0,444*** 5 0,203*** 0,162*** 6 0,170*** Buiten top-5 1 0,219*** 0,249*** 2 0,291*** 0,315*** 3 0,303*** 0,302*** 4 0,296*** 0,304*** 5 0,272*** 0,258*** 6 0,226*** Noot: *, ** en *** geeft aan dat de schatting significant is op 10%, 5% en 1% niveau. Voor vmbo-t (b/k) is het aantal leerlingen buiten de top-5 (top-3) te gering. Gebaseerd op administratieve data. Vervolgens kijken we waar de leerlingen heen zijn gegaan die niet meer op de school zitten waarop ze zijn geplaatst. Hierbij maken we onderscheid tussen naar een school gaan die hoger op de voorkeurslijst staat en naar een school gaan die niet meedoet aan de centrale loting in Amsterdam. Scholen die niet meedoen aan de loting liggen meestal buiten Amsterdam. Tabel 4 laat het effect zien op de kans dat een leerling terecht komt op een school die hoger op de voorkeurslijst staat.
Hierbij moet worden opgemerkt dat leerlingen die op hun eerste voorkeur terecht zijn gekomen niet naar een hogere school kunnen wisselen. Dit effect laat dus zien welk percentage van de leerlingen die niet op de eerste voorkeur is geplaatst naar een school gaat die hoger op de voorkeurslijst staat dan de school van plaatsing. De geschatte coëfficiënt van 0,081 voor vwo-leerlingen in het eerste jaar betekent dat 8,1% van de vwo-leerlingen die niet op de eerste voorkeur zijn geplaatst aan het begin van het eerste schooljaar op een vo school zit die hoger op de voorkeurslijst stond dan de school van plaatsing. Dit kan zijn gegaan via de reservelijsten die opgesteld worden na de centrale loting. Vergelijking van de effecten in Tabellen 3 en 4 maakt duidelijk dat niet alle uitgelote leerlingen die niet op hun school van plaatsing starten naar een school gaan die hoger op hun voorkeurslijst staat. Als we
12
de schatte effecten in beide tabellen met elkaar vergelijken dan zien we dat ongeveer de helft van deze leerlingen naar een school gaat die hoger op de voorkeurslijst stond. De percentages impliceren dat jaarlijks tussen de 15 en 20 vwo-leerlingen die buiten hun top-5 geplaatst worden alsnog naar een school gaan die hoger op de voorkeurslijst stond. Wat verder opvalt in Tabel 4 is dat het grootste deel van het effect al plaatsvindt in (of voorafgaand aan) het eerste schooljaar. Tussen de uitslag van de centrale loting en het begin van het eerste schooljaar zitten een aantal maanden waarin sommige leerlingen afzien van het gedane aanbod waardoor er plaatsen vrijkomen voor leerlingen die daar graag gebruik van maken. Tot een bepaalde datum loopt dat via de reservelijsten, maar na het opheffen van de reservelijsten kan er ook nog gewisseld worden. Na het eerste jaar is er voor leerlingen die buiten de top-5 of top3 terecht zijn gekomen nog een kleine toename van het effect tussen het eerste en tweede schooljaar, maar daarna zijn er geen veranderingen meer.
Tabel 5: Effect van niet geplaatst worden in top-x op kans om naar een school buiten Amsterdam te gaan voor leerlingen wonend in Amsterdam, per basisschooladvies en jaar sinds loting Jaar sinds loting vwo havo vmbo-t vmbo-b/k Buiten top-1 1 0,020*** 0,015*** 0,011* 0,021* 2 0,019*** 0,006 0,011 0,017 3 0,014** 0,003 0,007 0,019 4 0,024*** -0,012 0,012 0,002 5 0,053*** -0,008 6 0,066*** Buiten top-3 1 0,049*** 0,026*** 0,030** 2 0,051*** 0,009 0,016 3 0,048*** 0,001 0,067 4 0,061*** -0,006 0,069 5 0,112*** 0,002 6 0,082** Buiten top-5 1 0,079*** 0,051*** 2 0,083*** 0,031* 3 0,073*** 0,002 4 0,078*** -0,016 5 0,112*** -0,036 6 0,018 Noot: *, ** en *** geeft aan dat de schatting significant is op 10%, 5% en 1% niveau. Voor vmbo-t (b/k) is het aantal leerlingen buiten de top-5 (top-3) te gering. Gebaseerd op administratieve data.
13
Tabel 5 laat de effecten zien om naar een school te gaan die niet meedoet aan de centrale loting in Amsterdam. We laten deze resultaten alleen zien voor leerlingen die in Amsterdam wonen op het moment van de loting en matching. Voor leerlingen van buiten Amsterdam is het minder interessant dat zij starten op een lokale school als ze zijn uitgeloot in Amsterdam. De geschatte effecten laten zien dat als een vwoleerling uit Amsterdam niet in de top-5 van de voorkeurslijst geplaatst wordt de kans met 7,9%-punt toeneemt dat deze leerling op een school buiten Amsterdam begint. Dit effect is groter voor vwo-leerlingen dan voor havo-leerlingen en voor havo- en vmbo-leerlingen is het effect alleen significant in het eerste jaar. Net als in tabel 3 en 4 vindt het grootste deel van het effect plaats in (of voorafgaand) aan het eerste jaar. Tabel 6: Effect van niet geplaatst worden in top-x op kenmerken van de school en medeleerlingen (in eerste jaar), per basisschooladvies vwo havo vmbo-t vmbo-b/k Buiten top 1 School met hoger niveau n.v.t. -0,078*** -0,130*** -0,131*** School met lager niveau 0,373*** 0,292*** 0,071*** n.v.t.
Reisafstand naar school 0,309*** -0,385*** 0,075 0,239 Rang school op lijst 2,984*** 2.758*** 1,627*** 1,220*** Aandeel leerlingen met 0,071*** 0,095*** 0,079*** 0,095*** huishoudinkomen onder mediaan Geen migratieachtergrond -0,063*** -0,094*** -0,084*** -0,060*** Cito-score -2,372*** -2,342*** -2,922*** -5,872*** Buiten top 3 School met hoger niveau n.v.t. -0,081*** -0,112*** School met lager niveau 0,538*** 0,309*** 0,150*** Reisafstand naar school 0,409* -0,437*** 0,318 Rang school op lijst 5,528*** 5,095*** 3,802*** Inkomen onder mediaan 0,101*** 0,120*** 0,116*** Geen migratieachtergrond -0,075*** -0,118*** -0,160*** Cito-score -3,647*** -2,579*** -3,359*** Buiten top 5 School met hoger niveau n.v.t. -0,099*** School met lager niveau 0,676*** 0,322*** Reisafstand naar school 0,421 -0,300 Rang school op lijst 7,443*** 7,176*** Inkomen onder mediaan 0,146*** 0,149*** Geen migratieachtergrond -0,096*** -0,150*** Cito score -4,947*** -3,145*** Noot: *, ** en *** geeft aan dat de schatting significant is op 10%, 5% en 1% niveau. Voor vmbo-t (b/k) is het aantal leerlingen buiten de top-5 (top-3) te gering. Gebaseerd op administratieve data.
14
De uitslag van de centrale loting heeft invloed op de kenmerken van de school waarop een leerling wordt geplaatst. Tabel 6 laat zien in hoeverre plaatsing buiten de top-1, top-3 en top-5 van invloed is op de reisafstand, de rang van de school op de voorkeurslijst, het aandeel medeleerlingen waarvan de ouders een laag inkomen hebben, het aandeel medeleerlingen zonder migratieachtergrond, en of de school naast het niveau van de leerling ook een hoger of lager niveau aanbiedt. Voor alle niveaus geldt dat uitloting ertoe leidt dat medeleerlingen op de school van plaatsing gemiddeld lagere Cito-scores hebben en hun ouders vaker een laag inkomen hebben en ook vaker een migratieachtergrond hebben. Voor uitgelote vwo-leerlingen is de school buiten de top-x gemiddeld wat verder weg dan voor ingelote vwo-leerlingen, voor havo-leerlingen is dit juist andersom. Een verklaring hiervoor kan zijn dat de populaire scholen voor havo-leerlingen vrij dicht bij elkaar liggen. Leerlingen die hier uitgeloot worden hebben lager op hun voorkeurslijst scholen staan die dichter bij hun huis zijn. De kans dat de school buiten de top-x een hoger niveau aanbiedt is voor alle niveaus kleiner, terwijl de kans dat de school een lager niveau aanbiedt juist hoger is.
Deze effecten zijn vergelijkbaar voor plaatsing buiten de top-1/top3/top-5, behalve voor vwo waar de kans dat de school een lager niveau aanbiedt groter wordt als de school van plaatsing verder buiten de top-1 is. Deze resultaten zijn consistent met het idee dat leerlingen vaak een voorkeur hebben voor scholen waar opstroom naar een hoger niveau wel mogelijk is, maar afstroom naar een lager niveau niet kan. Voor leerlingen die niet geplaatst zijn op hun top-1 staat de school van plaatsing ongeveer 2,5 plek lager op de voorkeurslijst en dit verschil wordt vanzelfsprekend groter als de leerlingen niet geplaatst is in de top-3 en top-5. Studieresultaten Er zijn dus duidelijke verschillen tussen de voorkeursscholen en de scholen waarop de leerlingen die zijn uitgeloot geplaatst worden. De volgende vraag is of dit ook van invloed is op de leerprestaties van de leerling. Als leerlingen hun school kiezen omdat zij daar denken het meest te leren dan kan uitgeloot worden van invloed zijn op de kans op een succesvolle vo-schooltijd. In Tabel 7 kijken we wat het effect is van niet geplaatst worden in de top-1, top-3 en top-5 op de kans dat de leerling zonder te blijven zitten nog steeds op het niveau van het basisschooladvies zit. Vanwege de brugklassen en gemengde klassen kunnen we dit alleen vanaf het derde schooljaar goed waarnemen.
De resultaten laten zien dat er geen significant effect is van uitgeloot worden op de kans om zonder vertraging nog steeds (minstens) op het niveau van het basisschooladvies te zitten. Dat geldt zelfs voor leerlingen die geplaatst zijn op een school buiten de top-5 van hun voorkeurslijst. De uitkomst van de centrale loting lijkt dus geen effect te hebben op leerprestaties; leerlingen die laag op hun voorkeurslijst geplaatst zijn blijven net zo vaak (zonder te blijven zitten) op het niveau van hun basisschooladvies.5 5 Idealiter zouden we naar het slagen voor het eindexamen en de cijfers bij het centraal eindexamen
willen kijken. Dit hebben we niet gedaan omdat vanwege Covid-19 in 2020 geen centraal
15
Tabel 7: Effect van niet geplaatst worden in top-x op kans om zonder vertraging nog steeds (minstens) op het niveau van het basisschooladvies te zitten, per basisschooladvies en jaar sinds loting Jaar sinds loting vwo havo vmbo-t vmbo-b/k Buiten top-1 3 -0,017** 0,024* -0,003 -0,027 4 -0,008 0,011 0,001 -0,069** 5 -0,012 -0,023 6 -0,011 Buiten top-3 3 -0,008 0,012 0,078 4 -0,004 -0,003 0,100 5 0,017 0,011 6 -0,027 Buiten top-5 3 -0,013 0,038 4 -0,013 0,034 5 -0,010 0,069 6 -0,051 Noot: *, ** en *** geeft aan dat de schatting significant is op 10%, 5% en 1% niveau. Voor vmbo-t (b/k) is het aantal leerlingen buiten de top-5 (top-3) te gering. Gebaseerd op administratieve data. Schooltevredenheid Uitgelote havo en vwo-leerlingen scoren lager op tevredenheid met enkele aspecten van de school dan ingelote leerlingen (vraag 12 van de vragenlijst), zie Tabel 8. De ontevredenheid met de huidige school lijkt toe te nemen naarmate een leerling terecht komt op een school die lager op de voorkeurslijst staat. Havo-leerlingen lijken ook minder tevreden te zijn met de mentor, terwijl vwo-leerlingen minder tevreden zijn over de buitenschoolse activiteiten. Uitgelote vwo-leerlingen zijn juist tevreden over hun mentoren als ze op een school buiten hun top-3 terecht zijn gekomen.
Uitgelote vmbo-leerlingen zijn niet minder tevreden met aspecten van de school dan vmbo-leerlingen die wel op hun school van eerste voorkeur zijn geplaatst. Uitloting lijkt geen invloed te hebben op tevredenheid met het leven in het algemeen en met de kwaliteit van de lessen. Leerlingen die niet terecht gekomen zijn op de school van eerste voorkeur geven vaker aan liever op een andere school te willen zitten (vraag 13). Dit effect lijkt iets groter te zijn voor vmbo-leerlingen en havoleerlingen die buiten de top-3 zijn geplaatst dan voor vwo-leerlingen. Dit kan te maken hebben met (de diversiteit in) het aanbod. Voor havo en vwo-leerlingen is eindexamen heeft plaatsgevonden. Hierdoor zijn er geen examenresultaten voor het eerste cohort leerlingen in het laatste jaar van de havo. Resultaten van het eindexamen in 2021 zijn nog niet beschikbaar in de microdata omgeving van het CBS.
16
het effect het grootst voor leerlingen in het eerste jaar van het vo. Voor havoleerlingen verdwijnt het effect daarna, terwijl voor vwo-leerlingen in de latere jaren het antwoord steeds meer opschuift van “ja heel graag” naar “ja, misschien wel”. Studiegedrag De grotere ontevredenheid met (sommige aspecten van) school kan ertoe leiden dat de houding van leerlingen ten aanzien van onderwijs verandert. Aan de leerlingen is gevraagd in hoeverre ze het eens zijn met een aantal uitspraken over het belang van onderwijs. Dit gaat om het belang van goede cijfers, je best doen op school, plezier op school, veilig voelen op school, jezelf kunnen zijn op school en het belang van onderwijs voor een goed leven later (vraag 9). In de meeste gevallen zijn de geschatte effecten niet significant verschillend van nul. Uitzonderingen daarop zijn dat vwo-leerlingen die niet op de school van eerste voorkeur zijn geplaatst goede cijfers belangrijker vinden en meer hun best doen op school maar zich ook minder veilig voelen. Vmbo-leerlingen die niet op de school van eerste voorkeur zijn geplaatst achten school van meer belang voor later maar hebben minder plezier op school. Dat het uitgeloot worden op de school van eerste voorkeur geen nadelige gevolgen heeft op de houding van leerlingen ten aanzien van school, blijkt ook uit het studiegedrag van de leerlingen.
We zien dat vmbo en vwo-leerlingen meer tijd besteden aan hun huiswerk als ze niet geplaatst zijn op de school van hun eerste voorkeur (vraag 5). In het vmbo gaat het om ongeveer 2 uur meer per week, en in het vwo om bijna 1 uur meer. Er lijken geen systematische verschillen te zijn in wie er begeleiding geeft bij het huiswerk (vraag 6). Alleen havo-leerlingen die niet op hun school van eerste voorkeur zijn geplaatst rapporteren dat ze minder begeleiding op school krijgen bij hun huiswerk. Er is nauwelijks verschil in extra begeleiding op school (vraag 7) en de mate waarin ouders betrokken zijn (vraag 8). Alleen vmbo-leerlingen die buiten hun top-1 terecht zijn gekomen ontvangen meer begeleiding op school dan vmbo-leerlingen die op hun top-1 zijn geplaatst. We vinden geen effecten op spijbelen, maar havo en vwo-leerlingen die niet geplaatst worden op de school van hun eerste voorkeur worden minder vaak uit de les gestuurd dan leerlingen die wel geplaatst zijn op de school van hun eerste voorkeur (vraag 14). Havo-leerlingen die niet op hun eerste voorkeur geplaatst zijn, rapporteren ook dat ze minder vaak te laat komen.
17
Tabel 8: Effect van niet geplaatst worden in top-x op de uitkomsten uit de vragenlijst, per basisschooladvies 5. Huiswerk (uren per week) Hulp bij huiswerk van (schaal 1-5) 6a. Mentor 6b. Leraren 6c. Huiswerkbegeleiding op school 6d. Bijles/ Huiswerkbegeleiding buiten school 6e. Ouders 6f. Andere familie/bekenden 7. Extra begeleiding op school (1-10) 8. Ouders op de hoogte (1-10) Houding ten aanzien van onderwijs (1-5) 9a. Goede cijfers zijn belangrijk 9b. Doe mijn best op school 9c. Plezier op school 9d. Veilig op school 9e. Kan mijzelf zijn op school 9f. Onderwijs is belangrijk Cijfers (1-10) 10a. Nederlands 10b. Wiskunde 10c. Gemiddeld Maatschappelijke betrokkenheid (1-5) 11a. Luisteren naar elkaar 11b. Inzetten voor betere wereld 11c. Herverdelen inkomen 11d. Omgaan met andere cultuur 11e. Staken voor klimaat
vmbo Top-1 Top-3 2,003*** 2,658
Top-1 0,109
havo Top-3 0,203
Top-5 1,166
Top-1 0,874***
vwo Top-3 0,950**
Top-5 0,982
-0,152 -0,142 -0,157 -0,101
0,802 0,744 -0,223 0,180
0,031 0,005 -0,152* 0,110
0,018 -0,285** -0,292*** 0,186
0,016 -0,186 -0,383* 0,307
0,041 -0,015 -0,010 0,039
0,085 -0,035 -0,014 0,036
0,029 -0,030 -0,184 -0,135
-0,117 0,148 1,432*** -0,164
0,711 0,691 -1,895 -0,732
0,066 0,019 -0,095 0,028
0,008 -0,146 -0,313 -0,003
0,190 0,028 -0,330 0,048
-0,069 -0,011 -0,128 -0,078
-0,042 -0,012 -0,105 0,008
-0,131 -0,070 -0,145 -0,190
0,016 -0,357** -0,181 0,108 -0,045 0,281**
-0,234 0,361 -0,858** -0,418 0,082 -0,203
0,012 0,056 0,109 0,019 -0,025 0,012
-0,042 0,057 -0,019 -0,089 -0,026 0,012
-0,099 0,084 0,221 0,013 0,073 0,217
0,110*** 0,092** 0,028 -0,068* -0,006 0,052
0,188*** 0,071 -0,004 -0,025 0,050 0,075
0,130 -0,007 -0,143 -0,069 0,032 -0,018
-0,370*** -0,250 -0,268
-0,848** -0,752 -1,715**
0,054 0,092 0,131*
0,217* 0,105 0,101
-0,008 0,299 -0,118
0,167** -0,006 0,089*
0,103 0,001 0,064
0,330*** 0,065 0,190***
0,225*** -0,072 0,307* 0,201 -0,062
0,790** 0,419 0,810** 0,617*** 0,542
0,007 -0,052 -0,097 0,032 -0,091
-0,040 -0,063 -0,085 -0,012 -0,250**
-0,117 0,052 0,022 0,085 0,055
0,041 0,031 0,091** 0,124*** -0,061
0,027 0,011 0,036 0,101** -0,086
-0,025 -0,021 -0,048 0,094 -0,006
Noot: *, ** en *** geeft aan dat de schatting significant is op 10%, 5% en 1% niveau. Gebaseerd op vragenlijsten.
18
Tabel 8 (vervolg): Effect van niet geplaatst worden in top-x op de uitkomsten uit de vragenlijst Vmbo Tevredenheid (1-10) 12a. Leven algemeen 12b. Huidige school 12c. Huidige klas 12d. Mentor 12e. Kwaliteit van de lessen 12f. Buitenschoolse activiteiten 13. Liever op andere school (ja =1,2) 14a. Spijbel nooit 14b. Nooit te laat 14c. Nooit eruit gestuurd Aantal vrienden (max 6) 15a. Totaal aantal vrienden 15b. Aantal vrienden op school 15c. Aantal vrienden buiten school 16a. Drinkt nooit alcohol 16b. Rookt nooit sigaretten 16c. Gebruikt nooit drugs 16d. Nooit in aanraking met politie Persoonlijkheidskenmerken (1-5) 17a. Tevreden zoals ik ben 17b. Doorzetter 17c. Vertrouwen in toekomst 17d. Neem graag risico’s 17e. Vertrouwen in mijzelf 17f. Vind competitie leuk 17g. Stel vervelende dingen uit 17h. Presteer goed onder tijdsdruk
Top-1
Top-3
Top-1
havo Top-3
Top-5
Top-1
vwo Top-3
Top-5
0,417 0,292 0,133 0,970*** 0,398 0,266 0,171*** 0,003 -0,008 0,069
0,735 0,630 1,674 3,070** 1,125 -1,168 0,235* 0,280 0,234 -0,011
0,063 -0,160 -0,045 -0,008 0,098 0,106 0,045* -0,049 0,095** 0,086**
-0,173 -0,584*** -0,346* -0,401* -0,232 -0,256 0,160*** 0,004 0,164*** 0,106**
-0,377 -0,930** -0,161 -0,514 -0,227 -0,704 0,135** -0,055 0,094 -0,058
0,045 -0,105 0,071 0,062 -0,033 -0,385*** 0,042*** 0,013 0,038 0,032
0,152 -0,150 0,056 0,232** -0,043 -0,530*** 0,053*** 0,018 0,040 0,114***
0,040 -0,478*** -0,161 0,293 -0,207 -0,691** 0,059* 0,047 0,062 0,121**
0,012 0,183 -0,278 -0,022 -0,083 0,015 -0,094
-0,850 -0,320 -1,387*** 0,131 0,125 0,014 0,160
-0,060 0,108 -0,213* 0,011 -0,035* -0,014 0,029
0,069 0,070 0,014 -0,071* -0,004 -0,010 0,018
0,482* 0,521* 0,035 -0,039 0,025 0,017 0,112*
-0,029 -0,192** 0,149* 0,030 0,011 0,019 -0,002
0,132 -0,247** 0,385*** 0,035 -0,006 -0,007 -0,040
0,042 -0,383** 0,409** 0,031 0,006 -0,008 0,075
0,044 0,098 0,171 -0,027 0,048 0,089 -0,008 -0,130
1,344*** 0,633** 0,509* 0,635* 0,535** -0,235 -0,668 0,502
-0,050 0,031 0,035 -0,080 -0,038 0,087 -0,075 0,179**
-0,030 -0,008 0,157 -0,312** -0,020 -0,004 -0,079 -0,076
-0,157 -0,126 0,213 -0,296* -0,065 -0,190 -0,077 -0,286
0,024 0,083* 0,051 -0,007 0,012 0,027 -0,083 0,019
0,042 0,075 -0,022 -0,048 -0,007 -0,037 -0,202*** 0,002
-0,181 0,029 -0,064 -0,068 -0,151 -0,225* -0,220* -0,108
Noot: *, ** en *** geeft aan dat de schatting significant is op 10%, 5% en 1% niveau. Gebaseerd op vragenlijsten
19
De bovengenoemde effecten wijzen er dus niet op dat leerlingen die teleurgesteld zijn omdat ze niet naar hun eerste voorkeursschool konden daardoor ook minder goed hun best doen op school. De effecten wijzen eerder de andere kant op. Leerlingen die niet geplaatst zijn op de school van eerste voorkeur nemen school serieuzer. Voor havo en vwo-leerlingen vinden we ook kleine positieve effecten op de cijfers die gehaald worden als ze niet geplaatst zijn op de school van eerste voorkeur (vraag 10). Op het vmbo zijn de cijfers voor deze leerlingen juist lager. Omdat schoolcijfers niet per se goed te vergelijken zijn tussen scholen, kan hier niet uit worden geconcludeerd dat leerlingen op een school buiten hun top-1 meer (op havo en vwo) of minder (op vmbo) leren. Betere leeruitkomsten zouden voor uitgelote vwo-leerlingen overigens wel in overeenstemming zijn met meer tijdsbesteding aan huiswerk en het grotere belang dat aan hoge cijfers wordt gehecht. Maatschappelijke houding en persoonlijke ontwikkeling De administratieve uitkomsten lieten zien dat de school waarop een uitgelote leerling geplaatst wordt vaak andere kenmerken en een andere leerlingensamenstelling heeft dan de school van eerste voorkeur. Dat kan van invloed zijn op hoe leerlingen kijken naar de maatschappij.
Aan leerlingen zijn enkele stellingen voorgelegd om hun betrokkenheid bij maatschappelijke vraagstukken in beeld te brengen (vraag 11). Het gaat daarbij om stellingen ten aanzien van naar elkaar luisteren bij verschillen van mening, inzet van jongeren voor een betere wereld, herverdelen van inkomen, omgang met mensen van andere culturen of van een ander geloof, en het staken door scholieren voor het klimaat. Vmbo-leerlingen die buiten hun top-1 zijn geplaatst, zijn het vaker eens met de stellingen ten aanzien van luisteren bij meningsverschillen, herverdelen van inkomen en omgang met mensen van andere culturen of een ander geloof, dan vmbo-leerlingen die wel op hun top-1 zijn geplaatst. Hetzelfde geldt voor uitgelote vwo-leerlingen ten aanzien van de stellingen over herverdelen van inkomen en omgang met andere culturen. Uitloting heeft enkel een negatief effect als het gaat om de stelling over klimaatstaking voor uitgelote havo-leerlingen. Tenslotte kijken we naar de sociale omgeving van de leerlingen. Uitgeloot worden voor de school van eerste voorkeur heeft geen invloed op het aantal vrienden dat leerlingen opschrijven (vraag 12). Hierbij merken we op dat naar maximaal zes vrienden is gevraagd. Vmbo-leerlingen die buiten hun top-3 geplaatst worden geven aan minder vrienden te hebben die op dezelfde school zitten.
We zien dat uitgelote vwo-leerlingen vaker aangeven dat vrienden op een andere school zitten dan zij zelf. Toch lijkt het er ook voor deze groep op dat zij geen moeite hebben om op hun voschool nieuwe vrienden te maken. Vwo-leerlingen die uitgeloot zijn op hun school van eerste voorkeur geven namelijk ook aan dat het merendeel van hun vrienden bij ze op school zit. Omdat voor alle leerlingen het merendeel van de vrienden op dezelfde school zit, zorgt uitgeloot worden voor de school van eerste voorkeur er
20
dus voor dat een leerling andere vrienden zal vinden, maar we vinden geen effect van uitloting op ongewenst gedrag zoals roken of gebruik van alcohol (vraag 16). De sociale omgeving en school kunnen van invloed zijn op de persoonlijke ontwikkeling van leerlingen. Daarom is aan leerlingen gevraagd om aan te geven in welke mate uitspraken die betrekking hebben op persoonlijkheidskenmerken van toepassing zijn op zichzelf (vraag 17). De uitspraken hebben betrekking op tevredenheid met jezelf, doorzetten, optimisme, risicohouding, zelfvertrouwen, competitiviteit, uitstelgedrag en presteren onder druk. Uitgelote vmbo-leerlingen die op een school buiten hun top-3 terecht zijn gekomen, zijn meer tevreden met zichzelf, zetten meer door, zijn optimistischer, zijn minder risicomijdend en hebben meer zelfvertrouwen dan vmbo-leerlingen die op hun top-1 school geplaatst zijn. Voor uitgelote havo-leerlingen geldt dat ze minder bereid zijn risico te nemen en zeggen beter te presteren onder tijdsdruk. Uitgelote vwo-leerlingen zeggen minder vaak vervelende dingen uit te stellen. 7. Conclusies In dit rapport hebben we onderzocht wat de gevolgen zijn van uitgeloot worden op de school van eerste voorkeur. We hebben hierbij gekeken naar de leerlingen die tussen 2015 en 2019 hebben meegedaan aan de centrale loting voor vo-scholen in Amsterdam.
Het idee achter de empirische analyse is dat we steeds leerlingen hebben vergeleken die dezelfde voorkeurslijst voor vo-scholen hadden maar door de willekeurige lotnummers op andere scholen terecht zijn gekomen. We hebben de voorkeurslijsten gekoppeld aan administratieve onderwijsuitkomsten en de antwoorden op een vragenlijst. Onze resultaten laten zien dat een vrij substantieel deel van de leerlingen die niet geplaatst worden op de school van eerste voorkeur al voor of aan het begin van het eerste studiejaar naar een andere school gaat dan de school van plaatsing. Voor leerlingen die buiten hun top-5 geplaatst worden is dit rond de 40%. Ongeveer de helft van deze leerlingen begint op een school die hoger stond op de voorkeurslijst. Dit kan het gevolg zijn van het gebruik van de reservelijsten. Een kleiner deel (van voornamelijk vwo-leerlingen) gaat naar een school buiten Amsterdam. Als een leerling uitgeloot wordt voor de school van eerste voorkeur, dan komt deze leerling vaak terecht op een school met andere kenmerken en een significant andere leerlingensamenstelling. Het duidelijkste effect van uitloten voor de school van eerste voorkeur vinden we voor het antwoord op de vraag of leerlingen liever op een andere school hadden gezeten. Voor alle niveaus geven uitgelote leerlingen significant vaker aan liever naar een andere school te gaan.
Het effect is het grootst in het eerste jaar van het vo en neemt daarna af. De omvang van het effect is beperkt. Bijvoorbeeld onder de havo-leerlingen die buiten hun top-5 geplaatst zijn geeft 13,5%-punt meer aan naar een andere school te willen dan van de leerlingen die op hun eerste voorkeur kwamen. Ook onder de uitgelote leerlingen wil een ruime meerderheid van de 21
leerlingen liever niet meer naar een andere school. Uitgelote leerlingen zijn over het algemeen ook iets minder tevreden over (sommige aspecten van) hun school. De resultaten laten zien dat uitgelote leerlingen meer tijd aan huiswerk besteden, hoge cijfers belangrijker vinden en deze ook halen, en minder vaak ongewenst schoolgedrag vertonen (te laat komen, uit de les gestuurd worden). De administratieve data laten geen verschil zien in de studievoortgang tussen uitgelote en ingelote leerlingen, zij zitten even vaak zonder vertraging op het niveau van het basisschooladvies. De komende jaren kan hier meer over worden gezegd wanneer meer leerlingen eindexamen gedaan hebben en vervolgonderwijs gaan doen. Als leerlingen door pech in de centrale loting op een andere school terechtkomen dan zorgt dat ervoor dat ze in een andere sociale en schoolomgeving terechtkomen. Dit is van invloed op hoe leerlingen kijken naar de maatschappij en wie in hun vriendenkring zitten. Dit heeft echter geen effect op ongewenst gedrag en ook geen negatief effect op hoe leerlingen zichzelf zien. Ten slotte dient te worden opgemerkt dat wij hebben gekeken naar de gemiddelde effecten van niet geplaatst worden op de school van eerste voorkeur. Het kan niet uitgesloten worden dat plaatsing op een school die laag op de voorkeurslijst staat voor sommige individuele leerlingen nadelige gevolgen heeft.
22
Bijlage A: Afname van de vragenlijsten De onderstaande tabel geeft aan bij welke scholen we vragenlijsten hebben afgenomen en wanneer we dat hebben gedaan. Oktober November December Januari Februari Maart September November December Mei
2019/’20 Ir. Lelylyceum, Wellant Sloten, Spring High Amsterdamse Mavo, Vox College, CBurg College, Sweelinck College, Kiem Montessori, Fons Vitae Caland Lyceum, De Nieuwe Havo, Spinoza Lyceum, Openbare Scholengemeenschap Bijlmer, Havo de Hof DENISE, Cartesius 2, Barlaeus Gymnasium, Comenius, Vossius Gymnasium, Het 4e Gymnasium, Hyperion, St. Nicolaas Lyceum Montessori Lyceum Oost, Metis Lyceum, Cygnus Gymnasium, Spinoza21first, Damstede St. Ignatius Gymnasium, Het Amsterdams Lyceum 2020/’21 Gerrit van der Veen Cartesius, Christelijke Scholengemeenschap Buitenverldert, Berlage Lyceum, IJburg College 1 Hervormd Lyceum Zuid
23
Bijlage B: De vragenlijst
Vragenlijst voor leerlingen in het voortgezet onderwijs in Amsterdam Om meer te weten te komen over je ervaringen op school ontvang je deze vragenlijst. We verzoeken je vriendelijk deze vragenlijst in te vullen. De informatie die we door deze vragenlijst verzamelen wordt vertrouwelijk behandeld. Door de vragenlijst in te vullen, stem je in met de koppeling van de antwoorden aan administratieve gegevens en voor het gebruik van de gegevens voor onderzoeksdoeleinden. De antwoorden op de vragenlijst zijn persoonlijk. Overleg daarom tijdens het invullen hiervan niet met anderen.
START VRAGENLIJST 1a
Geslacht:
1 2 1b
jongen meisje
Geboortedatum:
-
-
1c
Postcode:
1d
Als je je postcode niet weet, vul dan hieronder je straatnaam in. Straatnaam
2
Op welke school zit je?
3
In welke klas zit je?
24
4
Welk onderwijsniveau volg je momenteel? Als je in een gemengde klas zit kun je meerdere niveaus kiezen.
1 2 3 4 5 5
vmbo-b vmbo-k vmbo- t/mavo havo vwo
Hoeveel uur besteed je gemiddeld per week aan het maken van huiswerk?
uur
6
Hoe vaak krijg je hulp bij je huiswerk van: je mentor andere leraren op school huiswerkbegeleiding op school bijles/huiswerkbegeleiding buiten school je ouder(s) andere familieleden/bekenden
7
soms
regelmatig
vaak
1 1 1 1 1 1
2 2 2 2 2 2
3 3 3 3 3 3
4 4 4 4 4 4
5 5 5 5 5 5
2
3
4
10 heel goed mogelijk
Weet ik niet
5
6
7
8
9
Zijn je ouders goed op de hoogte van hoe het gaat met jou op school? 1 helemaal niet op de hoogte
9
bijna nooit
Is het mogelijk om binnen de school extra begeleiding te krijgen als je dat nodig hebt? 1 helemaal niet mogelijk
8
nooit
2
3
4
5
6
7
8
9
10 zeer goed op de hoogte
Ben je het met deze uitspraken oneens of eens?
Ik vind het belangrijk om goede cijfers te halen Ik doe mijn best voor school Ik ga met plezier naar school Ik voel mij veilig op school Ik heb het gevoel dat ik mezelf kan zijn op school Onderwijs is belangrijk om later een goed leven te krijgen
25
erg oneens
oneens
neutraal
mee eens
erg mee eens
1 1 1 1 1
2 2 2 2 2
3 3 3 3 3
4 4 4 4 4
5 5 5 5 5
1
2
3
4
5
10a
Welk cijfer sta je momenteel voor: Als je het niet precies weet, vul dan in wat je denkt dat ongeveer je cijfer is. Als jouw school geen cijfers geeft, kruis dan niet van toepassing aan.
10b
Nederlands:
niet van toepassing
Wiskunde:
niet van toepassing
Weet je ook wat je gemiddelde is voor al je vakken samen?
Gemiddelde: 11
weet ik niet, niet van toepassing
Hieronder staan enkele uitspraken. We vragen je om bij elke uitspraak aan te geven of je het hiermee oneens of eens bent. erg oneens
oneens
neutraal
mee eens
erg mee eens
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
mensen moeten goed naar elkaar luisteren, ook al verschillen ze van mening ik vind het belangrijk dat kinderen en jongeren zich inzetten voor een betere wereld mensen die genoeg verdienen, moeten samen zorgen voor de mensen die het minder goed hebben ik vind het leuk om te gaan met mensen die anders zijn dan ik, bijvoorbeeld met een ander geloof of met een andere cultuur ik vind het goed dat scholieren staken voor het klimaat. 12
Op een schaal van 1 tot en met 10, hoe tevreden ben je met: Hoe tevreden ben je met:
je leven in het algemeen? de school waarop je zit? de klas waarin je zit? je mentor? de kwaliteit van de lessen? de buitenschoolse activiteiten die de school aanbiedt?
13
2
3
4
5
6
7
8
9
10 heel tevreden
Had je liever op een andere school in Amsterdam gezeten?
1 2 3 4 14
1 heel ontevreden
ja, heel graag, op: _______________________________________________ ja, misschien wel liever niet zeker niet
Hoe vaak… elke dag spijbel je een lesuur? kom je te laat op school? word je uit de les gestuurd?
één of meerdere één of meerdere keren per week keren per maand
1 1 1
2 2 2
26
3 3 3
minder vaak
nooit
4 4 4
5 5 5
15
Wat zijn de voornamen van de vrienden/vriendinnen waar je het meest mee omgaat? Geef bij iedere vriend(in) aan of hij/zij bij jou op school zit of niet. Je kunt maximaal 6 vrienden/vriendinnen noemen, maar minder is ook goed. De volgorde maakt niet uit. Zit bij je op school
16
ja
nee
vriend(in) 1:___________________________________
1
2
vriend(in) 2: ___________________________________
1
2
vriend(in) 3: ___________________________________
1
2
vriend(in) 4: ___________________________________
1
2
vriend(in) 5: ___________________________________
1
2
vriend(in) 6: ___________________________________
1
2
Hoe vaak… drink je alcohol? rook je sigaretten? gebruik je drugs? ben je in aanraking geweest met de politie?
17
nooit
bijna nooit
elke maand
elke week
weet ik niet
1 1 1
2 2 2
3 3 3
4 4 4
5 5 5
1
2
3
4
5
Hieronder staan enkele uitspraken. We vragen je om bij elke uitspraak aan te geven hoe goed die bij jou past.
ik ben tevreden met mezelf zoals ik ben ik ben een doorzetter ik denk dat het goed met me zal gaan in de toekomst ik neem graag risico’s ik heb vertrouwen in mezelf ik vind competitie leuk ik stel vervelende dingen uit ik presteer goed onder tijdsdruk
past helemaal niet bij mij
past niet bij mij
neutraal