Bijlage 1. Evaluatie Kansenaanpak Primair Onderwijs 2022-2023.pdf

Evaluatie Kansenaanpak Primair Onderwijs 2022-2023

1

Voorwoord Dit evaluatierapport betreft een inhoudsevaluatie van de interventies van 173 Amsterdamse basisscholen binnen de subsidie Kansenaanpak Primair Onderwijs. Dit rapport is opgesteld in opdracht van de Directie Onderwijs, Jeugd, Zorg en Diversiteit van de gemeente Amsterdam.

Het rapport bestaat uit de volgende onderdelen:

P3: Samenvatting Deel A: Inhoudsevaluatie 2022-2023 P4: Deel A, §1: Inleiding P4: Deel A, §2: Methode P5: Deel A, §3: Resultaten P13: Deel A, §4: Conclusie

P14: Samenvatting Deel B: Effectonderzoek 2021-2022 P15: Deel B, §1: Woordenschatinterventies: hoe en waarom? P16: Deel B, §2: Effectstudies: een ingewikkelde onderneming P17: Deel B, §3: LVS-scores op de Amsterdamse scholen P19: Deel B, §4: LVS-scores van een controle-groep P22: Deel B, §5: Effect-analyse P24: Deel B, §6 Beperkingen P25: Deel B, §7: Conclusie

P26: Deel C: Bibliografie P28: Deel D: Methodologische bijlage

Amsterdam, juni 2024

Sible Andringa Sybren Spit Justine Griffioen

2

Samenvatting Deel A: inhoudsevaluatie 2022-2023 In 2018 is de subsidie Kansenaanpak voor het Primair Onderwijs in het leven geroepen door de gemeente Amsterdam. Amsterdamse basisscholen kunnen deze subsidie aanvragen om de kansengelijkheid bij hun leerlingen te vergroten. De Kansenaanpak heeft als doelgroep basisschoolleerlingen uit gezinnen waarvan de ouders/verzorgers een opleidingsniveau van mbo 2 of lager hebben en/of een inkomen hebben van onder bijstandsniveau (Gemeente Amsterdam, 2017). Scholen die minstens 10% doelgroepleerlingen in hun populatie hebben, ontvangen

een

subsidiëring

van

€800,-

per

doelgroepleerling.

Uniek

aan

het

kansenaanpakbeleid van de gemeente is dat het scholen in staat stelt maatwerk te leveren. Scholen mogen binnen bepaalde grenzen zelf bepalen hoe zij de aangevraagde middelen willen inzetten en hebben dus veel vrijheid om middelen naar inzicht in te zetten. Eerdere evaluaties van dit beleid hebben laten zien dat scholen ruimschoots gebruik maken van deze vrijheid. In voorgaande jaren is onderzoek gedaan naar de inzet van deze subsidie, waarbij de focus lag op de verschillende soorten interventies: de inhoud, uitvoering en opbrengsten ervan (Kuiken & Phoa, 2019; Andringa et al., 2020; Andringa et al., 2021; Andringa et al., 2022). In de evaluatie van 2021-2022 is hier vervolgens een wat diepgaander, kwalitatief onderzoek naar specifiek de woordenschatinterventies die door zesentwintig scholen in de gemeente Amsterdam zijn uitgevoerd aan toegevoegd, evenals een pilot om het effect van deze woordenschatinterventies in kaart te brengen. Deel A van het rapport van 2022-2023 behoudt de vorm van eerdere inhoudsevaluaties, door een algemene evaluatie van de inhoud van de aanvragen van de basisscholen te presenteren. De inhoudsevaluatie laat zien dat scholen ook in 2022-2023 gebruik hebben gemaakt van de mogelijkheid om eigen keuzes te maken. In totaal hebben 173 p.o. scholen in Amsterdam een beroep gedaan op middelen uit de kansenaanpak.

Zij hebben die middelen ingezet op maar liefst 17 verschillende domeinen, en veel scholen zetten in op meerdere domeinen. ‘Lezen’ en ‘rekenen’ waren de meest voorkomende domeinen waarvoor scholen de kansenaanpakgelden inzetten (respectievelijk 56% en 46% van de scholen), met ‘ouderbetrokkenheid’ als goede derde (41% van de scholen). Hoe precies vorm wordt gegeven aan de interventies varieert per school. Bijna alle scholen maken gebruik van extra uitvoerende krachten, en bijna allemaal creëren ze extra leertijd, maar de manier waarop dat gebeurt verschilt sterk. Een andere opvallende uitkomsten is dat scholen de kansenaanpak-middelen meestal breed inzetten, dat wil zeggen ten behoeve van alle jaargroepen. Deze grote variatie aan interventies en interventievormen laat zien dat het kansenaanpakbeleid van de gemeente succesvol is in het mogelijk maken van maatwerk: scholen kunnen hun aanpak op de specifieke context en doelgroep toesnijden. We denken dat

3

het belangrijk is dat deze vrijheid voor de scholen blijft, en dat zij vooral worden ondersteund in hoe ze de juiste interventie voor hun eigen context kiezen.

1 Inleiding Voor het schooljaar 2022-2023 hebben 173 basisscholen in Amsterdam een aanvraag gedaan voor de Kansenaanpaksubsidie. Dit deel van het rapport bestaat uit een inventarisatie van de verschillende interventies die deze scholen in hun aanvraag hebben opgenomen. De resultaten die hier worden besproken zijn gebaseerd op de aanvragen voor het schooljaar 2022-2023. De evaluatie inventariseert dus op welke jaargroepen, onderwerpen en onderwijsvormen de scholen van plan waren in te zetten. Het is mogelijk dat scholen interventies uiteindelijk niet of anders hebben vormgegeven dan zij in hun aanvraag hebben beschreven. Alle 173 aanvragen die voor het schooljaar 2022-2023 zijn ingediend zijn door de gemeente Amsterdam gehonoreerd. De aanvragen zijn ingediend om in totaal 14.596 doelgroepleerlingen van ondersteuning te kunnen voorzien. Het gemiddelde percentage doelgroepleerlingen per school is 43,5% (sd = 20,77), uiteenlopend van 10% tot 87%.

2 Methode Scholen kunnen elk jaar een aanvraag voor de Kansenaanpak subsidie indienen. In deze aanvraag worden vragen gesteld als: ‘Op welke aandachtspunten en welke (groep) leerlingen richt u de extra inzet in het komende schooljaar?’ en ‘Wat is het Kansenaanpak po activiteitenplan?’. Op basis van de antwoorden op deze vragen is deze inhoudsevaluatie tot stand gekomen. Hierbij zijn alle aanvragen beoordeeld op drie kenmerken: welke jaargroepen de doelgroep waren van de interventie(s), de inhoud van de interventies en de vorm van de interventies. Als eerste is er een overzicht gemaakt van de jaargroepen waar scholen op willen inzetten. Scholen kunnen antwoorden geven als: ‘groep 5-8’, ‘de hele school’, ‘alle leerlingen’, ‘de bovenbouw’, etc. Wanneer een school heeft aangegeven in de jaargroepen 3 en 4 een interventie voor woordenschat door te voeren en in de jaargroepen 5 tot en met 8 voor rekenen, is deze school geschaard onder de categorie 3-8 (jaargroepen 3 tot en met 8). Het gaat er dus om dat er een interventie in de jaargroep plaatsvindt, en niet welke interventie dat is. Wanneer een school in de aanvraag geen jaargroep heeft gespecificeerd, is deze geschaard onder de categorie 1-8 (jaargroepen 1 tot en met 8).

Verder hebben we ervoor gekozen om scholen die aangaven zich (vooral/met name) op bepaalde jaargroepen te focussen/ te richten of die alleen voor een deel van hun geplande interventies een jaargroep hebben gespecificeerd wel in te delen op basis van de genoemde jaargroepen. Dit betekent dat deze scholen in werkelijkheid ook interventies bij andere groepen hebben kunnen doorvoeren.

4

Vervolgens is er een overzicht gemaakt van de onderwerpen van de interventies. Er is een onderscheid gemaakt tussen zeventien onderwerpen: taal, spelling, woordenschat, schrijven,

spreken,

luisteren,

lezen,

begrijpend

lezen,

technisch

lezen,

rekenen,

ouderbetrokkenheid, sociaal-emotionele ontwikkeling, zelfvertrouwen, studievaardigheden, praktisch leren, wereldoriëntatie en digitale vaardigheden. Deze onderwerpen zijn grotendeels gebaseerd op de evaluatie van de Kansenaanpak subsidie van schooljaar 2019-2020 (Glazenborg, et al., 2020). De onderwerpen wereldoriëntatie en digitale vaardigheden zijn in de vorige inhoudsevaluatie aan de onderwerpen toegevoegd. Mogelijk werden deze onderwerpen in eerder evaluaties geschaard onder ‘overig’. Sinds de vorige evaluatie zijn ze expliciet gemaakt. Er zijn scholen die niet expliciet een onderwerp hebben benoemd. Voor deze scholen is de inhoud van de interventie dus onduidelijk. Met de informatie die wel beschikbaar is, is berekend hoeveel scholen hebben aangegeven op elk onderwerp in te zetten. Er kan hierbij ook overlap bestaan tussen de verschillende onderwerpen. Ten derde is er een overzicht gemaakt van de vormen van de interventies. De vorm van de interventies is grofweg in te delen in verschillende overkoepelend thema’s: de uitvoerende kracht, verlengde leertijd, ouderbetrokkenheid, coördinatoren en materiaal (nieuw en vernieuwing). Ook zijn er een aantal losstaande thema’s, zoals klassenverkleining en professionalisering. Deze indeling is gedeeltelijk gebaseerd op de evaluatie van schooljaar 2019-2020, en waar nodig aangepast.

3 Resultaten 3.1 De jaargroepen van de interventies Scholen hebben de vrijheid om zelf te beslissen in welke jaargroepen zij een interventie doorvoeren. Dit leidt ertoe dat er grote variatie bestaat in de jaargroepen waarin interventies plaatsvinden. Op basis van de aanvragen voor het schooljaar 2022-2023 is een overzicht gemaakt van de jaargroepen waarin de scholen een interventie wilden inzetten. Een deel van de scholen heeft niet gespecificeerd voor welke groep ze de interventie in wilde zetten. Je zou dit ook kunnen interpreteren als dat de school de interventie voor de hele school door wilde voeren, maar zoals eerder benoemd kunnen we dit niet zeker weten. Deze scholen zijn voor de overzichtelijkheid wel onder de categorie 1-8 geschaard. Opmerkelijk is namelijk dat de scholen in de categorie 1-8 inclusief de scholen die dit niet hadden gespecificeerd hetzelfde aantal scholen vormen als het aantal scholen in de categorie 1-8 bij de aanvragen van 2021-2022 (Andringa et al, 2022). Dit laat zien dat er door een groot aantal van de scholen voor is gekozen om de subsidie wederom te verdelen over de verschillende leerjaren. Voor het overzicht, zie Figuur 1. De legenda lees je van links naar rechts en het cirkeldiagram kloksgewijs. De jaargroepen zijn gerangschikt van het meeste aantal scholen naar het minste aantal scholen. Onder de categorie ‘overig’ vallen 15 scholen 5

die elk op een unieke combinatie van jaargroepen wilden inzetten tijdens het afgelopen schooljaar.

Figuur 1. Jaargroepen waarin de scholen een interventie wilden inzetten.

In Figuur 1 is te zien dat de meeste scholen (n = 94) interventies voor de hele school wilden inzetten (of de jaargroepen niet hadden gespecificeerd). Bepaalde interventies, zoals bijvoorbeeld interventies gericht op ouderbetrokkenheid, zijn meestal gericht op alle jaren. 41 scholen gaven aan een interventie te willen doorvoeren voor de jaargroepen 3 tot en met 8. Verder is er maar één school die heeft aangegeven op één jaargroep te willen focussen. Eén school gaf dit aan voor groep 3. Figuur 1 maakt duidelijk dat veruit de meeste scholen intervenieerden op meerdere jaargroepen, vaak zelfs alle jaargroepen. Figuur 2 laat zien hoe vaak een jaargroep onderwerp van interventie was. Daaruit blijkt geen gemiddelde voorkeur voor bepaalde jaargroepen. De verschillen tussen jaargroepen zijn klein. De kansenaanpak zet niet in op de groepen 1 en 2, maar te zien is dat zij vaak meeprofiteren van interventies. Groep 5 en 6 waren het vaakst doelwit van interventie: Dit was het geval voor 157 van de 173 scholen.

6

Figuur 2. Overzicht van interventies per jaargroep.

3.2 De inhoud van de interventies Niet alleen qua jaargroepen, maar ook qua onderwerpen waar scholen op wilden inzetten bestond er grote variatie, zie Tabel 1. Meer dan de helft van de scholen (n = 97) heeft aangegeven de leesvaardigheid van hun leerlingen te willen verbeteren. Rekenen werd 79 keer genoemd. Woordenschat en ouderbetrokkenheid kwamen ook vaak in de aanvragen naar voren, bij respectievelijk 69 en 70 scholen. Onder ‘taal’ konden verschillende onderwerpen vallen, zoals woordenschat, spelling, lezen, en schrijven. 38 scholen hebben enkel gezegd op ‘taal’ in te zetten, zonder te specificeren op welk taalonderdeel zij dan inzetten. Meer scholen gaven aan om op begrijpend lezen in te zetten (n = 57) dan op technisch lezen (n = 18). Interventies die inzetten op studievaardigheden (n = 14) waren vaak niet verder gespecificeerd. Drieëndertig scholen wilden graag de sociaal-emotionele ontwikkeling van kinderen verbeteren. Een aantal scholen (n = 15) nam zich voor interventies in te zetten die de schrijfvaardigheid van hun leerlingen dienden te verbeteren. Een aantal scholen (n = 23) wilde interventies inzetten die focusten op de ontwikkeling van zelfvertrouwen bij leerlingen. Praktisch leren werd door 32 scholen genoemd. Twintig scholen gaven aan op spelling in te willen zetten. Tien scholen gaven aan een interventie voor wereldoriëntatie in te zetten.

De onderwerpen spreken en luisteren zijn door respectievelijk twaalf en zeven scholen genoemd. Digitale vaardigheden werd het minst vaak genoemd (n = 3). Een aantal scholen bleef onduidelijk met betrekking tot de inhoud van de interventie, waardoor deze onder de categorie overig zijn geschaard (n = 14).

7

Tabel 1. Overzicht van de inhoud van de interventies. Onderwerp

Aantal scholen (n)

Lezen

97 (56,1%)

Rekenen

79 (45,7%)

Ouderbetrokkenheid

70 (40,5%)

Woordenschat

69 (39,9%)

Begrijpend lezen

57 (32,9%)

Taal (niet verder gespecificeerd)

38 (22,0%)

Sociaal-emotionele ontwikkeling

33 (19,1%)

Praktisch leren

32 (18,5%)

Zelfvertrouwen

23 (13,3%)

Spelling

20 (11,6%)

Technisch lezen

18 (10,4%)

Schrijven

15 (8,7%)

Studievaardigheden

14 (8,1%)

Spreken

12 (6,9%)

Wereldoriëntatie

10 (5,8%)

Luisteren

7 (4,0%)

Digitale vaardigheden

3 (1,7%)

Overig

14 (8,1%)

3.3 De vorm van de interventies De 173 scholen hebben in hun activiteitenplan aangegeven op verschillende manieren vorm te gaan geven aan de interventies die ze binnen de Kansenaanpaksubsidie willen uitvoeren, dit kon zijn in de vorm van een uitvoerende kracht (zie tabel 2), een vorm van verlengde leertijd (zie tabel 3), een vorm van ouderbetrokkenheid (zie tabel 4), een coördinator (zie tabel 5) of nog weer andere vormen (zie tabel 6). Scholen zetten hierbij voornamelijk in op een combinatie van deze verschillende vormen.

8

3.3.1 De uitvoerende kracht De meeste scholen gaven daarom ook aan meerdere uitvoerende krachten te willen inzetten. Veruit de meeste scholen (n = 99) wilden een extra leerkracht aanstellen of een leerkracht van de school langer of op een aanvullende manier in gaan zetten. Daarnaast wilden scholen ook vaak een externe partij (n = 76) inhuren om de interventie uit te voeren of te bemiddelen. Extern betekent hier dat de scholen tijdelijk een derde partij wilden inschakelen. Deze externe kracht kon de vorm hebben van een externe specialist, een externe locatie, een externe docent, of een externe trainer om de staf de begeleiden bij het uitvoeren van de interventies. Ook zijn er veel scholen (n = 67) die een onderwijsassistent of leerkrachtondersteuner wilden inzetten. Dit bijvoorbeeld om ook in kleinere groepjes begeleiding te kunnen geven. Een deel van de scholen (n = 37) heeft aangegeven gebruik te willen maken van een specialist. Hieronder vallen in dit geval gedragsspecialisten of taalspecialisten als ook gespecialiseerde leerkrachten zoals NT2 leerkrachten. Verder hebben scholen aangegeven gebruik te willen maken van een IB’er (n = 26) en/of een remedial teacher (of teaching) (n = 18). Remedial teaching werd soms ook door een leerkracht of een onderwijsassistent aangeboden, vandaar dat dat ook onder deze categorie is geschaard.

Ook gaven scholen aan de al op de school werkzame docenten de mogelijkheid te willen bieden om zich te laten bijscholen (n = 19). Van 36 scholen was het niet of alleen voor een deel van de interventies duidelijk welke kracht er precies zou worden ingezet. Ook benoemden scholen (n = 12) nog overige krachten waaronder de inzet van studenten om extra ondersteuning te kunnen bieden voor leerlingen. Het is op basis van de huidige data niet mogelijk om te zien of bepaalde interventies door bepaalde uitvoerende krachten worden uitgevoerd.

Tabel 2. Het aantal scholen per type uitvoerende kracht. Vorm

Aantal scholen (n)

Uitvoerende kracht

n = 173

(Extra) leerkracht

99 (57,2%)

Extern

76 (43,9%)

Onderwijsassistent

67 (38,7%)

Specialist

37 (21,4%)

Interne begeleider

26 (15,0%)

Bijscholing intern

19 (11,0%)

Remedial teaching) Overig Onduidelijk

teacher

(of

18 (10,4%) 12 (6,9%) 36 (20,8%)

9

3.3.2 Verlengde leertijd Bijna 98% van de scholen (n = 169) gaf aan een vorm van verlengde leertijd als interventie te willen gebruiken. De meeste daarvan noemden extra instructie, ondersteuning of begeleiding voor leerlingen (n = 126). 47 scholen noemden het ondersteunen van een aparte klas. Dit varieerde van een schakelklas, tot een taalklas of een vakantieklas. Verder noemden scholen doelab (n = 28) of leerlab (n = 23). Daarnaast werd er door scholen ook extra tijd besteed aan NT2 onderwijs of ondersteuning (n = 19). Ook waren er scholen die extra onderwijstijd wilden inrichten voor de ontwikkeling van executieve functies (n = 18) en sociale vaardigheden (n = 7), of die hun interventie in de vorm van creatieve activiteiten (n = 8), zoals dramalessen, wilden vormgeven. Zeven scholen gaven expliciet aan ook lestijd in te willen richten voor leerlingen die extra uitdaging nodig hebben, zes scholen wilden een aparte huiswerkklas inrichten of verzorgden huiswerkbegeleiding al dan niet door een externe organisatie, en drie scholen wilden een interventie in samenwerking met de Stichting Kennis en Sociale Cohesie (SKC) doen. Als overige interventies (n = 13) werden bijvoorbeeld een talentlab een pauzecarroussel, Beweeg Wijs, de Schoolschrijver, een bliksemstage, Taal –en sport, IMC basis, Junior Campus en Studiezalen genoemd.

Tabel 3. Het aantal scholen per type verlengde leertijd. Vorm

Aantal scholen (n)

Van totaal aantal scholen (n)

Verlengde leertijd

n = 169 (97,7%)

n = 173

Extra instructie/ ondersteuning Aparte klas

126 (74,6%)

72,8%

47 (27,8%)

27,2%

Doelab

28 (16,6%)

16,2%

Leerlab

23 (13,6%)

13,3%

NT2 onderwijs/ ondersteuning

19 (11,2%)

11,0%

Executieve functies

18 (10,7%)

10,4%

Creatieve activiteiten

8 (4,7%)

4,6%

Sociale vaardigheden

7 (4,1%)

4,0%

Extra uitdaging

7 (4,1%)

4,0%

Huiswerkklas

6 (3,6%)

3,5%

SKC

3 (1,8%)

1,7%

Overig

15 (8,9%)

8,7%

10

3.3.3 Ouderbetrokkenheid Naast extra aandacht voor de leertijd en -ontwikkeling van de (doelgroep)leerlingen hebben zeventig scholen aangegeven de Kansenaanpaksubsidie te willen besteden aan ouderbetrokkenheid. De meeste scholen (n = 40) wilden dat in de vorm van ouderbijeenkomsten. Er waren tweeëntwintig scholen die activiteiten met ouders (en kind) gingen aanbieden. Vijftien scholen gaven aan taal en ouderbetrokkenheidsinterventies te gaan doen en twaalf scholen gaven aan individuele informatievoorziening en consulten voor ouders te gaan organiseren. Ook hebben scholen genoemd dat zij graag een educatief partnerschap met ouders aan wilden gaan (n = 9). Dit houdt in dat ouders en leerkrachten een gedeelde verantwoordelijkheid hebben over de ontwikkeling van een kind, en dus samen afstemmen hoe ze deze het beste kunnen ondersteunen bij het leren. Verder is er één school die in het kader van ouderbetrokkenheid sterker wilde gaan samenwerken met de VVE en is er één school die de vrijwillige ouderbijdrage met de subsidie wilde opvangen. Tot slot waren er vijf scholen die hebben aangegeven aan ouderbetrokkenheid te gaan werken met betrekking tot overige onderwerpen.

Tabel 4. Het aantal scholen per type ouderbetrokkenheid. Vorm

Aantal scholen (n)

Van totaal aantal scholen (n)

Ouderbetrokkenheid

n = 70 (40,5%)

n = 173

Ouderbijeenkomsten

40 (57,1%)

23,1%

Activiteiten met ouders (en kind) Taal en ouderbetrokkenheid

22 (31,4%)

12,7%

15 (21,4%)

8,7%

Consulten en informatie

12 (17,1%)

6,9%

Educatief partnerschap

9 (12,9%)

5,2%

Samenwerken VVE

1 (1,4%)

0,6%

Financiële steun

1 (1,4%)

0,6%

Overig

5 (7,1%)

2,9%

11

3.3.4 Coördinatoren Vierendertig scholen gaven aan een coördinator te willen instellen om een bepaalde interventie of een bepaald domein te stroomlijnen. Dit was niet de uitvoerende kracht, maar degene die bepaalde ontwikkelingen en interventies controleert. De meeste scholen wilden een coördinator in de vorm van een oudercoördinator of -contactpersoon (n = 17). Ook waren er scholen die een coördinator wilden voor taal (n = 12), waaronder ook leescoördinatoren en woordenschatcoördinatoren. Verder waren er ook coördinatoren voor rekenen (n = 7). De overige scholen (n = 8) wilden een coördinator op het gebied van leerpleinen, zorg, VVE, de bieb, TSO of Daltononderwijs.

Tabel 5. Het aantal scholen per type coördinator. Vorm

Aantal scholen (n)

Van totaal aantal scholen (n)

Coördinatoren

n = 34 (19,7%)

n = 173

Ouderbetrokkenheid/-contact

17 (50,0%)

9,8%

Taal

12 (35,3%)

6,9%

Rekenen

7 (20,6%)

4,0%

Overig

8 (23,5%)

4,6%

3.3.5 Overige categorieën Meer dan een derde van de scholen (n = 72) gaf aan nieuw materiaal aan te gaan schaffen, of de subsidie te gaan gebruiken voor vernieuwing en/of aanpassingen in het bestaande materiaal. Achttien scholen wilden de subsidie inzetten voor klassenverkleining. Verder waren er nog zeven scholen die aangaven op professionalisering in te willen zetten. Van twee scholen was het onduidelijk waar de verlengde leertijd precies aan werd besteed.

Tabel 6. Het aantal scholen per overige categorie. Vorm

Aantal scholen (n)

Materiaal (nieuw en vernieuwing)

72 (41,6%)

Klassenverkleining

18 (10,4%)

Professionalisering

7 (4,0%)

Onduidelijk

2 (1,2%)

12

4 Conclusie Uit deze inhoudsevaluatie blijkt dat de meeste scholen in hun aanvraag hebben aangegeven vooral schoolbreed of op de jaargroepen 3 tot en met 8 in te willen zetten. De meest voorkomende onderwerpen die de scholen in hun aanvragen hebben genoemd zijn lezen en rekenen. Daarnaast werden ouderbetrokkenheid, woordenschat en begrijpend lezen ook vaak genoemd. De meeste scholen hadden de interventies gepland in de vorm van het inzetten van een externe partij, een onderwijsassistent, bijscholing van interne krachten of het aannemen van een extra leerkracht of specialist. Bijna alle scholen wilden hun leerlingen extra leertijd gaan aanbieden, vooral door middel van extra instructie, begeleiding of ondersteuning voor, tijdens of na de les. Ook wilden veel scholen de interventie vormgeven door een vorm van ouderbetrokkenheidsactiviteiten, zoals ouderbijeenkomsten, te gaan organiseren. Verder waren veel scholen van plan nieuw materiaal aan te schaffen. Tot slot wilde een aantal scholen een coördinator inhuren om de interventie(s) soepel te laten verlopen. De vrijheid die de Kansenaanpaksubsidie met zich meebrengt, leidt dus tot grote variatie in zowel de jaarlagen, als de inhoud en de vormgeving van de interventies.

Eerder onderzoek naar onderwijsinterventies laat ook zien dat er veel verschillende effectieve manieren kunnen zijn om onderwijsachterstanden tegen te gaan (Kortekaas-Rijlaarsdam et al., 2021). Het is daarom goed dat scholen de subsidie inzetten voor de jaarlagen waarvan zij zien dat ze het nodig hebben, voor de onderwerpen waar hun leerlingen en leraren behoefte aan hebben en ze kiezen voor een vorm die voor hun school het beste werkt. Elke school heeft te maken met haar eigen uitdagingen, waardoor maatwerk een vereiste is.

13

Samenvatting Deel B: Effectonderzoek 2021-2022 Vorig jaar (Andringa et al., 2023) is een globaal overzicht gegeven van hoe scholen in schooljaar 2021-2022 invulling hebben gegeven aan de verschillende interventies die zij uit hebben gevoerd in het kader van de Kansenaanpak: wat was de inhoud van de interventies, hoe voerden de scholen de interventies uit, en merkten de scholen zelf een effect van de interventie? Daaruit is al naar voren gekomen dat scholen de subsidie op veel verschillende manieren inzetten. Vaak gebruiken scholen het geld om werk te maken van taalinterventies en de ouderbetrokkenheid te verhogen. Uit eerder wetenschappelijk onderzoek blijkt ook dat dit zinvolle manieren kunnen zijn om de onderwijsprestaties van leerlingen te verbeteren (Kim et al, 2015; Slavin et al, 2011; van Steensel et al., 2011). Taalvaardigheid is een belangrijk fundament voor een succesvolle schoolcarrière, en betrokken ouders zorgen ervoor dat kinderen meer uit het onderwijs kunnen halen. Om te onderzoeken of de woordenschatinterventies in het schooljaar 2021-2022 in het algemeen effectief waren, stelden we in het rapport van vorig jaar een analyse voor die tot op zeker hoogte gebruikt kan worden om dit te onderzoeken. Door een gebrek aan data was het destijds nog niet mogelijk om de analyse volledig uit te voeren.

Die data zijn inmiddels wel beschikbaar en dit deel van het rapport gaat in op de uitkomsten uit die analyse, waarin de resultaten van 18 Amsterdamse scholen worden bekeken. Deze nieuwe analyses met data die beschikbaar zijn via het CBS laten zien dat er geen significante verschillen in leergroei zijn voor begrijpend lezen en spelling tussen de Amsterdamse scholen en vergelijkbare scholen uit de rest van Nederland. Er is daarmee geen duidelijk bewijs dat de woordenschatinterventies in het kader van de Kansenaanpak effectief zijn. Tegelijkertijd laten de analyses ook niet zien dat de aanpak ineffectief is. Om hier meer zicht op te krijgen zijn niet alleen aanvullende kwantitatieve analyses nodig, maar moeten deze gecombineerd worden met kwalitatieve aanpakken, zoals diepte-interviews. Om de Kansenaanpak te versterken kunnen de uitkomsten van zulk kwantitatief onderzoek nuttig zijn. De resultaten lijken in lijn te zijn met het beeld dat er niet een juiste interventie is, en dat de effectiviteit van een interventie sterk afhangt van de context van de school. Het is daarom belangrijk dat scholen de juiste interventie kiezen voor hun situatie. Daarom blijft het belangrijk om kennis uit ander (literatuur)onderzoek over wat scholen kunnen doen, en ervaringen over hoe scholen interventies vormgeven te delen, zoals bijvoorbeeld tijdens de jaarlijkse Kennisdelingsbijeenkomst.

14

1 Woordenschatinterventies: hoe en waarom? In mei 2022 lanceerde de minister voor Primair en Voortgezet Onderwijs het Masterplan basisvaardigheden (Wiersma, 2022). Voor een succesvolle schoolcarrière en om ook na school in het leven te functioneren zijn taal, rekenen, digitale geletterdheid en burgerschap van fundamenteel belang. Een goed ontwikkelde woordenschat vormt de basis voor ontwikkeling in veel van deze vaardigheden (Hart & Risley, 2003; Morgan et al., 2015; Powell & Nelson, 2017; Ramsook et al., 2020). Kinderen met een grotere woordenschat lezen makkelijker een nieuwe tekst, begrijpen rekenkundige termen sneller, en hebben meer kennis van de wereld. Het is dan ook niet verwonderlijk dat veel scholen bij de besteding van het Kansenaanpak-budget expliciet inzetten op woordenschatontwikkeling van hun leerlingen. Dit blijkt zowel uit deel A van dit rapport, als uit de rapportages van eerdere jaren (o.a. Andringa et al., 2023). Uit de rapportage van vorig jaar is gebleken dat er verschillende manieren zijn waarop scholen zulke woordenschatinterventies uitvoeren. Diepte-interviews met 26 Amsterdamse scholen lieten een gevarieerd beeld zien. Zo kozen veel scholen ervoor alleen doelgroepleerlingen aan de interventie deel te laten nemen, terwijl andere kozen voor een schoolbrede aanpak.

In ongeveer de helft van de gevallen namen alle jaarlagen deel, in de andere helft was dat slechts een deel van de jaarlagen. Het merendeel van de scholen liet de interventie tijdens de reguliere schooltijd plaatsvinden, maar er werd ook gekozen voor extra schooltijd. Hoewel de interventie vaak buiten de klas plaatsvond, gebeurde dit soms ook in de klas zelf. Ook verschilde het wie de interventie uitvoerde: het reguliere personeel, een onderwijsassistent, een remedial teacher, of een combinatie hiervan. Tot slot was er ook nog variatie in de gebruikte leerstof, waarbij er vaak verdiepend materiaal, maar soms ook volledig nieuw materiaal werd gebruikt. Deze variatie is zeker niet problematisch. Eerder onderzoek naar onderwijsinterventies laat zien dat er veel verschillende effectieve aanpakken kunnen zijn bij het tegengaan van onderwijsachterstanden (Kortekaas-Rijlaarsdam et al., 2021). Bij het bepalen van een geschikte aanpak is het dan ook altijd een afweging tussen de opbrengsten en de haalbaarheid van de aanpak. Zo is één-op-één begeleiding bijvoorbeeld effectiever bij het aanpakken van leesachterstanden dan in kleine groepjes ondersteuning bieden (Slavin et al., 2011), maar ook intensiever en niet altijd praktisch haalbaar door een gebrek aan tijd, ruimte, personeel, of een combinatie van die factoren.

Ook in het geval van de woordenschatinterventies in het kader van de Kansenaanpak geldt waarschijnlijk hetzelfde: sommige interventies zijn wellicht iets effectiever dan andere interventies, maar misschien ook lastiger uitvoerbaar omdat er

15

middelen voor nodig zijn die niet altijd voorhanden zijn. Met name het lerarentekort (Centerdata, 2021) maakt de uitvoerbaarheid natuurlijk erg lastig. Om te onderzoeken of de woordenschatinterventies in het schooljaar 2021-2022 in het algemeen effectief waren, stelden we in het rapport van vorig jaar een analyse voor die tot op zekere hoogte gebruikt kan worden om dit te onderzoeken. Door een gebrek aan data was het destijds nog niet mogelijk om de analyse volledig uit te voeren. Die data zijn inmiddels wel beschikbaar, en in dit deel van het rapport beschrijven we de uitkomsten van deze analyses. In §2 en §3 herhalen we eerst nog de uitkomsten van vorig jaar en leggen we ook uit waarom het ingewikkeld is om de effectiviteit van de woordenschatinterventies te bepalen. Deze tekst is vrijwel identiek aan die uit het rapport van vorig jaar. In §4 en §5 beschrijven de aanvullende analyses en de uitkomsten hiervan. Deze analyses maken gebruik van leerlingvolgsysteemgegevens van een aantal Amsterdamse scholen, en data die beschikbaar zijn bij het CBS. Door o.a. de privacy-wetgeving van het CBS is het niet mogelijk om over alle analyses openbaar te rapporteren. Verderop gaan we ook op deze beperkingen in.

2 Effectstudies: een ingewikkelde onderneming Het bepalen van de effectiviteit van interventies is geen eenvoudige onderneming. De ideale manier om te bepalen hoe effectief een interventie is, is door het uitvoeren van een gecontroleerd experiment. In zo’n experiment zouden we de groep kinderen die in aanmerking komen voor een interventie in tweeën delen. De ene helft ondergaat vervolgens de interventie en de andere helft niet. We kunnen dan bekijken of de groep die de interventie heeft ondergaan meer vooruit is gegaan dan de controlegroep, die niet deelnam aan een interventie. In de praktijk is zo’n experiment alleen niet uitvoerbaar. Alle doelgroepkinderen hebben namelijk deelgenomen aan een interventie. Het zou bovendien ook onethisch zijn een willekeurig deel van de doelgroep een interventie te onthouden, terwijl hier wel de middelen voor zijn. Een controlegroep ontbreekt in dit geval dus. Het is daarom lastig om te bepalen met wie we de doelgroepkinderen

precies

moeten

vergelijken

om

de

effectiviteit

van

de

woordenschatinterventies te bepalen. Recent is er gelukkig veel nagedacht over zulke problemen door onderzoekers uit het veld van de Causal Inference (Hernán & Robins, 2020; Imbens & Rubin, 2015; Pearl, 2009; Pearl, Glymour & Jewell, 2016). De centrale vraag in de discipline is hoe je met data die niet in een experimentele setting verkregen zijn, toch iets kunt zeggen over oorzaak en gevolg, en daarmee iets over effectiviteit. Zo won de Nederlandse econometrist Guido Imbens in 2021 de Nobelprijs voor zijn onderzoek naar natuurlijke experimenten (Nature, 2021). Hij probeert het probleem van oorzaak-gevolg op te lossen door te kijken of je als onderzoeker in bestaande

16

situaties een natuurlijke controlegroep kunt vinden. Zo’n natuurlijke controlegroep maakt het aannemelijker dat je bij een vergelijking daadwerkelijk iets over de effectiviteit van een interventie kunt zeggen. Voor deze effectstudie hebben we geprobeerd om een natuurlijk experiment uit te voeren. Om de Kansenaanpak te evalueren focussen we ons op de effectiviteit van interventies die als doel hebben om de woordenschat van kinderen te vergroten. We kunnen de effectiviteit meten door te kijken naar de verschillende vaardigheden die in het leerlingvolgsysteem (LVS) worden bijgehouden: begrijpend lezen, spelling en rekenen. We hebben gekozen voor deze vaardigheden omdat we er scores van hebben die (enigszins) tussen scholen vergeleken kunnen worden, en omdat het realistisch is om te verwachten dat vooruitgang in woordenschat doorwerkt in deze cognitieve vaardigheden (Ramsook et al., 2020; Morgan et al., 2015; Powell & Nelson, 2017). We kijken in dit geval naar de groei die de kinderen in het jaar van de interventie in deze vaardigheden hebben doorgemaakt, door resultaten op de midden- en eindtoets te vergelijken. In paragraaf §3 vergelijken we die scores met normscores voor de groei. Deze analyses hebben we vorig jaar als pilot uitgevoerd.

In §4 en §5 voeren we een meer natuurlijk experiment uit door de scores te vergelijken met niet-Amsterdamse scholen die qua leerlingpopulatie vergelijkbaar zijn met de Amsterdamse scholen waarvan we LVSgegevens hebben.

3 LVS-scores op de Amsterdamse scholen Aan het onderzoek hebben dezelfde scholen deelgenomen als aan de diepte-interviews waarover vorig jaar is gerapporteerd. Van iedere school weten we dus hoe zij de interventie hebben uitgevoerd. Na de diepte-interviews hebben we alle scholen gevraagd om LVSgegevens van het schooljaar 2021-2022 voor begrijpend lezen, spelling en rekenen aan te leveren. We hebben hier gevraagd om midden- en eindtoetsgegevens aan te leveren van alle leerlingen die in een jaarlaag zaten waarin de interventie werd aangeboden, zowel van kinderen die aan de interventie deelnamen, als van kinderen die niet deelnamen. Uiteindelijk hebben we de gegevens van 23 scholen ontvangen. We gebruiken hiervoor alleen de scholen die gebruik maken van het Cito-LVS, omdat we deze gegevens voor de verschillende scholen goed met elkaar kunnen vergelijken. Verder kijken we alleen naar de groepen 3 tot en met 7, omdat er in groep 8 geen LVS-meting is aan het eind van het jaar. We kunnen zo rapporteren over gegevens van 137 klassen, verdeeld over 18 scholen. In Figuur 1, 2 en 3 zijn de resultaten van de Amsterdamse scholen te zien per leerjaar. Als referentie is de gemiddelde groei die leerlingen in deze leerjaren doormaken voor ieder van de vaardigheden te zien (Bazaltgroep, 2021).

17

Figuur 1: De leergroei in begrijpend lezen van Amsterdamse kinderen in klassen die meededen aan de Kansenaanpak (rood) vergeleken met normscores voor begrijpend lezen (blauw). De grafiek geeft weer hoeveel vaardigheidspunten leerlingen gemiddeld vooruit zijn gegaan in de periode tussen de middentoets (januari ‘22) en de eindtoets (juni ‘22).

Figuur 2: De leergroei in spelling van Amsterdamse kinderen in klassen die meededen aan de Kansenaanpak (rood) vergeleken met normscores voor begrijpend lezen (blauw). De grafiek geeft weer hoeveel vaardigheidspunten leerlingen gemiddeld vooruit zijn gegaan in de periode tussen de middentoets (januari ‘22) en de eindtoets (juni ‘22).

18

Figuur 3: De leergroei in rekenen van Amsterdamse kinderen in klassen die meededen aan de Kansenaanpak (rood) vergeleken met normscores voor begrijpend lezen (blauw). De grafiek geeft weer hoeveel vaardigheidspunten leerlingen gemiddeld vooruit zijn gegaan in de periode tussen de middentoets (januari ‘22) en de eindtoets (juni ‘22).

Op het oog zien we dat voor spelling en begrijpend lezen in een aantal van de leerjaren de groei die leerlingen doormaken (iets) groter is dan de gemiddelde groei voor diezelfde vaardigheden. Dit patroon komt overeen met wat je zou verwachten: we hebben immers speciaal gekeken naar scholen die extra inzetten op woordenschatinterventies. Een logische uitkomst zou zijn dat dit zichtbaar is in de begrijpend lezen en spelling scores, en niet in de rekenscores. Dat is ook het patroon dat we hier lijken te zien. Het is echter niet goed mogelijk om statistisch te toetsen wat de leergroei van de Amsterdamse scholen precies betekent. In de grafiek hierboven worden de Amsterdamse scholen namelijk vergeleken met het gemiddelde van alle scholen die het Cito-LVS systeem gebruiken, ongeacht of die Amsterdamse en gemiddelde scholen veel of weinig doelgroepleerlingen hebben. Dit is daarom geen goede vergelijking. Om te beoordelen of de interventies op de Amsterdamse scholen effectief zijn, hebben we een controlegroep nodig die bestaat uit scholen met vergelijkbare leerlingpopulaties. Op deze scholen moet dan juist geen interventie worden uitgevoerd. Zo’n controlegroep ontbreekt in dit geval, maar in de volgende sectie voeren we een natuurlijk experiment uit waarbij er toch sprake is van een controlegroep.

4 LVS-scores van een controle-groep Om het probleem van de ontbrekende controlegroep op te lossen, kunnen we op een andere manier deelnemende Amsterdamse scholen met andere scholen vergelijken. Op die manier

19

kunnen we bekijken of de kinderen op Amsterdamse scholen meer vooruitgang in begrijpend lezen, spelling en rekenen laten zien dan kinderen op andere scholen. Hiervoor gebruiken we LVS-gegevens van Amsterdamse scholen en van scholen buiten Amsterdam. Vervolgens vergelijken we de Amsterdamse scholen die interventies uitvoeren met niet-Amsterdamse scholen die een vergelijkbare leerlingpopulatie hebben. Deze scholen kunnen worden gematcht op basis van de schoolweging die de Inspectie van het Onderwijs gebruikt (IvhO, 2021a). Deze weging komt tot stand op basis van kenmerken van de leerlingpopulatie van de school. Op deze manier kunnen we niet-Amsterdamse scholen gebruiken als controlegroep. Voor zover wij weten zijn er in de rest van het land weinig aanvullende programma's, omdat Amsterdam vooroploopt met de beschikbaarheid van de Kansenaanpak-subsidie. Het is dus enigszins aannemelijk dat niet-Amsterdamse scholen minder of geen interventies uitvoeren dan Amsterdamse scholen. Een vergelijking tussen Amsterdamse scholen en scholen in de rest van het land is daarmee een natuurlijk experiment als het gaat om aanvullende interventies op het gebied van woordenschat. In de praktijk hebben we dat als volgt uitgevoerd. We achterhaalden eerst voor iedere Amsterdamse school de wegingsfactor, zoals die door het CBS voor de IvhO is berekend.

Vervolgens zochten we in de dataset van het nationaal cohortonderzoek (NCO) alle scholen met een vergelijkbare weging. Dit zijn namelijk scholen met een soortgelijke leerlingpopulatie waarvan LVS-gegevens beschikbaar zijn. Deze scholen dienden als controlegroep voor de Amsterdamse school waar een interventie heeft plaatsgevonden. Op basis van de eerder afgenomen diepte-interviews weten we in welke leerjaren de woordenschatinterventie heeft plaatsgevonden. Voor iedere school gebruikten we alleen gegevens van leerlingen in de betreffende leerjaren. Uit de NCO-dataset verzamelden we vervolgens van de controlescholen de gegevens van leerlingen uit dezelfde leerjaren. Wanneer een Amsterdamse school de interventie alleen aanbiedt in groep 3 en 4, dan gebruikten we enkel LVS-gegevens van kinderen die in die groepen zaten in het jaar van de interventie. Dit gold zowel voor de deelnemende school, als voor de scholen in de controlegroep. Met deze gegevens hebben we enigszins kunnen onderzoeken of de jaarlagen van de Amsterdamse scholen meer progressie hebben doorgemaakt in schooljaar 2021-2022, dan dezelfde jaarlagen in de controlegroep. Hierbij hebben we wel moeten kijken naar alle kinderen in een jaarlaag, omdat we geen informatie hebben over welke kinderen precies aan een interventie hebben meegedaan. We zien dus de leergroei van doelgroep en niet-doelgroep kinderen samen.

In Figuur 4, 5 en 6 zijn opnieuw de resultaten van de Amsterdamse scholen te zien per leerjaar. Als referentie is nu de gemiddelde groei van alle controlescholen te zien. Omdat niet voor elke jaarlaag van elke school een goede vergelijking te maken was (bijvoorbeeld door een erg laag aantal leerlingen in een bepaalde jaarlaag), zijn niet alle

20

scholen voor elke vaardigheid meegenomen in deze analyses. De gemiddeldes van de Amsterdamse scholen wijken daardoor soms af van de gemiddeldes uit Figuur 1, 2 en 3.

Figuur 4: De leergroei in begrijpend lezen van Amsterdamse kinderen in klassen die meededen aan de Kansenaanpak (rood) vergeleken met de leergroei bij scholen met eenzelfde schoolweging voor begrijpend lezen (blauw). De grafiek geeft weer hoeveel vaardigheidspunten leerlingen gemiddeld vooruit zijn gegaan in de periode tussen de middentoets (januari ‘22) en de eindtoets (juni ‘22).

21

Figuur 5: De leergroei in spelling van Amsterdamse kinderen in klassen die meededen aan de Kansenaanpak (rood) vergeleken met de leergroei bij scholen met eenzelfde schoolweging voor begrijpend lezen (blauw). De grafiek geeft weer hoeveel vaardigheidspunten leerlingen gemiddeld vooruit zijn gegaan in de periode tussen de middentoets (januari ‘22) en de eindtoets (juni ‘22).

Figuur 6: De leergroei in rekenen van Amsterdamse kinderen in klassen die meededen aan de Kansenaanpak (rood) vergeleken met de leergroei bij scholen met eenzelfde schoolweging voor begrijpend lezen (blauw). De grafiek geeft weer hoeveel vaardigheidspunten leerlingen gemiddeld vooruit zijn gegaan in de periode tussen de middentoets (januari ‘22) en de eindtoets (juni ‘22).

Deze figuren zijn tot op zekere hoogte vergelijkbaar met de figuren in §3. Dat is op het oog een goed teken, maar het is belangrijk om op te merken dat het gemiddelde van de controlescholen niet gewogen is. De controlegroep voor elke Amsterdamse school bestaat altijd uit alle niet-Amsterdamse scholen met een vergelijkbare populatie, ongeacht of de Amsterdamse school een grote of een kleine school is. In het Amsterdamse gemiddelde wegen grote scholen echter meer mee dan kleine scholen. In het gemiddelde van de controlescholen wordt niet meegewogen of een school de controleschool was van een grote of een kleine Amsterdamse school. Alleen kijken naar dit gemiddelde kan daarom een vertekend beeld geven.

5 Effect-analyse Omdat de gemiddeldes van de twee groepen scholen mogelijk een vertekend beeld geven, hebben we het verschil tussen de Amsterdamse scholen en de niet-Amsterdamse scholen statistisch getoetst. Hiervoor hebben we voor iedere school met deze gegevens een 22

zogeheten regressiemodel uitgevoerd. Met dit model konden we bekijken wat het verschil in leergroei is tussen Amsterdamse scholen en niet-Amsterdamse scholen. Dit model levert voor iedere school een schatting op van het verschil tussen de betreffende Amsterdamse school en een vergelijkbare niet-Amsterdamse school. Deze schatting drukt uit of de kinderen op de Amsterdamse school meer leergroei hebben doorgemaakt dan kinderen op een vergelijkbare school buiten Amsterdam. Vervolgens hebben we met deze schattingen een meta-analyse uitgevoerd. Dit is een statistische techniek waarmee normaal gesproken resultaten uit verschillende studies met elkaar vergeleken kunnen worden. Omdat scholen zoveel van elkaar verschillen, is het logisch om deze methode ook in dit geval uit te voeren. Deze techniek kan gebruikt worden om de uiteenlopende interventies op een goede manier met elkaar te vergelijken en tot een overkoepelend effect te komen. In deze meta-analyse worden alle vergelijkingen uit de eerste stap bij elkaar bekeken, om te zien of er een overkoepelend positief effect is van de interventies: laten alle Amsterdamse scholen bij elkaar een grotere leergroei zien dan de niet-Amsterdamse scholen? In de methodologische bijlage is een gedetailleerdere beschrijving van deze methode te vinden.

Omdat op visuele weergaven van de meta-analyses resultaten van individuele (geanonimiseerde) scholen te zien zijn, kunnen we deze vanwege de CBS-wet hier niet laten zien. We kunnen deze uitkomsten daarom enkel beschrijven. Deze analyses laten zien dat voor spelling Amsterdamse scholen in het algemeen iets meer vooruitgang boekten dan nietAmsterdamse scholen, maar dit was geen significant effect en kan dus toeval zijn (est = 1.34, 95% CI = [-3.01…5.70], p = .545). Bovendien lieten sommige scholen juist ook wat minder leergroei zien dan hun controlescholen. Voor begrijpend lezen (est = -1.46, 95% CI = [3.14…0.32], p = .087) en rekenen (est = -0.85, 95% CI = [-2.11…0.41], p = .185) maken Amsterdamse scholen juist een heel klein beetje minder leergroei door de controlegroep, maar ook in deze gevallen is het effect niet significant, en kan dit dus toeval zijn. Ook hier zijn er scholen die iets meer, en scholen die juist iets minder leergroei doormaken dan hun controlescholen. Wel valt op dat de scores voor begrijpend lezen op beide meetmomenten significant lager liggen bij de Amsterdamse scholen dan bij de niet-Amsterdamse scholen (est = -9.14, 95% CI = [-15.31…2.98], p = .004). Deze verschillen zien we niet voor spelling (est = -6.04, 95% CI = [-17.90…5.82], p = .318) en rekenen (est = -1.53, 95% CI = [-5.49…2.43], p = .446).

Bij elkaar genomen betekent dit dat er geen bewijs is voor meer leergroei op de 18 scholen die meedoen aan de Kansenaanpak, maar ook niet dat er bewijs is dat er minder leergroei is.

23

6 Beperkingen Hoewel de uitkomsten laten zien dat er weinig verschil is tussen Amsterdamse scholen en de controlescholen, is het bij deze aanpak is heel belangrijk om op te merken dat dit natuurlijke experiment nog verre van een gecontroleerd experiment is. Er zijn veel factoren die de leerresultaten van de leerlingen bepalen. De Amsterdamse subsidie is een van die factoren. De subsidie voor Kansenaanpak PO komt bovenop de onderwijsachterstandsmiddelen die het ministerie van OCW regulier beschikbaar maakt (Posthumus et al., 2019), en ook nog eens bovenop de aanvullende bekostiging die tot juli 2025 beschikbaar is via het Nationaal Programma Onderwijs (NJi, 2022). Verder weten we niet zeker wat de niet-Amsterdamse scholen precies doen: het zou ook kunnen dat zij ook een vorm van interventie plaats laten vinden. Bovendien heeft ook corona erg veel impact op de leerontwikkeling van basisschoolleerlingen gehad (Staat van het Onderwijs, 2021b; 2022), waardoor er nog steeds een verstoord beeld te zien is als het gaat om leeropbrengsten. Bovendien hebben we in deze analyses doelgroep kinderen en niet-doelgroep kinderen bij elkaar moeten analyseren. Ideaal gezien wordt er enkel gekeken naar doelgroep leerlingen op scholen die wel interventies uitvoeren, en doelgroep leerlingen op scholen die geen interventies uitvoeren, maar dit is in de praktijk niet altijd even eenvoudig.

Het is daardoor niet altijd even duidelijk waarom we geen verschil of juist wel een verschil in leergroei zien. De uitkomsten betekenen dat dan ook niet automatisch dat deze interventies geen waarde hebben. Wellicht hebben we te maken met een complexe situatie, waar we eigenlijk geen duidelijk inzicht in directe effecten kunnen krijgen. De interventies zijn dan nog steeds evidence-informed: eerder wetenschappelijk onderzoek laat zien dat de huidige interventies logische aanpakken zijn (Kim et al, 2015; Kortekaas-Rijlaarsdam et al., 2021; Slavin et al, 2011; van Steensel et al., 2011), maar er is niet noodzakelijk één bepaalde interventie die effectief is. De variatie suggereert vooral dat het belangrijk is dat scholen de interventie kiezen die in hun situatie het meest zinnig is. Een opvallende uitkomst uit de meta-analyse is wel dat er veel variatie is tussen in de leergroei die leerlingen op verschillende scholen doormaken: sommige scholen presteren beter dan de controlegroep, anderen juist niet. Dit is niet verwonderlijk: niet iedere jaargroep is hetzelfde en de verschillen in leergroei tussen jaargroepen hebben soms weinig te maken met wat de school zelf doet, en berusten vaak op toevallige omstandigheden zoals bijvoorbeeld de dynamiek binnen een klas, of die tussen een klas en leerkracht (Bolhaar & Scheer, 2019).

Om toch meer inzicht in deze verschillen te krijgen zijn er ook statistische technieken beschikbaar. Zo zou het uitvoeren van een meta-regressie het in potentie mogelijk om niet alleen achterhalen of de interventies in het algemeen effectief zijn, maar ook of scholen waarbij de interventie succesvol was bepaalde best-practices hadden. Doordat het

24

uiteindelijke aantal scholen waarvan data beschikbaar was te klein was, was het voor dit onderzoek helaas niet mogelijk om verdere uitsplitsingen te maken. Wanneer er data van een grotere groep Amsterdamse scholen beschikbaar zou zijn, is dit wellicht wel mogelijk, daarbij staat echter nog steeds niet vast dat dit dan direct inzicht geeft in de best-practices. De variatie tussen scholen kan er namelijk ook op wijzen dat de Kansenaanpak PO effectief is, maar dat het vooral van belang is dat scholen weten wat in hun specifieke geval werkt, en welke aanpak gegeven hun context zinnig is.

7 Conclusie Dit deel van het rapport bestond uit een eerste effect-analyse van de woordenschatinterventies in het schooljaar 2021-2022. We hebben hiervoor LVS-gegevens verzameld van Amsterdamse scholen waarbij ook een diepte-interview is afgenomen. Voor 18 van deze scholen hebben we de leergroei in kaart kunnen brengen van de leerlingen die in een leerjaar zaten waarin de interventie werd aangeboden. Analyses in eerdere rapportages lieten zien dat de groeiscores op begrijpend lezen en spelling ons voorzichtig optimistisch mochten maken over het effect van de kansenaanpak. Aanvullende met data die beschikbaar zijn via het CBS laten echter zien dat er geen significante verschillen in leergroei zijn tussen de 18 Amsterdamse scholen en vergelijkbare scholen uit de rest van Nederland. Er is daarmee geen duidelijk bewijs dat de woordenschatinterventies in het kader van de Kansenaanpak effectief zijn. Tegelijkertijd laten de analyses ook niet zien dat de aanpak geen effect heeft. Om hier meer zicht op te krijgen zijn niet alleen aanvullende kwantitatieve analyses nodig, maar moeten deze gecombineerd worden met kwalitatieve aanpakken, zoals de diepte-interviews. De resultaten lijken in lijn te zijn met het beeld dat er niet één juiste interventie is, en dat de effectiviteit van een interventie sterk afhangt van de context van de school.

Het is daarom belangrijk dat scholen de juiste interventie kiezen voor hun situatie. Daarom blijft het belangrijk om kennis uit ander (literatuur)onderzoek over wat scholen kunnen doen, en ervaringen over hoe scholen interventies vormgeven te delen, zoals bijvoorbeeld tijdens de jaarlijkse Kennisdelingsbijeenkomst.

25

Deel C: Bibliografie Andringa, S. J., Kuiken, F., Glazenborg, A., & Thieme, A. (2020). Evaluatie Kansenaanpak Primair Onderwijs Amsterdam Schooljaar 2019-2020. Universiteit van Amsterdam. Andringa, S. J., Kuiken, F., Oostvriesland, P., & Dijkhuizen, M. (2021). Evaluatie Kansenaanpak Primair Onderwijs Amsterdam Schooljaar 2020-2021. Universiteit van Amsterdam. Andringa, S. J., Kuiken, F., Spit, S. Bron, S.J., & Timmer, C. (2023). Evaluatie Kansenaanpak Primair Onderwijs Amsterdam Schooljaar 2021-2022. Universiteit van Amsterdam. Baguley, T. (2012). Serious stats. Basingstoke, UK: Palgrave Macmillan. Bates, D., Maechler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67, 1– 48. https://doi.org/10.18637/jss.v067.i01 Bazaltgroep (2021). Tabellen tussenopbrengsten CITO 3.0 LOVS: https://www.bazaltgroep.nl/wp-content/uploads/sites/2/2019/06/Tabellentussenopbrengsten-Cito-LOVS-leerlingniveau.pdf Bolhaar, J., Scheer, J. (2019). Verschillen in leerresultaten basisscholen. CPB: https://www.cpb.nl/sites/default/files/omnidownload/CPB-Notitie-19feb2019Verschillen-in-leerresultaten-tussen-basisscholen.pdf Borenstein, M.H., Higgins, L.V., & Rothstein, J.P.T. (2009). Introduction to meta-analysis. Hoboken, United States: John Wiley & Sons. Centerdata. (2021). Personeelstekorten primair onderwijs.

Peildatum 1 oktober 2021, https://www.centerdata.nl/wp-content/uploads/2021/12/Eindrapportpersoneelstekorten-primair-onderwijs-1-okt-2021.pdf Gemeente Amsterdam (2017). Kansenaanpak Primair Onderwijs: Tegengaan van onderwijsachterstanden in Amsterdam. Geraadpleegd juni 2022 van https://amsterdam.raadsinformatie.nl/document/5974121/1/bijlage_2__beleidsplan_Kansena anpak_Primair_Onderwijs. Hart, B., & Risley, T. R. (2003). The Early Catastrophe: The 30 Million Word Gap by Age 3. American Educator, 4-9. Hernán, M. A., & Robins, J. M. (2020). Causal Inference: What If? Boca Raton: Chapman & Hall/CRC. Imbens, G.W., & Rubin, D.B. (2015). Causal Inference for Statistics, Social, and Biomedical Sciences. An Introduction. Cambridge: Cambridge University Press.

26

Inspectie van het Onderwijs. (2021a). Schoolweging 2019/2020, 2020/2021 en 2021/2022, https://www.onderwijsinspectie.nl/trends-en-ontwikkelingen/documenten/databestanden/2022/05/11/schoolweging-2019-2020-2020-2021-en-2021-2022 Inspectie van het Onderwijs (2021b). De Staat van het Onderwijs 2021. Utrecht: Inspectie van het Onderwijs Inspectie van het Onderwijs (2022). De Staat van het Onderwijs 2022. Utrecht: Inspectie van het Onderwijs Kim, S.W., & Hill, N. E. (2015). Including fathers in the picture: A meta-analysis of parental involvement and students’ academic achievement. Journal of Educational Psychology, 107(4), 919. Kortekaas-Rijlaarsdam, A. F., Ehren, M., & Meeter, M. (2021). Catch-up programmes in primary education in the Netherlands: overview of programmes (first tranche) and a literature review of effectiveness of programmes. Amsterdam: VU Learn! Kuiken, F., & Phoa, L.A. (2019). Evaluatie Kansenaanpak Primair Onderwijs Amsterdam. Universiteit van Amsterdam. Morgan, P. L., Farkas, G., Hillemeier, M. M., Hammer, C. S., & Maczuga, S. (2015). 24Month-Old Children With Larger Oral Vocabularies Display Greater Academic and Behavioral Functioning at Kindergarten Entry. Child development, 86(5), 1351–1370. https://doi.org/10.1111/cdev.12398 Nature. (2021).

Nobel-winning ‘natural experiments’ approach made economics more robust, https://doi.org/10.1038/d41586-021-02799-7 NJi. (2022). Nationaal Programma Onderwijs verlengd. Nationaal Jeugdinstituut. Geraadpleegd juni 2022 van: https://www.nji.nl/nieuws/nationaal-programmaonderwijs-verlengd. Pearl, J. (2009). Causality: Models, Reasoning and Inference. Cambridge: Cambridge University Press. Pearl, J. Glymour, M., & Jewell, N.P. (2016). Causal Inference in Statistics. A Primer. Chichester: John Wiley & Sons Ltd. Posthumus, J., Scholtus, S, & Walhout, J. (2019). De nieuwe onderwijsachterstandenindicator primair onderwijs. CBS: https://www.cbs.nl//media/_pdf/2019/45/de-nieuwe-onderwijsachterstandenindicator-primaironderwijs.pdf Powell, M. J. D. (2009). The BOBYQA algorithm for bound constrained optimization without derivatives. Technical Report, Department of Applied Mathematics and Theoretical Physics, University of Cambridge.

27

Powell, S. R., & Nelson, G. (2017). An investigation of the mathematics-vocabulary knowledge of first-grade students. The Elementary School Journal, 117(4), 664–686. https://doi.org/10.1086/691604 R Core Team. (2015). R: A language and environment for statistical computing [Computer software]. Vienna, Austria: R Foundation for Statistical Computing. Retrieved from Rproject.org/ Ramsook, K. A., Welsh, J. A., & Bierman, K. L. (2020). What you say, and how you say it: Preschoolers' growth in vocabulary and communication skills differentially predict kindergarten academic achievement and self-regulation. Social development (Oxford, England), 29(3), 783–800. https://doi.org/10.1111/sode.12425 Roeleveld, J., Driessen, G., Ledoux, G., Cuppen, J., & Meijer, J. (2011). Doelgroepleerlingen in het basisonderwijs: historische ontwikkeling en actuele situatie. Kohnstamm Instituut & ITS. Slavin, R. E., Lake, C., Davis, S., & Madden, N. A. (2011) Effective programs for struggling readers: A best-evidence synthesis. Van-Steensel, R., McElvany, N. Kurvers J. & Herppich S. (2011). How Effective Are Family Literacy Programs? : Results of a Meta-Analysis. Review Of Educational Research 81.1 pp 69-96. Research Review, 6(1), 1-26 Vichtbauer, W. (2010). Conducting meta-analyses in R with the metaphor package. Journal of Statistical Software, 36(3), 1-48. Wiersma, D. (2022).

Kamerbrief over Masterplan basisvaardigheden, https://www.rijksoverheid.nl/documenten/kamerstukken/2022/05/12/kamerbriefmasterplan-basisvaardigheden

28

Deel D: Methodologische bijlage De analyse bestaat uit twee stappen waarin we iedere school als een eigen 'studie' behandelen. We voeren dit model uit in R (R Core Team, 2015), waarbij we het lme4-pakket (Bates, Maechler, Bolker, & Walker, 2015) en het metafor-pakket (Viechtbauer, 2010) gebruiken voor de eerste en tweede stap van de analyse. We herhalen deze analyse voor ieder van de drie vaardigheden (begrijpend lezen, spellen en rekenen). In de eerste stap van de analyse achterhalen we voor iedere school de wegingsfactor, zoals die door het CBS is berekend. Vervolgens zoeken we uit de dataset van het nationaal cohortonderzoek (NCO) alle scholen met een vergelijkbare weging. Dit zijn scholen met een soortgelijke leerlingpopulatie, die kunnen dienen als controlegroep voor de Amsterdamse school waar een interventie heeft plaatsgevonden. Op basis van de eerder afgenomen diepteinterviews weten we in welke leerjaren de woordenschatinterventie heeft plaatsgevonden. Voor iedere school gebruiken we alleen gegevens van leerlingen in de betreffende leerjaren. Uit de NCO-dataset verzamelen we vervolgens van scholen die de controlegroep vormen, de gegevens van leerlingen uit dezelfde leerjaren. Wanneer een school de interventie alleen aanbiedt in groep 3 en 4, dan gebruiken we enkel LVS-gegevens van kinderen die in die groepen zaten in het jaar van de interventie.

Dit geldt zowel voor de deelnemende school, als voor de scholen in de controlegroep. Voor iedere school voeren we met deze gegevens een regressiemodel met gemixte effecten uit. Met dit model kunnen we bekijken wat het verschil in leergroei is tussen Amsterdamse scholen en niet-Amsterdamse scholen, en er tegelijkertijd rekening mee houden dat datapunten afkomstig zijn van verschillende leerlingen uit verschillende klassen - zonder te weten wie de leerlingen precies zijn. In dit model is de LVS-score de afhankelijke variabele. Toetsmoment (midden of eind) is een onafhankelijke binnen-proefpersoon variabele en schoollocatie (Amsterdam of niet-Amsterdam) is een onafhankelijke tussen-proefpersoon variabele. Het model bevat verder random intercepts voor leerling en klas. Deze intercepts zijn hiërarchisch ingebed. Het model ziet er dus als volgt uit: LVS-score ~ toetsmoment * schoollocatie + (1 | leerling/klas). Voor de onafhankelijke variabelen passen we orthogonale som-tot-nul contrastcodering toe (Baguley, 2012, pp. 590−621). Voor iedere school willen we hetzelfde model uitvoeren. We voegen daarom geen random slopes toe, omdat het model dan mogelijk voor een deel van de scholen niet convergeert. Om verdere convergentieproblemen te voorkomen, verhogen we het aantal iteraties van ieder model naar 100.000 (Powell, 2009).

In dit model zijn we geïnteresseerd in de interactie tussen toetsmoment en schoollocatie. Als de woordenschatinterventies effect hebben, is het verschil tussen de twee toetsmoment groter voor Amsterdamse scholen, dan voor niet-Amsterdamse scholen.

29

De tweede stap van onze analyse is het uitvoeren van een meta-analyse. Dit is een statistische techniek waarmee normaal gesproken resultaten uit verschillende studies met elkaar vergeleken kunnen worden. Omdat scholen zoveel van elkaar verschillen, hebben we ervoor gekozen om deze methode ook hier uit te voeren, waarbij we een random-effects model hebben uitgevoerd (Borenstein et al., 2009). Voor ieder van de scholen rekenen we Cohen's d of Hedges’ g uit van het interactie-effect tussen toetsmoment en schoollocatie. Een eerste meta-analyse kijkt enkel naar een globaal leereffect. De dataset was niet groot genoeg voor uitvoeren van verdere meta-regressieswaarbij we onderzoeken of bepaalde factoren bijdragen aan een groter effect van de interventies. In zulke meta-regressies zouden we de informatie uit de diepte-interviews over het bereik van de interventie, het aantal leerlingen dat deelnam, de locatie etc. mee kunnen. Zo is het in potentie mogelijk om niet alleen achterhalen of de interventies in het algemeen effectief zijn, maar ook of scholen waarbij de interventie succesvol was bepaalde best-practices hadden. Doordat het uiteindelijke aantal scholen waarvan data beschikbaar was te klein was, was het voor dit onderzoek niet mogelijk om verdere uitsplitsingen te maken.