bijlage 2. Rapport Reken op Zuidoost.pdf

Met effecten van +0.40 populatiestandaarddeviaties scoren 40% van betrokken leerlingen een half niveau hoger en 40% een volledig niveau. Dergelijke effecten kunnen bijdragen aan een hogere instroom in het voortgezet onderwijs. We vinden we het aannemelijk dat een dergelijke boost in de leerprestaties ook kan bijdragen aan een toename van het zelfvertrouwen. Dit hebben we echter nog niet formeel kunnen vaststellen. Met dergelijke effecten kunnen ook substantiële stappen worden gezet richting mogelijk belangrijk beleidsdoelstellingen: het wegwerken van de onderwijsachterstanden tussen Amsterdam Zuidoost en de rest van de stad. Op basis van projecties concluderen we dat met treatment effecten tussen +0.30 en +0.40 populatiestandaarddeviaties achterstanden in de rekenprestaties tussen Amsterdam Zuidoost en de rest van de stad substantieel zouden kunnen worden teruggebracht als Bridge HDT (of een interventie met een vergelijkbaar effect) breder en succesvol wordt opgeschaald. De projecties laten zien dat een heel jaar ononderbroken Bridge HDT bij leerlingen op het niveau dat past bij praktijkonderwijs, de achterstanden in de rekenprestaties volledig zouden kunnen wegwerken. Bij leerlingen die rekenen op een niveau dat past bij een advies voor vmbo-basisberoeps of lager, kunnen de bestaande achterstanden met 70% worden gereduceerd.

Bij leerlingen op het niveau dat past bij vmbo-gt en lager, kan de interventie ongeveer de helft van de achterstanden wegwerken. Gegeven de huidige interesse in de achterstanden die zijn veroorzaakt door de gevolgen van COVID-19, refereren we hier ook aan in de conclusie. Een half schooljaar Bridge HDT is ruim voldoende om (gemiddelde) achterstanden in de rekenprestaties veroorzaakt door de 27

schoolsluitingen in het tweede deel van het schooljaar 2019-2020 te kunnen wegwerken. Engzell, Freyd en Verhagen (2020) schatten dat schoolsluitingen in het tweede deel van het schooljaar 2019/20 hebben geleid tot een afname in de toetsscores van -0.08 tot -0.12 standaarddeviaties. We hebben ook onderzocht wat de invloed van Bridge HDT is op de scores op de Cito LVStoetsen Begrijpend Lezen. We doen dit vooral ter controle omdat leerlingen door Bridge HDT elke schooldag reguliere - eventueel meer talige - lessen moeten missen. In de analyses vinden we geen effecten van Bridge HDT op het Begrijpend Lezen. Om de opgelopen achterstanden in andere domeinen weg te werken lijken dus ook andere (meer op taal gerichte) interventies nodig. Dit onderzoek — en ook een ander gerelateerd onderzoek naar een HDT programma dat niet wordt uitgevoerd door The Bridge (De Ree en co-auteurs, nog niet gepubliceerd) — geven indicaties dat het mogelijk is om HDT programma’s succesvol breder in te zetten, in Amsterdam en ook in andere gemeenten en regio's in Nederland. Het onderzoek draagt dus bij aan een ontwikkeling die we tot nu toe vooral in de VS zien.

Hierbij pleiten toonaangevende onderzoekers regelmatig voor systematisch kwantitatief en kwalitatief onderzoek om — in samenwerking met overheden, schoolbesturen, maatschappelijke organisaties en wetenschap — effectieve en schaalbare programma’s en interventies voor kansarme leerlingen te ontdekken en verder te ontwikkelen.37 Dergelijke samenwerkingen hebben in de VS hebben laten zien HDT programma's uitgevoerd door organisaties zoals Saga Education succesvol kunnen worden opgeschaald (Cook et al., 2015; Fryer et al., 2014). Op basis van dit rapport en andere evaluatiestudies van ons onderzoeksteam (zie hiervoor www.uva.nl/sepp) komt er ook voor de Nederlandse context meer duidelijkheid dat aanbieders zoals The Bridge — en ook andere organisaties (zie hierover De Ree en coauteurs, nog niet gepubliceerd) — succesvol zijn geweest in het uitvoeren en deels opschalen van HDT programma’s in aandachtswijken zoals Amsterdam Zuidoost. Naast het behalen van positieve resultaten in Amsterdam Zuidoost heeft The Bridge ook succesvolle HDT programma’s gedraaid in Haarlem Oost/Schalkwijk en, met steun van Gemeente Amsterdam, ook in het voortgezet onderwijs in Amsterdam Nieuw-West (Mundus College) en in Amsterdam Noord (Hogelant).

We interpreteren de resultaten van dit onderzoek daarom deels ook als als een ‘stress test’ voor The Bridge en een indicatie dat deze organisatie in staat is om meerdere interventies tegelijk adequaat te ondersteunen en implementeren. Om de achterstanden (bijvoorbeeld tussen Amsterdam Zuidoost en de rest van de stad) voor een groot deel te dichten, zullen dergelijke effectieve interventies nog breder moeten worden uitgerold. Het is nu nog de vraag of de kwaliteit van implementatie bij verder opschalen kan worden gewaarborgd. Ook bij succesvol gebleken HDT aanbieders zoals The Bridge zal verdere opschaling binnen een korte tijd een uitdaging zijn.

37

Zie bijvoorbeeld: https://urbanlabs.uchicago.edu/labs/education en Ander, Guryan en Ludwig (2016).

28

Onderzoekers investeren op dit moment veel tijd en energie in het beter begrijpen van de mogelijke problemen die ontstaan bij opschaling. Robert Slavin schreef hier recentelijk in een blogpost over “...that programs proven to work at small scale can succeed if the key factors that made them work at small scale are implemented with fidelity at large scale.”38 Hieraan voegt hij het volgende toe: “[R]ather than spending a lot of taxpayer money and hoping for the best, [the goal should be to] make scale-up successful by using evidence at the beginning, middle, and end of the process, to make sure that this time, we really know what we are doing. We [sh]ould make sure that effective programs remain successful at scale, rather than merely hoping they will.” Slavin pleit dus voor het gebruik van RCT’s tijdens de pilotfase om effectieve HDT programma’s en aanbieders te kunnen identificeren. Deze effectieve aanbieders zouden daarna, volgens Slavin, een rol moeten spelen bij de opschaling van hun programma's. Echter, volgens Slavin is het cruciaal om tijdens en zelfs na de opschaalfase de programma’s systematisch te blijven monitoren en te toetsen.

Gezien de hier gepresenteerde onderzoeksresultaten en de inzet van de stad om onderwijsongelijkheid in omgevingen zoals Zuidoost te verminderen, zou onze belangrijkste aanbeveling zijn om een pad te volgen dat vergelijkbaar is met het pad dat door Slavin is geschetst in zijn oproepen om op te schalen en door te gaan met de RCT-gebaseerde testen van effectieve HDT-programma's. We benadrukken hierbij het belang van een nauwe samenwerking en commitment van de Gemeente, deelnemende scholen en schoolbesturen en de uitvoerende partij. De eerste indicaties van de substantiële resultaten - die alleen mogelijk waren door een gedeeld commitment- zullen hopelijk betekenisvol zijn voor vele leerlingen in Amsterdam en daarbuiten.

38

Deze blog post kan hier gevonden worden: https://robertslavinsblog.wordpress.com/2020/12/17/large-scaletutoring-could-fail-heres-how-to-ensure-it-does-not/. Zie hiervoor ook een andere recente blog post van Robert Slavin (https://robertslavinsblog.wordpress.com/2020/12/10/the-details-matter-thats-why-proven-tutoringprograms-work-better-than-general-guidelines/ en series van blog posts van Mike Goldstein en Bowen Paulle (https://fordhaminstitute.org/national/commentary/vaccine-makings-lessons-high-dosage-tutoring-part-i).

29

Literatuurlijst Ander, R., Guryan, J. & Ludwig, J. (2016). Policy Brief 2016-12. Improving Academic Outcomes for Disadvantaged Students: Scaling Up Individualized Tutorials. Maart 2016. Andrabi, T., Das, J., Ijaz Khwaja, A. & Zajonc, T. (2011). Do Value-Added Estimates Add Value? Accounting for Learning Dynamics. American Economic Journal: Applied Economics. Vol. 3, No. 3, juli 2011. Bol, T. (2020). Inequality in homeschooling during the Corona crisis in the Netherlands. First results from the LISS Panel. Borghans, L. & Schils, T. (2018). The Leaning Tower of Pisa. Decomposing achievement test scores into cognitive and noncognitive components. Draft version 31 oktober 2012, niet gepubliceerd manuscript. Cascio, E.U. & Staiger, D.O. (2012). Knowledge, Tests and Fadeout in Educational Interventions. NBER Working Paper 18038. Centraal Planbureau. (2016). Kansrijk onderwijsbeleid. Den Haag. Cook, P. J., Dodge, K., Farkas, G., Fryer Jr, R. G., Guryan, J., Ludwig, J. & Steinberg, L. (2014). The (surprising) efficacy of academic and behavioral intervention with disadvantaged youth: results from a randomized experiment in Chicago (No. w19862). National Bureau of Economic Research. Cook, P.J. et al. (2015). Not Too Late: Improving Academic Outcomes for Disadvantaged Youth. Northwestern University Institute for Policy Research, WP 15-01, January 2015.

http://www.ipr.northwestern.edu/publications/papers/2015/ipr-wp-15-01.html Davis, J., Guryan, J., Hallberg, K., & Ludwig, J. (2017). The economics of scale-up (No. w23925). National Bureau of Economic Research. Dietrichson, J., Bøg, M., Filges, T., & Klint Jørgensen, A. M. (2017). Academic interventions for elementary and middle school students with low socioeconomic status: A systematic review and meta-analysis. Review of Educational Research, 87(2), 243-282. Elffers, L., & Jansen, D. (2019). De opkomst van schaduwonderwijs in Nederland: wat weten we en welke vragen liggen nog open? Universiteit van Amsterdam.

30

Engzell, P., Freyd, A. & Verhagen, M. (2020, unpublished). Learning inequality during the COVID-19 pandemic. Fryer, R. (2014). Injecting Charter School Best Practices into Traditional Public Schools: Evidence from Field Experiments. http://qje.oxfordjournals.org/content/129/3/1355.short. Gross, J., Hudson, C., & Price, D. (2009). The long-term costs of numeracy difficulties. Every Child a Chance Trust/KPMG. Kielman, A., Paulle, B. & Van Londen, M. (2017). Rekenen op je ouders: High Dosage Tutoring als middel om ouderbetrokkenheid te stimuleren in Rotterdam-Zuid. Sociologie, 13(2/3), 197-222. https://doi.org/10.5117/SOC2017.2/3.003.KIEL Kraft, Matthew A. Interpreting effect sizes of education interventions. Educational Researcher 49, no. 4 (2020): 241-253. Nickow, A., Oreopoulos, P., & Quan, V. (2020). The impressive effects of tutoring on prek12 learning: A systematic review and meta-analysis of the experimental evidence. NBER Working Paper, (w27476). Onderzoek, Informatie en Statistiek (2020). De Staat van het Amsterdamse Primair Onderwijs. Gemeente Amsterdam. Onderwijsinspectie (2016). De Staat van het Onderwijs: onderwijsverslag 2014-2015. Ministerie van Onderwijs Cultuur en Wetenschap. Onderwijsinspectie (2017). De Staat van het Onderwijs: onderwijsverslag 2015-2016. Den Haag: Ministerie van Onderwij s, Cultuur en Wetenschap. Wise, Steven L. & Lingyun Gao. (2017).

A General Approach to Measuring Test-Taking Effort on Computer-Based Tests. Applied Measurement in Education, 30 (4), 343-354. Zamarro, G., Cheng, A., Danish Shakeel, M. & Hitt, C. (2016). Comparing and Validating Measures of Character Skills: Findings from a Nationally Representative Sample. EDRE Working Paper 2016-08. Zamarro, G., Hitt, C. & Mendez, I. (2017). When Student’s Don’t Care: Reexamining International Differences in Achievement and Non-cognitive Skills. EDRE Working Paper 2016-18.

31

Appendices Appendix A: Operationalisering van statistische analyses en validiteitsanalyses De uitkomstmaten op basis waarvan we de effecten van Bridge HDT meten zijn vaardigheidsscores, gebaseerd op de Cito LVS-toetsen Rekenen/Wiskunden en Begrijpend Lezen. De vaardigheidsscores zijn vervolgens geschaald in afwijking van het landelijk gemiddelde van de betreffende leeftijdsgroep en gedeeld door een schatting van de populatiestandaarddeviaties van de betreffende leeftijdsgroep. Het landelijk gemiddelde wordt standaard geleverd. De populatiestandaarddeviatie schatten we door het verschil van het 20e en het 80e percentiel te delen door 1.683. Het 20e en 80e percentiel worden ook standaard geleverd, en zijn respectievelijk de grenzen voor de functioneringsniveaus V-IV en II-I. De factor 1.683 is de afstand in standaarddeviaties tussen het 20e en 80e percentiel in de normale verdeling. Vervolgens maken we indicator variabelen (of dummyvariabelen) aan. De treatment indicator is 1 voor leerlingen in de treatment groep en 0 voor leerlingen in de controle groep. De block indicatoren zijn 1 voor leerlingen in een bepaald block of stratum, en anders 0. De effecten van Bridge HDT worden geschat met een regressiemodel, waarbij de gestandaardiseerde toetsscores worden geregresseerd op de treatment indicator en de volledige set aan block of stratum indicatoren.

De geschatte parameter bij de treatment indicator is de schatting van het effect van Bridge HDT. De gerapporteerde standaardfouten bij deze schattingen zijn robuust tegen heteroskedasticiteit in de foutterm. De randomisatie zorgt voor vergelijkbaarheid van de treatment en controlegroep. Echter omdat we niet voor alle 105 leerlingen altijd alle toetsscores hebben kunnen verzamelen, is er een mogelijkheid dat de treatment en controleobservaties van de geobserveerde dataset niet meer vergelijkbaar zijn, in de gebruikelijke zin. We kunnen toetsen voor deze mogelijke verminderde vergelijkbaarheid door een indicator voor een aanwezige toetsscore aan te maken, en deze te regresseren op de treatment indicator, de block indicatoren, en een interactie van de treatment indicator en de baseline scores op de Cito LVS-toetsen Rekenen/Wiskunde, gemeten halverwege groep 6, voorafgaand aan de start van Bridge HDT. We vinden hierbij geen evidentie voor verminderde vergelijkbaarheid. Het wel of niet kunnen meten van een toetsscore wordt dus niet significant beïnvloed door deelname aan Bridge HDT. Er is op basis van deze analyses dus geen reden om te twijfelen aan de validiteit van het onderzoek.

32

Appendix B: Effecten van Bridge HDT op de prestaties in het begrijpend lezen In Tabel B.1 in Appendix B rapporteren we de resultaten op basis van scores op de Cito LVStoets voor begrijpend lezen. De geschatte treatmenteffecten zijn niet statistisch significant. We vinden dus geen effecten van Bridge HDT op het begrijpend lezen. Deelnemers aan Bridge HDT scoren gemiddeld lager dan de leerlingen in de controlegroep, maar deze situatie bestond al voorafgaand aan de start van Bridge HDT en is tijdens Bridge HDT niet veranderd. Tabel B.1: Effecten van Bridge HDT op de prestaties in het begrijpend lezen op de Cito LVS-toets (in termen van populatiestandaarddeviaties.) Kolomnummer

(1)

(2)

(3)

(5)

Baseline M6

Baseline E6

Midline M7

Endline E7

Baseline resultaten/Treatment effect

-0.16

-0.12

-0.12

-0.16

Standaardfout

(0.15)

(0.27)

(0.20)

(0.21)

p-waarde

[0.30]

[0.65]

[0.57]

[0.46]

Aantal observaties

<94>

<79>

<93>

<88>

Meetmoment

Noten: * p<0.1, ** p<0.05, *** p<0.01. De effecten van de interventie zijn geschat op basis van een regressiemodel, waarbij de gestandaardiseerde toetsscores wordt geregresseerd op stratum/block effects (dummy/indicator variabelen die de block of stratum aangeven met een 1, of anders 0) en een indicator voor de treatmentgroep. De geschatte parameter op de indicator voor de treatmentgroep is gerapporteerd in deze tabel, als schatting voor het treatment effect.

33

Appendix C: Bevindingen uit de literatuur Dietrichson et al. (2017: 268) vatten de bevindingen in hun paper samen in het volgende citaat en de figuur hieronder: “Figure 5 shows weighted average effects sizes and confidence intervals graphically. Only effects at the end of intervention are included.”

Figuur C.1: Kopie van figuur “Weighted average effect sizes by component” in Dietrichson et. al. (2017: 268)

34

Appendix D: Operationalisatie toetsadviezen Toetsadviezen worden gebruikt om aan te geven welk adviesniveau past bij een bepaalde taal- of rekenvaardigheid. De toetsadviezen die we hier gebruiken zijn gebaseerd op de Cito LVS toetsen. De grenswaardes voor de toetsadviezen kunnen worden uitgedrukt in populatiestandaarddeviaties ten opzicht van het landelijk gemiddelde van de betreffende leeftijdsgroep. Tabel D.1 geeft aan welke gestandaardiseerde toetsscores passen bij een bepaald advies. De toetsadviezen “bewegen mee” met de leeftijd van de leerling. Om dit te beter te zien werken we met een voorbeeld. Leerlingen met vaardigheidsscores van 0.77 standaarddeviaties boven het landelijk gemiddelde van de leeftijdsgroep, krijgen een toetsadvies (rekenen) vwo. Ook in groep 4 bijvoorbeeld, kunnen leerlingen een toetsadvies vwo krijgen, terwijl in groep 4 verreweg de meeste leerlingen van deze groep nog lang niet aan de eisen voor een vwo advies voldoen. Het toetsadvies is dus relatief ten opzichte van de eigen leeftijdsgroep. Leerlingen die 0.77 standaarddeviaties boven het landelijk gemiddelde scoren in groep 4, zitten dus “op koers” voor een vwo advies in groep 8, maar daarvoor dienen ze wel dat relatief hoge niveau vast te houden.

Tabel D.1: Grenswaardes toetsadviezen, uitgedrukt in populatiestandaarddeviaties ten opzichte van de landelijk gemiddelde vaardigheidsscore van de leeftijdsgroep Toetsadvies

Ondergrens

Praktijkonderwijs

Bovengrens -2,29

Vmbo-basisberoeps

-2,29

-1,39

Vmbo-basis/vmbo-kader

-1,39

-1,18

Vmbo-kader

-1,18

-0,77

Vmbo-kader/vmbo-gt

-0,77

-0,73

Vmbo-gt

-0,73

-0,12

Vmbo-gt/havo

-0,12

0,00

Havo

0,00

0,57

Havo/vwo

0,57

0,77

Vwo

0,77

35