Bijlage 1 Evaluatie Kansenaanpak Primair Onderwijs 2021-2022.pdf

54

Op dit moment is het niet mogelijk om deze aanvullende stappen, die wel nodig zijn voor een goede effect-analyse, uit te voeren. We hebben namelijk nog geen beschikking over de LVSdata uit het NCO onderzoek over het schooljaar 2021-2022. Deze gegevens zijn inmiddels beschikbaar via het CBS, maar voor de huidige pilot was het gegeven de tijd niet mogelijk hier gebruik van te maken. Met deze data zou je wel kunnen bekijken hoe de leergroei in de Amsterdamse scholen zich verhoudt tot de leergroei in de rest van het land. Bij deze aanpak is het wel heel belangrijk om op te merken dat dit natuurlijke experiment nog verre van een gecontroleerd experiment is. Er zijn veel factoren die de leerresultaten van de leerlingen bepalen. De Amsterdamse Kansenaanpak is een van die factoren. De subsidie komt bovenop het achterstandenbudget dat het ministerie van OCW regulier beschikbaar maakt (Posthumus et al., 2019), en ook nog eens bovenop de aanvullende bekostiging die beschikbaar is via het Nationaal Programma Onderwijs (NJi, 2022). Bovendien heeft ook corona erg veel impact op de leerontwikkeling van basisschoolleerlingen gehad (Staat van het Onderwijs, 2021b; 2022), waardoor er nog steeds een verstoord beeld te zien is als het gaat om leeropbrengsten.

Als we uit deze analyse geen effect vinden, betekent dat dan ook niet automatisch dat deze interventies geen nut hebben: het effect van alleen de interventie is erg moeilijk te isoleren binnen elke mogelijke effectmeting. Wellicht hebben we te maken met een complexe situatie, waar we eigenlijk geen duidelijk inzicht in directe effecten kunnen krijgen. De interventies zijn dan nog steeds evidence-informed: eerder wetenschappelijk onderzoek laat zien dat de huidige interventies (bijv. extra leertijd, gebruiken van verdiepende stof) logische aanpakken zijn (Kim et al, 2015; Kortekaas-Rijlaarsdam et al., 2021; Slavin et al, 2011; van Steensel et al., 2011). Omgekeerd betekent een positief effect ook niet direct dat de subsidie het gouden middel is. Het is dan echter wel waarschijnlijk dat de Amsterdamse scholen een goede aanpak hanteren. De subsidie kan een van de bijdragende factoren aan die positieve aanpak zijn. Wanneer deze analyse zou worden uitgevoerd, zou dat dus nog steeds een onvolledig beeld geven van de effectiviteit van de interventies die scholen hebben uitgevoerd. Dit vervolgonderzoek geeft wel al een veel betere benadering dan de huidige pilot, en het zal niet eenvoudig zijn om op andere manier beter inzicht te krijgen in te krijgen in de effectiviteit.

Het is dus waarschijnlijk de best mogelijke manier om met de huidige gegevens iets te zeggen over de effectiviteit van de Kansenaanpak.

6 Conclusie

55

Dit deel van het rapport bestond uit een verkenning van hoe een effect-analyse van de woordenschatinterventies eruit zou kunnen zien. We hebben hiervoor LVS-gegevens verzameld van Amsterdamse scholen waarbij ook een diepte-interview is afgenomen, zoals besproken in Deel B van het rapport. Voor 18 van deze scholen hebben we de leergroei in kaart kunnen brengen van de leerlingen die in een leerjaar zaten waarin de interventie werd aangeboden. De groeiscores op begrijpend lezen en spelling mogen ons voorzichtig optimistisch maken over het effect van de kansenaanpak: de Amsterdamse leerlingen lieten in 2021-2022 grotere groei zien dat op basis van de norm te verwachten is. Het zou overtuigender zijn als we deze groei van de leerlingen op interventiescholen konden vergelijken met de groei op scholen die geen interventies hebben gedaan. We hebben deze analyse en de benodigde data kort beschreven, maar ook deze methode kent nog steeds een aantal beperkingen. Het loont zeker wel de moeite om deze analyse uit te voeren.

56

Bibliografie Andringa, S. J., Kuiken, F., Glazenborg, A., & Thieme, A. (2020). Evaluatie Kansenaanpak Primair Onderwijs Amsterdam Schooljaar 2019-2020. Universiteit van Amsterdam. Andringa, S. J., Kuiken, F., Oostvriesland, P., & Dijkhuizen, M. (2021). Evaluatie Kansenaanpak Primair Onderwijs Amsterdam Schooljaar 2020-2021. Universiteit van Amsterdam. Appel, R., & Vermeer, A. (1996). Uitbreiding van de Nederlandse woordenschat van allochtone leerlingen in het basisonderwijs. Pedagogische studiën, 73, 82-92. Baguley, T. (2012). Serious stats. Basingstoke, UK: Palgrave Macmillan. Bates, D., Maechler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67, 1– 48. https://doi.org/10.18637/jss.v067.i01 Bazaltgroep (2021). Tabellen tussenopbrengsten CITO 3.0 LOVS: https://www.bazaltgroep.nl/wp-content/uploads/sites/2/2019/06/Tabellentussenopbrengsten-Cito-LOVS-leerlingniveau.pdf Borenstein, M.H., Higgins, L.V., & Rothstein, J.P.T. (2009). Introduction to meta-analysis. Hoboken, United States: John Wiley & Sons. Chall, J. S., & Jacobs, V. A. (1983). Writing and reading in the elementary grades: Developmental trends among low-SES children. Language Arts, 60(5), 617-626. Chall, J. S., Jacobs, V. A., & Baldwin, L. E. (1990). The Reading Crisis: Why Poor Children Fall Behind. Cambridge, Mass.: Harvard University Press.

Centerdata. (2021). Personeelstekorten primair onderwijs. Peildatum 1 oktober 2021, https://www.centerdata.nl/wp-content/uploads/2021/12/Eindrapport-personeelstekortenprimair-onderwijs-1-okt-2021.pdf Gemeente Amsterdam (2017). Kansenaanpak Primair Onderwijs: Tegengaan van onderwijsachterstanden in Amsterdam. Geraadpleegd juni 2022 van https://amsterdam.raadsinformatie.nl/document/5974121/1/bijlage_2__beleidsplan_Kans enaanpak_Primair_Onderwijs. Glazenborg, A., Thieme, AM, Andringa, S., & Kuiken, F. (2020). Evaluatie Kansenaanpak Primair Onderwijs Amsterdam Schooljaar 2019-2020. Universiteit van Amsterdam.

57

González-Fernández, B. & N. Schmitt (2017). Vocabulary acquisition. In S. Loewen, M. Sato (Eds.), The Routledge Handbook of Instructed Second Language Acquisition, (pp. 280298). New York: Routledge.

Hart, B., & Risley, T. R. (2003). The Early Catastrophe: The 30 Million Word Gap by Age 3. American Educator, 4-9. Hernán, M. A., & Robins, J. M. (2020). Causal Inference: What If? Boca Raton: Chapman & Hall/CRC. Hirsch, E. D. (2003). Reading Comprehension Requires Knowledge – of Words and the World: Scientific Insights into the Fourth-Grade Slump and the Nation’s Stagnant Comprehension Scores. American Educator, 10-45. Imbens, G.W., & Rubin, D.B. (2015). Causal Inference for Statistics, Social, and Biomedical Sciences. An Introduction. Cambridge: Cambridge University Press. Inspectie van het Onderwijs. (2021a). Schoolweging 2019/2020, 2020/2021 en 2021/2022, https://www.onderwijsinspectie.nl/trends-en-ontwikkelingen/documenten/databestanden/2022/05/11/schoolweging-2019-2020-2020-2021-en-2021-2022 Inspectie van het Onderwijs (2021b). De Staat van het Onderwijs 2021. Utrecht: Inspectie van het Onderwijs Inspectie van het Onderwijs (2022). De Staat van het Onderwijs 2022. Utrecht: Inspectie van het Onderwijs Ivanovic, R., Forno, H., Castro, C. G., & Ivanovic, D. (2000). Intellectual ability and nutritional status assessed through anthropometric measurements of Chilean school-age children from different socioeconomic status. Ecology of Food and Nutrition, 39, 35–59. https://doi.org/10.1080/03670244.2000.9991604. Ivanovic, D. M., Leiva, B. P., Pérez, H. T., Olivares, M.

G., Díaz, N. S., Urrutia, M. S. C., Almagià, A. F., Toro, T. D., Miller. P. T., Bosch, E. O., & Larraín, C. G. (2004). Head size and intelligence, learning, nutritional status and brain development: Head, IQ, learning, nutrition and brain. Neuropsychologia, 42, 1118-1131. https://doi.org/10.1016/j.neuropsychologia.2003.11.022. Kim, S.W., & Hill, N. E. (2015). Including fathers in the picture: A meta-analysis of parental involvement and students’ academic achievement. Journal of Educational Psychology, 107(4), 919.

58

Kortekaas-Rijlaarsdam, A. F., Ehren, M., & Meeter, M. (2021). Catch-up programmes in primary education in the Netherlands: overview of programmes (first tranche) and a literature review of effectiveness of programmes. Amsterdam: VU Learn! Kuiken, F., & Phoa, L.A. (2019). Evaluatie Kansenaanpak Primair Onderwijs Amsterdam. Universiteit van Amsterdam. Morgan, P. L., Farkas, G., Hillemeier, M. M., Hammer, C. S., & Maczuga, S. (2015). 24-MonthOld Children With Larger Oral Vocabularies Display Greater Academic and Behavioral Functioning at Kindergarten Entry. Child development, 86(5), 1351–1370. https://doi.org/10.1111/cdev.12398 Nationaal Programma Onderwijs (z.d.). Interventies kiezen in het funderend onderwijs (menukaart). Geraadpleegd juni 2022 van https://www.nponderwijs.nl/po-en-vo/aan-deslag/menukaart/. Nature. (2021). Nobel-winning ‘natural experiments’ approach made economics more robust, https://doi.org/10.1038/d41586-021-02799-7 NJi (2022). Nationaal Programma Onderwijs verlengd. Nationaal Jeugdinstituut. Geraadpleegd juni 2022 van: https://www.nji.nl/nieuws/nationaal-programma-onderwijs-verlengd. Pearl, J. (2009). Causality: Models, Reasoning and Inference. Cambridge: Cambridge University Press. Pearl, J. Glymour, M., & Jewell, N.P. (2016). Causal Inference in Statistics. A Primer. Chichester: John Wiley & Sons Ltd. Posthumus, J., Scholtus, S, & Walhout, J. (2019).

De nieuwe onderwijsachterstandenindicator primair onderwijs. CBS: https://www.cbs.nl/-/media/_pdf/2019/45/de-nieuweonderwijsachterstandenindicator-primair-onderwijs.pdf Powell, M. J. D. (2009). The BOBYQA algorithm for bound constrained optimization without derivatives. Technical Report, Department of Applied Mathematics and Theoretical Physics, University of Cambridge. Powell, S. R., & Nelson, G. (2017). An investigation of the mathematics-vocabulary knowledge of first-grade students. The Elementary School Journal, 117(4), 664–686. https://doi.org/10.1086/691604 R Core Team. (2015). R: A language and environment for statistical computing [Computer software]. Vienna, Austria: R Foundation for Statistical Computing. Retrieved from Rproject.org/ Ramsook, K. A., Welsh, J. A., & Bierman, K. L. (2020). What you say, and how you say it: Preschoolers' growth in vocabulary and communication skills differentially predict

59

kindergarten academic achievement and self-regulation. Social development (Oxford, England), 29(3), 783–800. https://doi.org/10.1111/sode.12425 Rijksoverheid. (z.d.) Aanpak lerarentekort. Geraadpleegd juni 2022 van https://www.rijksoverheid.nl/onderwerpen/werken-in-het-onderwijs/aanpak-tekort-aanleraren. Ringbom, H., & Jarvis, S. (2009). The importance of Cross-Linguistic Similarity in Foreign Language Learning. In Michael H. Long and Catherine J. Doughty (Eds.) The Handbook of Language Teaching, (pp.106-118). Blackwell Publishing Ltd. https://doi/10.1002/9781444315783.ch7. RIVM (2022). Tijdlijn van coronamaatregelen. Geraadpleegd juni 2022 van https://www.rivm.nl/gedragsonderzoek/tijdlijn-maatregelen-covid. Roeleveld, J., Driessen, G., Ledoux, G., Cuppen, J., & Meijer, J. (2011). Doelgroepleerlingen in het basisonderwijs: historische ontwikkeling en actuele situatie. Kohnstamm Instituut & ITS. Sheen, Y., & Ellis, R. (2011). Corrective Feedback in Language Teaching. In Hinkel, E. (ed), Handbook of Research in Second Language Teaching and Learning, 2, (pp. 593-610). New York: Routledge. Slavin, R. E., Lake, C., Davis, S., & Madden, N. A. (2011) Effective programs for struggling readers: A best-evidence synthesis. Van-Steensel, R., McElvany, N. Kurvers J. & Herppich S. (2011). How Effective Are Family Literacy Programs? : Results of a Meta-Analysis.

Review Of Educational Research 81.1 pp 69-96. Research Review, 6(1), 1-26 Valcke, M. (2019). Van een cognitivistische visie op leren naar het ontwerpen van instructie. In M. Valcke (red.), Onderwijskunde als ontwerpwetenschap, (pp. 241-383). Vermeer, A. (2003). NT2-onderwijs en onderwijs Nederlands als moedertaal. In R. Appel (red.), De verwerving van het Nederlands als tweede taal, (pp. 80-100). Alphen aan de Rijn: Kluwer. (Leids Onderwijskundig Lexicon, editie 111). Vichtbauer, W. (2010). Conducting meta-analyses in R with the metaphor package. Journal of Statistical Software, 36(3), 1-48. Vygotsky, L. S. (1978). Mind in society: The development of higher psychological processes. Cambridge, MA: Harvard University Press. Wiersma, D. (2022). Kamerbrief over Masterplan basisvaardigheden, https://www.rijksoverheid.nl/documenten/kamerstukken/2022/05/12/kamerbriefmasterplan-basisvaardigheden

60

61

Bijlagen Bijlage 1: Mail van de gemeente aan de schoolleiders Beste schoolleider,

U heeft zich aangemeld deel te nemen aan het Kansenaanpak PO effectonderzoek die door de UvA wordt uitgevoerd. Het onderzoek bestaat uit een kwalitatief deel, waarbij een diepte-interview met uw school plaatsvindt. De UvA zal met u kijken naar o.a. het verloop van de (woordenschat)interventies, eventuele knel-en verwonderpunten en behaalde resultaten. Daarnaast bestaat het onderzoek uit een kwantitatief deel uitgewerkt op basis van gestandaardiseerde scores aan de hand van testresultaten op uw school. Alle informatie wordt vertrouwelijk behandeld met het oog op het waarborgen van de kwaliteit van de Kansenaanpak. De UvA neemt binnenkort telefonisch contact met u op om een afspraak in te plannen.

Mocht u vragen hebben, dan kunt u altijd contact opnemen met de UvA (c.e.timmer@uva.nl en s.j.bron@uva.nl).

Bedankt voor uw medewerking.

62

Bijlage 2: Informatiebrochure Geachte participant / Beste deelnemer,

U gaat namens de basisschool waar u werkt deelnemen aan het onderzoek Kansenaanpak Primair Onderwijs

-

Woordenschatinterventies

van

de

Universiteit

van

Amsterdam,

Faculteit

der

Geesteswetenschappen (Capaciteitsgroep Nederlandse Taalkunde), uitgevoerd door Sammy Jo Bron en Charlotte Timmer onder begeleiding van Dr. S.J. (Sible) Andringa en Prof. dr. F. (Folkert) Kuiken. Wij voeren dit onderzoek uit in opdracht van de gemeente Amsterdam.

Doel van het onderzoek In het Amsterdamse primair onderwijs is er sprake van kansenongelijkheid, onder andere door de talige achtergrond van leerlingen en de socio-economische status van ouders/verzorgers. Om meer kansengelijkheid te bewerkstelligen is er door de gemeente Amsterdam een subsidie, Kansenaanpak PO, vrijgemaakt, via welke scholen gelden ontvangen om middels interventies de kansen van doelgroepleerlingen te vergroten. Uw school ontvangt die subsidie. Het doel van het huidige onderzoek is inzicht krijgen in de precieze aard van de interventies die gedaan zijn met de subsidie, waarbij de nadruk ligt op interventies die zijn ingezet om de woordenschat van de doelgroepleerlingen te vergroten. Daarnaast heeft het onderzoek als doel om in kaart te brengen wat de effecten van de subsidie zijn.

Instructie en procedure Dit onderzoek wordt uitgevoerd in de vorm van een diepte-interview met de contactpersonen van de basisscholen die de subsidie Kansenaanpak PO hebben gebruikt om woordenschatinterventies in te zetten in het schooljaar 2021-2022. Het interview wordt afgenomen op uw school en zal ongeveer een uur duren. Van het interview willen we een audio-opname maken ter ondersteuning van de dataverwerking. Na de verwerking, zal de opname worden vernietigd.

Ongemak, risico’s en verzekering De risico’s van deelname aan dit onderzoek zijn niet groter dan die in dagelijkse situaties thuis. Uit ervaring met voorgaande, vergelijkbare onderzoeken is gebleken dat er van enig ongemak voor de deelnemers niet of nauwelijks sprake is. Bij elk onderzoek van de Universiteit van Amsterdam geldt een standaard aansprakelijkheidsverzekering.

63

Vertrouwelijkheid van de onderzoeksgegevens De gegevens die in dit onderzoek worden verzameld, zullen door de onderzoekers alleen worden gebruikt voor nadere analyse ten behoeve van onze rapportages en de rapportage aan de aanvrager (gemeente Amsterdam). Hierbij wordt geen gebruik gemaakt van persoonlijke gegevens van de deelnemers aan het onderzoek: de anonimiteit van de leerlingen, medewerkers en eventuele andere deelnemers blijft onder alle omstandigheden gewaarborgd. Dit doen wij door de verzamelde onderzoeksgegevens gecodeerd op te slaan, apart van persoonlijke gegevens. Alleen medewerkers aan het onderzoek hebben toegang tot deze persoonsgegevens en de codering. Anonieme data zullen worden opgeslagen voor een periode van 10 jaar. De persoonsgegevens zullen alleen worden opgeslagen zolang het nodig is voor het onderzoek en zullen zo spoedig mogelijk worden verwijderd.

Vragen Als u nog verdere informatie wilt over dit onderzoek, dan kunt u zich wenden tot Sammy Jo Bron (e-mail: s.j.bron@uva.nl) of Charlotte Timmer (e-mail: c.e.timmer@uva.nl).

Klachten Met eventuele klachten over dit onderzoek kunt u zich wenden tot de secretaris van de Commissie Ethiek van de Faculteit Geesteswetenschappen van de Universiteit van Amsterdam; e-mail: commissie-ethiekfgw@uva.nl; telefoon: +31 20 – 525 3054; Kloveniersburgwal 48, 1012 CX Amsterdam.

Alvast hartelijk dank voor uw medewerking!

64

Bijlage 3: Toestemmingsformulier ‘Ik verklaar hierbij op voor mij duidelijke wijze te zijn ingelicht over het onderzoek Kansenaanpak PO Woordenschatinterventies van de Universiteit van Amsterdam, Faculteit der Geesteswetenschappen (Capaciteitsgroep Nederlandse Taalkunde), uitgevoerd door Sammy Jo Bron en Charlotte Timmer onder begeleiding van Dr. S.J. (Sible) Andringa en Prof. dr. F. (Folkert) Kuiken. zoals uiteengezet in de informatiebrochure. Mijn vragen zijn naar tevredenheid beantwoord.

Indien mijn gegevens gebruikt worden in rapportages, dan wel op een andere manier openbaar worden gemaakt, dan zal dit volledig geanonimiseerd gebeuren. Mijn persoonsgegevens zullen niet door derden worden ingezien zonder mijn expliciete toestemming. Als ik nog verdere informatie over het onderzoek zou willen krijgen, nu of in de toekomst, kan ik me wenden tot Sammy Jo Bron (e-mail: s.j.bron@uva.nl) of Charlotte Timmer (e-mail: c.e.timmer@uva.nl). Met eventuele klachten over dit onderzoek kan ik me wenden tot de secretaris van de Commissie Ethiek van de Faculteit Geesteswetenschappen van de Universiteit van Amsterdam; email: commissie-ethiekfgw@uva.nl; telefoon: +31 20 – 525 3054; Kloveniersburgwal 48, 1012 CX Amsterdam.’

Ik geef toestemming om: - deel te nemen aan dit onderzoek

ja / nee

- audio-opnames te maken

ja / nee

- mijn geanonimiseerde gegevens op te slaan voor een periode van 10 jaar ja / nee

……………………………

……………………….

……………………………

Naam proefpersoon

Datum

Handtekening

(Contactpersoon)

…………………………. Naam school

65

Bijlage 4: Interviewvragen Gegevens 1. Naam van de school: 2. Adres van de school: 3. Naam schoolbestuur: 4. Naam contactpersoon: 5. E-mailadres contactpersoon: 6. Telefoonnummer contactpersoon: 7. Interventies

Wat 1. Welke interventies hebben jullie gebruikt binnen de Kansenaanpak PO? 1. Komt wat jullie nu doen nog overeen met de oorspronkelijke aanvraag? 2. Wat is er eventueel anders? En waarom? 2. Woordenschatinterventie: 1. Waarom hebben jullie gekozen voor een woordenschatinterventie? 2. Wat waren de doelen van de woordenschatinterventie? 3. Wat waren de verwachtingen van de woordenschatinterventie? 3. Wat doen jullie precies als woordenschatinterventie? 1. Welke methode hebben jullie gebruikt? 1. Denk aan: Verteltas, Logo3000, BAK, WAK, overig, zelf ontwikkeld, geen methode 2. Waarom deze methode? 2. Welke krachten hebben de woordenschatinterventie uitgevoerd? 1. Intern of extern (leerkracht, IB’ers, RT’ers, onderwijsassistent, externe kracht, overig) 3. Hoe combineren jullie de woordenschatinterventie met andere interventies, zoals: 1. Onderwijsassistentie, overige onderwijsondersteuning, leesvaardigheid, ouderbetrokkenheid, verlengde leertijd, zelfvertrouwen. 2. Eventueel nog andere middelen? 4. Wanneer werd de woordenschatinterventie gedaan? 1. Reguliere lestijd 2. Verlengde lestijd → antwoord specificeren -

Leerlab

-

Schakelklas (deeltijd, voltijd)

-

Doelab

-

Huiswerkklas

66

-

Overig

3. Hoe lang was de verlengde leertijd? 4. Hoe lang werd er binnen de verlengde leertijd gespendeerd aan de woordenschatinterventie? 5. Hoe vaak en hoe lang wordt er tijd aan de woordenschatinterventie gespendeerd? -

Hoeveel sessies per week?

-

Hoe lang per sessie?

-

Hoeveel weken?

6. Welke leerlingen kwamen in aanmerking voor de woordenschatinterventie? 1. Aan welke criteria moesten ze voldoen? 2. Waarom deze criteria? 3. Wie heeft die criteria bepaald? 4. Hoeveel leerlingen hebben in totaal meegedaan aan de woordenschatinterventie? 5. Welke leerjaren kwamen in aanmerking? 6. Welke leerjaren hebben daadwerkelijk meegedaan? 7. Waarom hebben er uiteindelijk meer/minder leerlingen meegedaan aan de woordenschatinterventie? 8. Hoeveel leerlingen zijn er per groep waarin aan de woordenschat wordt gewerkt? Verloop 7. Kunnen jullie schetsen hoe een les eruitziet (verhaalvorm; beschrijving)? 1. Begin tot eind, werkvorm (individueel, groepjes, klassikaal) 2. Hoeveel tijd wordt er aan welke opdrachten besteed? 3. Hoeveel wordt er zelfstandig gewerkt en hoeveel onder begeleiding? 8. Is de woordenschatinterventie geïntegreerd met andere vaardigheden? Zo ja, welke? 1. Lezen -

Technisch lezen

-

Begrijpend lezen

-

Plezier lezen

2. Rekenen 3. Sociale vaardigheden 4. Overig 9. Hoe zorgen jullie ervoor dat de leerlingen gemotiveerd zijn? 10. Wat is de invloed van de coronacrisis op het verloop van het proces geweest? Effect 11. Zijn de doelen uitgekomen? 12. Zijn de verwachtingen uitgekomen?

67

13. Wat zijn de leeropbrengsten/resultaten? 1. Zijn er ook onverwachte resultaten? 14. Welke factoren hebben daar volgens jullie het meest aan bijgedragen? 1. Wat werkt wel en waarom? 2. Wat werkt niet en waarom? 15. Hebben jullie vanuit de overheid andere gelden/tegemoetkomingen/subsidies gekregen? 1. Hebben jullie deze ingezet voor woordenschat? 2. Zien jullie een relatie tussen de woordenschatinterventie en andere interventies die jullie uitvoeren? 16. Hoe hebben jullie de resultaten/effecten gemeten? (specifieke woordenschattoets) 1. Hoe slaan jullie de resultaten op? Magister, Cito, etc.? 17. Wat is de invloed van de coronacrisis op de resultaten? 18. Is het budget van de Kansenaanpak PO toereikend geweest voor de woordenschatinterventie? 1. Wat is de verdeling met andere interventies die op de school gedaan zijn? 19. Is de woordenschatinterventie vroegtijdig stopgezet? Zo ja, waarom? 20. Wat nemen jullie mee naar het volgende schooljaar? 21. Wat willen jullie veranderen in het volgende schooljaar? 22. Hebben jullie suggesties voor de Kansenaanpak PO? Kwantitatieve dataverzameling: LVS: e-toets:

68

Bijlage 5: Methodologische informatie effectmeting Ons voorstel voor een vervolganalyse om beter inzicht te geven in een mogelijk effect van de kansenaanpak bestaat uit twee stappen. In deze analyses behandelen we iedere school als een eigen 'studie'. We voeren deze analyses uit uit in R (R Core Team, 2015), waarbij we het lme4pakket (Bates, Maechler, Bolker, & Walker, 2015) en het metafor-pakket (Viechtbauer, 2010) gebruiken voor de eerste en tweede stap van de analyse. We herhalen deze analyse voor ieder van de drie vaardigheden (begrijpend lezen, spellen en rekenen). In de eerste stap van de analyse achterhalen we voor iedere school de wegingsfactor, zoals die door het CBS is berekend. Vervolgens zoeken we uit de dataset van het nationaal cohortonderzoek (NCO) alle scholen met een vergelijkbare weging. Dit zijn scholen met een soortgelijke leerlingpopulatie, die kunnen dienen als controlegroep voor de Amsterdamse school waar een interventie heeft plaatsgevonden. Op basis van de eerder afgenomen diepte-interviews weten we in welke leerjaren de woordenschatinterventie heeft plaatsgevonden. Voor iedere school gebruiken we alleen gegevens van leerlingen in de betreffende leerjaren. Uit de NCOdataset verzamelen we vervolgens van scholen die de controlegroep vormen, de gegevens van leerlingen uit dezelfde leerjaren.

Wanneer een school de interventie alleen aanbiedt in groep 3 en 4, dan gebruiken we enkel LVS-gegevens van kinderen die in die groepen zaten in het jaar van de interventie. Dit geldt zowel voor de deelnemende school, als voor de scholen in de controlegroep. Voor iedere school voeren we met deze gegevens een regressiemodel met gemixte effecten uit. Met dit model kunnen we bekijken wat het verschil in leergroei is tussen Amsterdamse scholen en niet-Amsterdamse scholen, en er tegelijkertijd rekening mee houden dat datapunten afkomstig zijn van verschillende leerlingen uit verschillende klassen - zonder te weten wie de leerlingen precies zijn. In dit model is de LVS-score de afhankelijke variabele. Toetsmoment (midden of eind) is een onafhankelijke binnen-proefpersoon variabele en schoollocatie (Amsterdam of nietAmsterdam) is een onafhankelijke tussen-proefpersoon variabele. Het model bevat verder random intercepts voor leerling en klas. Deze intercepts zijn hiërarchisch ingebed. Het model ziet er dus als volgt uit: LVS-score ~ toetsmoment * schoollocatie + (1 | leerling/klas). Voor de onafhankelijke variabelen passen we orthogonale som-tot-nul contrastcodering toe (Baguley, 2012, pp. 590−621). Voor iedere school willen we hetzelfde model uitvoeren. We voegen daarom geen random slopes toe, omdat het model dan mogelijk voor een deel van de scholen niet convergeert.

Om verdere convergentieproblemen te voorkomen, verhogen we het aantal iteraties van ieder model naar 100.000 (Powell, 2009). In dit model zijn we geïnteresseerd in de interactie 69

tussen toetsmoment en schoollocatie. Als de woordenschatinterventies effect hebben, is het verschil tussen de twee toetsmoment groter voor Amsterdamse scholen, dan voor nietAmsterdamse scholen. De tweede stap van onze analyse is het uitvoeren van een meta-analyse. Dit is een statistische techniek waarmee normaal gesproken resultaten uit verschillende studies met elkaar vergeleken kunnen worden. Omdat scholen zoveel van elkaar verschillen, hebben we ervoor gekozen om deze methode ook hier uit te voeren, waarbij we een random-effects model hebben uitgevoerd (Borenstein et al., 2009). Voor ieder van de scholen rekenen we Cohen's d of Hedges’ g uit van het interactie-effect tussen toetsmoment en schoollocatie. Een eerste meta-analyse kijkt enkel naar een globaal leereffect. In een aanvullende stap voeren we verdere meta-regressies uit waarbij we onderzoeken of bepaalde factoren bijdragen aan een groter effect van de interventies. In deze meta-regressies nemen we de informatie uit de diepte-interviews over het bereik van de interventie, het aantal leerlingen dat deelnam, de locatie etc. mee. Zo kunnen we niet alleen achterhalen of de interventies in het algemeen effectief zijn, maar ook of scholen waarbij de interventie succesvol was bepaalde best-practices hadden.

70