Bijlage 2. Rapport Reken op Zuidoost jaar 2..pdf
Tekst van het document
In Zuidoost zit ongeveer 16% van de leerlingen in het 5e kwintiel, dat wil zeggen, leerlingen die rekenen op een niveau dat past bij een vwo-advies. Landelijk is dit per definitie 20% (per definitie) en in de rest van Amsterdam (Amsterdam, exclusief groep 8 leerlingen uit het standsdeel Amsterdam Zuidoost) is dit ongeveer 23%. Figuur C.4 Rekenprestaties op basis van rekenonderdeel van de Cito-eindtoets (schooljaar 2013/2014) in Amsterdam Zuidoost [links] de rest van Amsterdam (exclusief Zuidoost) [rechts], in vergelijking met de rekenprestaties landelijk.
30 % 20 10 0
0
10
% 20
30
40
Amsterdam excl. Zuidoost
40
Amsterdam Zuidoost
1
2
3 kwintielgroepen
4
5
1
2
3 kwintielgroepen
4
5
40
Dit onderzoek laat zien dat leerlingen gemiddeld veel baat hebben bij het HDT-programma van The Bridge. In Figuur C.5 maken we een projectie van de effecten van een Zuidoostbrede uitrol van het Bridge HDT programma in de toepassing waarbij de eerste twee kwintielen, de laagst scorende 40% landelijk, deelnemen. We nemen hiervoor als startpunt de rekenscores van leerlingen, en tellen hier voor de doelgroep het gevonden treatment effect bij op. Leerlingen in Amsterdam Zuidoost in de laagst scorende twee kwintielen krijgen er dus 0.6 populatiestandaarddeviaties bij. Een treatment effect van 0.6 populatiestandaarddeviaties voor alle leerlingen in de laagst scorende twee categorieën in Amsterdam Zuidoost, zorgt voor een substantiële verschuiving van het beeld. De achterstand in termen van het aandeel laag scorende leerlingen is in deze projectie geheel ingelopen en zelfs gekanteld in het voordeel van Amsterdam Zuidoost. We merken hierbij op dat Bridge HDT zich in de huidige toepassing richt op de laagst scorende 40% of soms 60% (zoals bij het in dit rapport geëvalueerde programma) van de leerlingen. Logischerwijs zien we in de huidige toepassing dus geen verschuivingen in het relatief lage aandeel hoog scorende leerlingen in Amsterdam Zuidoost, de leerlingen die rekenen op vwo-niveau.
Figuur C.5 [links] Geprojecteerde rekenprestaties op basis van het rekenonderdeel van de Cito-eindtoets in het schooljaar 2013/2014. We projecteren treatment effecten van 0.6 populatiestandaarddeviaties op de twee laagst scorende kwintielen in Amsterdam Zuidoost. De resultaten van de projecties zijn donker gekleurd. De werkelijke situatie in 2013/2014 is licht gekleurd in de achtergrond. [rechts] Rekenprestaties op basis van het rekenonderdeel van de Cito-eindtoets in Amsterdam exclusief stadsdeel Amsterdam Zuidoost. Projectie Amsterdam Zuidoost
Amsterdam excl. Zuidoost 40 30 % 20 10 0
0
10
% 20
30
40
+0.6 treatment effect op de twee laagst scorende kwintielgroepen
1
2
3 kwintielgroepen
4
5
1
2
3 kwintielgroepen
4
5
41
In Figuur C.6 laten we zien dat ook met kleinere effecten een groot deel van de achterstand in het aandeel laag scorende leerlingen kan worden weggewerkt. Figuur C.6 [links] Geprojecteerde rekenprestaties op basis van het rekenonderdeel van de Cito-eindtoets in het schooljaar 2013/2014. We projecteren treatment effecten van 0.3 populatiestandaarddeviaties op de twee laagst scorende kwintielen in Amsterdam Zuidoost. De resultaten van de projecties zijn donker gekleurd. De werkelijke situatie in 2013/2014 is licht gekleurd in de achtergrond. [rechts] Rekenprestaties op basis van het rekenonderdeel van de Cito-eindtoets in Amsterdam exclusief stadsdeel Amsterdam Zuidoost. Projectie Amsterdam Zuidoost
Amsterdam excl. Zuidoost 40 30 % 20 10 0
0
10
% 20
30
40
+0.3 treatment effect op de twee laagst scorende kwintielgroepen
1
2
3 kwintielgroepen
4
5
1
2
3 kwintielgroepen
4
5
Appendix D: Resultaten op basis van de TOA niettalige rekentoets In Tabel D.1 rapporteren we effectmetingen op basis van de TOA niet-talige rekentoets. De geschatte effecten zijn positief en zeer significant. De effecten lijken echter iets kleiner te zijn als de effecten die we in kolom 2 van Tabel 1 hebben gerapporteerd (0.65 in Tabel 1 en 0.49 in Tabel F.1). Echter, bij de analyses op basis van de TOA rekentoets passen we een andere schaling toe, waardoor de resultaten van Tabel 1 en Tabel D.1 niet 1-op-1 vergelijkbaar zijn. Om de resultaten toch te kunnen vergelijken passen we in Tabel D.1 en D.2 dezelfde schaling toe, waardoor we de resultaten op basis TOA rekentoets en de Cito LVS Rekenen/Wiskundetoets toch naast elkaar kunnen zetten. Op basis van Tabel D.1 en D.2 42
concluderen we dat de gebruikte rekentoetsen weinig verschil maken, bij het vergelijken van de effectgroottes. Tabel D.1. Effecten van Bridge HDT op de rekenprestaties voor loopjaar 2 (1B) op basis van TOA niet-talige rekentoets (in termen van controlegroep standaarddeviaties, Glass’ Delta) (1)
(2)
Midline M7
Endline E7
Treatment effect
-
0.43***
Standaardfout
-
(0.15)
Aantal observaties
-
[88]
Noten: * p<0.1, ** p<0.05, *** p<0.01. De effecten van de interventie zijn geschat op basis van een regressiemodel. Als afhankelijke variabele gebruiken we de gestandaardiseerde TOA rekenscores, waarbij de standaardiseren door de ruwe scores te verminderen met de gemiddelde score in de controlegroep en te delen voor de standaarddeviatie in de controlegroep. Als onafhankelijke variabelen gebruiken we 1) dummy/indicator variabelen voor alle sampling blocks/strata, 2) en een dummy/indicator variabele voor de treatment groep, 3) toetsscores bij baseline, halverwege groep 6. De geschatte parameter op de indicator voor de treatmentgroep is gerapporteerd in deze tabel als schatting voor het treatment effect. Verder wegen we de data zodat de treatmentgroep en de controlegroep beide representatief zijn voor de gehele experimentele dataset. Observaties in de treatmentgroep worden gewogen met 1/p, en observaties in de controlegroep worden gewogen met 1/(1-p). De factor p is de kans op selectie in de treatmentgroep.
Tabel D.2. Effecten van Bridge HDT op de rekenprestaties voor loopjaar 2 (1B) op basis van Cito LVS Rekenen/Wiskunde (in termen van controlegroep standaarddeviaties, Glass’ Delta) (1)
(2)
Midline M7
Endline E7
Treatment effect
0.32***
0.49***
Standaardfout
(0.12)
(0.14)
Aantal observaties
[90]
[92]
Noten: * p<0.1, ** p<0.05, *** p<0.01. De effecten van de interventie zijn geschat op basis van een regressiemodel. Als afhankelijke variabele gebruiken we gestandaardiseerde Cito LVS scores op het onderdeel Rekenen/Wiskunde, waarbij de standaardiseren door de ruwe scores te verminderen met de gemiddelde score in de controlegroep en te delen voor de standaarddeviatie in de controlegroep. Als onafhankelijke variabelen gebruiken we 1) dummy/indicator variabelen voor alle sampling blocks/strata, 2) en een dummy/indicator variabele voor de treatment groep, 3) toetsscores bij baseline, halverwege groep 6. De geschatte parameter op de indicator voor de treatmentgroep is gerapporteerd in deze tabel als schatting voor het treatment effect. Verder wegen we de data zodat de treatmentgroep en de controlegroep beide
43
representatief zijn voor de gehele experimentele dataset. Observaties in de treatmentgroep worden gewogen met 1/p, en observaties in de controlegroep worden gewogen met 1/(1-p). De factor p is de kans op selectie in de treatmentgroep.
44