Evidence-informed werken Onderwijskennis Netwerk Amsterdam - een evaluatie (OS).pdf

Evidence-informed werken & Onderwijskennis Netwerk Amsterdam – een evaluatie

Onderzoek en Statistiek

1

In opdracht van: Directie Onderwijs, Jeugd, Zorg en Diversiteit Projectnummer: 230357 Auteur: Milou Haggenburg-Mohammed, Mathilde van Rijsewijk, Rasha Zrek, Jeroen Slot M.m.v: Duco Bannink (VU) E-mailadres: m.haggenburg@amsterdam.nl Bezoekadres: President Kennedylaan 923 Telefoon: 020 251 0333 Postbus 658, 1000 AR Amsterdam onderzoek.amsterdam.nl Amsterdam, september 2024 Foto voorzijde: JumpIn Basisschool Narcis Querido, fotograaf Edwin van Eis (2016)

2

Inhoud

Samenvatting en conclusies

4

Inleiding

9

2 Onderzoeksopzet

11

3 Algemene evaluatie ONA

17

4 Evidence-informed werken

24

5 Wel of niet evidence-informed werken?

28

6 Integratief gedragsmodel en evidence-informed werken

30

7 Andere doelen naast evidence-informed werken

34

8 ONA als motivator en verbinder

38

Bibliografie

42

Bijlage 1 vragenlijst

43

Bijlage 2 topiclijsten

52

3

Samenvatting en conclusies

1.1 Inleiding en achtergrond Dit rapport is het resultaat van het onderzoek naar zowel evidence-informed werken in het Amsterdamse basisonderwijs als Onderwijskennis Netwerk Amsterdam (ONA). De aanleiding voor dit onderzoek was de vraag van de gemeente Amsterdam om de activiteiten van ONA van de eerste twee jaar te evalueren. Deze vraag is in dit onderzoek in drie thema’s opgedeeld. Om ONA te evalueren gaat het onderzoek allereerst heel praktisch over hoe deelnemers de activiteiten hebben ervaren en in hoeverre ze er iets aan hebben gehad in hun dagelijkse werk (thema 1). Echter, om te weten of ONA echt aansluit bij de behoeften van het Amsterdamse basisonderwijs zijn meer inzichten nodig. Het is in de eerste instantie belangrijk om te weten hoe het Amsterdamse basisonderwijs aankijkt tegen het doel van ONA: goed onderwijs door het stimuleren van evidence-informed werken. Pas als we weten waarom mensen wel of niet evidence-informed werken, kunnen we evalueren of de activiteiten van ONA daarop aansluiten (thema 2). Daarnaast is een belangrijk kenmerk van ONA dat het een samenwerkingsverband is. Binnen ONA werken de gemeente Amsterdam, het Breed Bestuurlijk Overleg (BBO) en Education Lab (een consortium van de Universiteit Maastricht en de Vrije Universiteit) samen.

Daarnaast zijn veel van de activiteiten die ze aanbieden in samenwerking met bijvoorbeeld individuele schoolleiders of leerkrachten. Uit de wetenschappelijke literatuur -en natuurlijk herkenbaar in de praktijk- blijkt dat samenwerking rondom een gezamenlijk doel (hier ‘goed onderwijs door middel van evidence-informed werken’) vaak moeizaam gaat. Dat komt doordat de samenwerkingspartners zelf ook allerlei andere doelen en belangen hebben die spelen náást de wens voor het gezamenlijke doel (zoals het oplossen van het lerarentekort, lesvaardigheden ontwikkelen als zij-instromer, of het verbeteren van de sfeer in het team). De literatuur laat zien dat als de verschillende doelen van partners helder zijn, er manieren gezocht kunnen worden om verbindingen te leggen tussen de doelen van de partners én het gezamenlijke doel. Dit wat abstracte verhaal is goed op ONA van toepassing, want zij hebben precies een rol in het verbinden van de verschillende doelen om zo toch tot meer evidence-informed werken te komen. De vraag in dit onderzoek is dan ook welke doelen, belangen en perspectieven we zien binnen het Amsterdamse basisonderwijs die náást evidence-informed werken spelen. Daarna is de vraag in hoeverre het ONA lukt om een rol te spelen in het verbinden van die verschillende doelen aan evidence-informed werken om zo toch een stap richting het gezamenlijke doel te zetten (thema 3).

Uiteindelijk geeft dit onderzoek op basis van een enquête (38 respondenten) en interviews (11 mensen) inzicht in wat tot nu toe de sterke kanten zijn van ONA en waar nog kansen liggen om verder te ontwikkelen rondom deze drie thema’s.

4

1.2 Thema 1 – Algemene evaluatie van ONA In het algemeen wordt ONA positief beoordeeld door onze respondenten, zowel online als in de interviews. Zeker gezien de korte tijd dat ONA nu actief is, vinden mensen het knap dat al zoveel werk is verzet. Vooral de verbindende werking van ONA tussen wetenschap en praktijk, en tussen scholen onderling wordt als heel belangrijk gezien. Het contact met ONA noemen mensen prettig en enthousiast. De activiteiten die via ONA aangeboden zijn, worden door de respondenten positief beoordeeld. Heel concreet: geen van de respondenten van de enquête is negatief over de activiteiten waar ze aan hebben deelgenomen. Veel mensen noemden de activiteiten zeer inspirerend. De toolkits en praktijkkaarten lijken als nuttig te worden ervaren. Uit de algemene evaluatie blijkt dat voor ONA nog kansen liggen op de bekendheid en vindbaarheid van de toolkits en praktijkkaarten. Ook het Taallab en Lerarenlab zijn bij de respondenten weinig bekend. Suggesties ter verbetering vanuit de respondenten zitten verder onder andere op meer samenwerking met Amsterdamse kennisinstellingen, en meer tijd voor vragen en reflectie tijdens de workshops. De respondenten hebben verschillende suggesties over mogelijke aanvullende thema’s, maar daar is geen duidelijke lijn in te vinden.

De suggesties lopen uiteen van rekenonderwijs, tot speciaal onderwijs en kunst- en cultuureducatie.

1.3 Thema 2 – Evidence-informed werken & ONA Gebruikte definities van evidence-informed werken In de praktijk worden verschillende definities gehanteerd van wat evidence-informed werken is. De meest voorkomende is een integrale definitie: het verbinden en toepassen van wetenschappelijk onderzoek in de dagelijkse onderwijspraktijk. In iets mindere mate, maar zeker wel aanwezig, zien we een partiële definitie. Hierbij is evidence-informed werken het toepassen van een effectief bewezen lesmethode, bijvoorbeeld op het gebied van rekenen of weerbaarheid. Het vinden van een dergelijke lesmethode is voor deze respondenten voldoende invulling voor evidence-informed werken. Een laatste groep definieert evidence-informed werken meer instrumenteel: het is het toepassen van activiteiten die iets met wetenschap en onderzoek te maken hebben, zoals het samen lezen van wetenschappelijke artikelen, cyclisch en reflectief werken, of werken met een goede probleemanalyse. Motivatie voor evidence-informed werken In Amsterdam zien we een sterk gedeeld doel: goed onderwijs voor Amsterdamse basisschoolleerlingen. Dat staat voorop en komt uit alle interviews met nadruk naar voren. Volgens velen is evidence-informed werken een belangrijk middel om dat doel te behalen, en levert evidence-informed werken bijeffecten op die ook weer leiden tot beter onderwijs.

Denk daarbij aan het aantrekken van goede leraren, het vergroten van enthousiasme en motivatie bij de leraren, en aantrekkelijk zijn voor ouders en leerlingen. Toch maken nog veel scholen geen gebruik van evidence-informed werken. Uit de interviews blijkt dat dit twee oorzaken heeft. Allereerst blijkt onbekendheid met evidence-informed werken een belangrijke oorzaak te zijn. Ten tweede zijn er allerlei redenen die de motivatie voor evidence-informed werken in de weg staan. Daarbij lijken de belangrijkste redenen: de houding 5

van betrokkenen (angst, geen zin in gedoe, niets extra’s willen of weinig vertrouwen in de wetenschap), onvoldoende sociale druk van zowel partner binnen als buiten het onderwijs, het missen van vaardigheden (het kunnen vinden en lezen van literatuur, en het durven en kunnen sturen op evidence-informed werken), en de praktische context (voldoende tijd zowel op korte als lange termijn, en de cultuur op een school). ONA als motivator ONA neemt een rol als motivator doordat ze activiteiten organiseren die voor een groot deel aansluiten bij redenen om wel of niet evidence-informed te werken. Dat zit bijvoorbeeld in het feit dat ze de vaardigheden vergroten door het laagdrempelig ontsluiten van wetenschappelijke kennis, maar ook doordat ze de sociale druk voor evidence-informed werken door middel van inspiratie op een positieve manier vergroten. Daarbij lijkt nog een kans te liggen: meer handvatten bieden voor schoolleiders om meer op evidence-informed werken te sturen in hun dagelijkse praktijk. Bijvoorbeeld om schoolleiders meer te trainen in vragen zoals ‘hoe kan ik als schoolleider sturen op evidence-informed werken gegeven de doelen en belemmeringen die leraren óók hebben?’. Daarnaast blijkt het vergroten van de bekendheid van evidence-informed werken een aandachtspunt.

1.4 Thema 3 – verschillende doelen en belangen & ONA Doelen en belangen náást evidence-informed werken Het belangrijkste doel voor alle onderwijspartners is ‘goed onderwijs’. Dit komt uit alle gesprekken sterk naar voren. Voor ONA en verschillende partners is evidence-informed werken de manier om tot goed onderwijs te komen. Daarmee wordt ‘evidence-informed werken’ een subdoel. Echter, sommige onderwijspartners hebben heel andere subdoelen om tot ‘goed onderwijs’ te komen; zij stellen andere prioriteiten. De afbeelding hieronder geeft schematisch een grof overzicht van de andere/achterliggende doelen en belangen waar de verschillende onderwijspartners mee te maken hebben. Dit is geen uitputtend overzicht, maar geeft een eerste indruk van aan wat voor verschillende doelen en belangen de partners te maken hebben.

6

ONA als verbinder van de doelen ONA heeft een rol als verbinder alleen al door de manier waarop ONA georganiseerd is (een samenwerking tussen gemeente Amsterdam, het BBO en Education Lab). Het belangrijkste voorbeeld daarbij is het verbinden van het doel van wetenschappers (hun kennis toepassen in de praktijk) met het belang van schoolleiders om de kwaliteit van het onderwijs te verbeteren en de doelen van de leraren, zoals goed onderwijs kunnen bieden en handvatten hebben om het juiste te doen. Meer praktisch legt ONA met het ontwikkelen van de toolkits en praktijkkaarten verbinding tussen de wens van de wetenschap om hun ontwikkelde kennis in de praktijk te laten landen en het belang van leraren om praktische handvatten te krijgen voor hun dagelijkse werk. Het onderzoek zag nog meer voorbeelden, die terug te lezen zijn in hoofdstuk 6. We zien nog mogelijk kansrijke verbindingen voor ONA om tot meer evidence-informed werken te komen én recht te doen aan de wensen van de andere partners. Eerder constateerde we al dat evidence-informed werken op een school positieve bijeffecten heeft. Het is mogelijk dat het implementeren van evidence-informed werken op een school voor sommige -iets minder sterke scholen- daardoor kan bijdrage aan een oplossing voor problemen waar een school mee te maken heeft.

Dus niet zozeer door te zeggen dat evidence-informed werken leidt tot beter onderwijs, maar ook dat het een -gedeeltelijke- oplossing kan zijn voor bijvoorbeeld een lerarentekort, samenwerking tussen de teamleden of omgaan met een zwaardere leerlingenpopulatie. Meer aandacht voor de minder sterke scholen kan ook een manier zijn om deze scholen te ondersteunen in hun kwaliteitsontwikkeling. Daarbij is een overweging voor ONA om minder sterke scholen (wel mét zeer gemotiveerde schoolleiding en bestuur, want sociale druk door inspiratie en sturing) deel te laten nemen als onderzoeksschool. Tot slot komt uit dit onderzoek niet goed naar voren hoe de doelen van de bestuurders van het BBO sterker verbonden kunnen worden aan ONA. De bestuurders blijken wel een belangrijke 7

functie te hebben in het stimuleren en faciliteren van hun scholen in evidence-informed werken vanwege de sociale druk (zie ook hoofdstuk 5). Uit de interviews komt echter het beeld naar voren dat dat niet bij alle bestuurders scherp op het netvlies staat. Mogelijk ligt hier voor ONA een kans om in de toekomst een (nog) grotere impact te hebben.

8

Inleiding

Het Amsterdamse basisonderwijs kent een aantal flinke uitdagingen. Zo heeft het te maken met een groot lerarentekort, toenemende ongelijkheid tussen de scholen en meer laaggeletterdheid van basisschoolleerlingen. Verschillende initiatieven worden opgezet om deze ontwikkelingen tegen te gaan. Eén van de oplossingen die steeds meer aandacht krijgt, is het stimuleren van evidence-informed werken door leraren en schoolleiders. Evidence-informed werken Evidence-informed werken is dat in het onderwijs zowel praktijkkennis als kennis uit onderzoek worden gebruikt om handelen in de praktijk te verbeteren of te verrijken (Wubbels & van Tartwijk, 2017). Sinds een aantal jaar neemt de interesse in Nederland in evidence-informed werken binnen het onderwijs toe. Zo kent de PO Raad een aantal initiatieven om evidenceinformed werken te stimuleren, en zijn er in Amsterdam initiatieven met basisscholen en kennispartners. Hoe het er echter daadwerkelijk voor staat met het evidence-informed werken op Amsterdamse basisscholen is nog onduidelijk. Engeland is een veelgenoemd voorbeeld om evidence-informed werken te stimuleren. Sinds 2016 hebben ze daar het Research Schools Network. Het Research Schools Network is een netwerk van scholen die een voorbeeldrol hebben in evidence-informed teaching (onderwijs gebaseerd op bewijs).

Ze bevorderen daarbij de samenwerking tussen scholen in hun regio en ondersteunen het gebruik van onderzoeksresultaten in de praktijk. De evaluaties van de Research School Network laten zien dat leraren en schoolleiders deze manier van werken positief ervaren, al blijkt het volledig toepassen van evidence-informed teaching soms lastig. Zo is het bijvoorbeeld een doel dat de initiatieven goed gecoördineerd worden, dat er een gezamenlijke interesse is in evidence-informed werken en een school over een sterke schoolleiding beschikt (Gu, et al., 2021). Onderwijskennis Netwerk Amsterdam In Amsterdam is in 2022 een vergelijkbaar netwerk opgezet: het Onderwijskennis Netwerk Amsterdam (ONA). Dit is één van de Amsterdamse initiatieven om evidence-informed werken in het primair onderwijs te stimuleren. Binnen ONA werken drie partijen samen: de gemeente Amsterdam, Education Lab (Vrije Universiteit en Maastricht University) en de schoolbesturen verenigd in het Breed Bestuurlijk Overleg (BBO). Het doel van ONA is om het Amsterdamse onderwijs blijvend te verbeteren door het vergroten van evidence-informed werken. Daarmee wil ONA bijdragen aan het toepassen van de best beschikbare kennis uit wetenschap en praktijk om uiteindelijk het Amsterdamse basisonderwijs te optimaliseren en de relevantie van onderzoek te vergroten. Specifiek heeft ONA drie doelen: 1.

Het versterken van een lerende cultuur op scholen, met groeiend draagvlak en enthousiasme voor evidence-informed werken; 2. Dat toegankelijke en relevante kennis over bewezen effectieve aanpakken in het onderwijs aanwezig is en op effectieve wijze gedeeld en benut wordt. 9

3. Dat meer onderzoek plaatsvindt naar oplossingen voor de grootste uitdagingen in het Amsterdamse basisonderwijs: laaggeletterdheid en kwalitatief en kwantitatief lerarentekort. ONA kent drie programmaonderdelen: het stimuleren van een kenniscultuur, het faciliteren en ondersteunen van kennisbenutting en bijdragen aan kenniscreatie. Daarvoor heeft ONA vier scholen als onderzoeksscholen geselecteerd en opgeleid. ONA ondersteunt deze scholen -waar nodig- in hun evidence-informed werken en faciliteert deze scholen om hun kennis te delen met andere scholen. De onderzoeksscholen organiseren bijvoorbeeld workshops of trainingen voor andere scholen, begeleiden scholen die ook op bepaalde thema’s willen ontwikkelen en hebben een ambassadeursrol voor evidence-informed onderwijs. De directie Onderwijs, jeugd Zorg en Diversiteit (OJZD) van de gemeente Amsterdam financiert ONA. Deze directie heeft Onderzoek & Statistiek (O&S) gevraagd om een onderzoek te doen naar ONA en in hoeverre de activiteiten van ONA aansluiten bij de behoeften van het Amsterdamse basisonderwijs.

10

2 Onderzoeksopzet

2.1 Onderzoek: drie thema’s In dit onderzoek staan drie thema’s centraal om daarmee een zo volledig mogelijk beeld te geven van de rol van ONA in het stimuleren van evidence-informed werken. Allereerst gaat het over de vraag wat leraren en schoolleiders in het algemeen van de activiteiten van ONA vinden. Dit gaat over heel praktische vragen over de tevredenheid met bepaalde activiteiten en bijvoorbeeld de toepasbaarheid van de kennis die in de activiteit werd gedeeld, maar ook welke suggesties mensen hebben voor bijvoorbeeld thema’s om verder te verkennen binnen ONA. Om te weten of ONA echt aansluit bij de behoefte van het Amsterdamse basisonderwijs zijn meer inzichten nodig. Allereerst is het belangrijk om te weten hoe het Amsterdamse basisonderwijs aankijkt tegen het doel van ONA: goed onderwijs door het stimuleren van evidence-informed werken. Pas als we weten waarom mensen wel of niet evidence-informed werken, kunnen we evalueren of de activiteiten van ONA daarop aansluiten (thema 2). Vragen die daarbij horen, zijn wat stakeholders verstaan onder evidence-informed werken, wat hen motiveert om het wel of niet toe te passen en of de activiteiten van ONA aansluiten op deze redenen. Daarnaast is een belangrijk kenmerk van ONA dat het een samenwerkingsverband is.

In eerste instanties tussen de gemeente Amsterdam, het BBO en Education Lab, maar veel van de activiteiten die ze aanbieden zijn in samenwerking met bijvoorbeeld individuele schoolleiders of leerkrachten. In dit onderzoek willen we ook stilstaan in hoeverre het ONA lukt om succesvol samen te werken, zowel intern als met andere onderwijsstakeholders (thema 3).

2.2 Twee theoretische uitgangspunten Om het tweede en derde thema uit te werken, gebruiken we in dit onderzoek twee theoretische uitgangspunten. Het tweede thema, dat gaat over het begrijpen waarom mensen wel of niet gebruik maken van evidence-informed werken, baseert zich op het Integratief gedragsmodel (IGM). Van de verschillende bestaande modellen om motivatie te verklaren, is dit één van de meest heldere en meest omvattende om inzichtelijk te maken waarom mensen bepaald gedrag wel of niet laten zien. Het IGM helpt ons om in meer detail te begrijpen waar bepaald gedrag vandaan komt en op welke achterliggende oorzaken ingezet moet worden om gedrag te veranderen (Blonk,2018). Het IGM is gebaseerd op the theory of reasoned action door Ajzen en Fishbein (2010) en de theory of planned behaviour door Ajzen (1991). Dit model legt uit dat gedrag (in ons geval ‘evidenceinformed werken’) samenhangt met willen en kunnen, die ook weer uiteenvalt in verschillende aspecten.

11

Als we kijken naar afbeelding 1 zien we dat willen bestaat uit houding, geloof in eigen kunnen en sociale druk. Bij houding gaat het om de perceptie die een persoon heeft van het uitvoeren van bepaald gedrag en hoe gunstig of ongunstig ze dat vinden. Het gaat om de negatieve en positieve emoties en gedachten die een persoon associeert met het gedrag. Het tweede element is sociale druk. Hierbij gaat het om de verwachtingen en gewoontes van belangrijke anderen ten opzichte van het gedrag, die een zodanige druk uitoefenen op de persoon om het gedrag wel of niet te vertonen (Yzer, 2012). Des te meer sociale druk de persoon ervaart, des te waarschijnlijker het wordt dat een intentie om het gedrag uit te voeren wordt gevormd (Fishbein & Ajzèn, 2010). Het derde element, geloof in eigen kunnen, betreft het vertrouwen wat een persoon heeft in zijn of haar vermogen om specifiek gedrag te kunnen uitvoeren. Figuur 1.1 Integratief gedragsmodel

Wanneer de intentie om bepaald gedrag te gaan uitvoeren is gevormd, wordt het kunnen belangrijk (Fishbein & Ajzèn, 2010; Hooft, 2016; ZINZIZ, 2024). Kunnen bestaat uit vaardigheden, belastbaarheid en praktische belemmeringen, en zelfregulering. Bij vaardigheden kan worden gedacht aan sociale vaardigheden, oftewel vaardigheden omtrent de interactie en omgang met anderen. Maar ook aan taakvaardigheden: de vaardigheden die nodig zijn om bepaald gedrag te kunnen uitvoeren (ZINZIZ, 2024). Onder belastbaarheid en praktische belemmeringen vallen de mentale en fysieke belastbaarheid van iemand, met andere woorden in hoeveel iemand lichamelijk en psychisch aan kan. Bij dit element horen ook meer praktische belemmeringen. Het derde element, zelfregulering, is de vaardigheden die een persoon in staat stellen om gefocust te blijven en vol te houden, ook bij tegenslagen. Het derde thema, over samenwerken aan een gezamenlijk doel, gebruiken we het model van duiden en verbinden van Duco Bannink en Hans Bosselaar. Zij werken vanuit het wetenschappelijke perspectief dat samenwerken rondom maatschappelijke vraagstukken een complexe opgave is (Bannink & Bosselaar, 2018). De complexiteit zit in het feit dat deze 12

vraagstukken moeilijk goed te begrijpen zijn en daardoor veel onzekerheden blijven bestaan. Eén deskundige of een nieuw onderzoek geven nooit voldoende inzicht om dergelijke vraagstukken volledig te begrijpen. Daarmee is het bepalen van de juiste oplossing een onzekere aangelegenheid. Daar komt nog een bemoeilijkende factor bij, namelijk dat vaak onenigheid bestaat over wat het probleem precies is. Vaak proberen partijen een complex vraagstuk toch ogenschijnlijk eenvoudig op te lossen met samenwerking aan een gezamenlijk doel. Dat doel wordt meestal abstract beschreven. Een goed recent voorbeeld is ‘mensen bestaanszekerheid bieden’, maar ‘meer evidence-informed werken op basisscholen’ past hier ook goed in. Het voordeel van dergelijke abstracte, gezamenlijke doelen is dat de verschillende samenwerkingspartners zich erin kunnen vinden.

De nadeel is dat het multi-interpretabel is én partners het op een eigen manier kunnen invullen, want wat wordt er precies met deze doelen gezegd? Wat moet er precies gebeuren om deze doelen te behalen? Wat moet in de betrokken organisaties praktisch veranderen om ‘evidence-informed’ te werken? Wat is daarvoor nodig van bijvoorbeeld andere partners? En wat is voor die andere partners zelf belangrijk als het gaat om het behalen van het abstracte doel? Deze verschillen in perspectieven en (sub)doelen bestaan náást de wens voor -in dit gevalevidence-informed werken. Dat is niet goed of slecht, zo is het nou eenmaal. Het is wel goed om stil te staan bij deze verschillen, omdat als hier rekening mee wordt gehouden de kans op een succesvolle samenwerking wordt vergroot. Bannink en Bosselaar (2018) hebben het over duiden en verbinden. Dit wat abstracte verhaal is goed toepasbaar op ONA. In de basis is het maatschappelijke vraagstuk het blijvend verbeteren van het basisonderwijs in Amsterdam. Een van de aangewezen oplossingen is het opzetten van een kennisinfrastructuur en het bevorderen van evidenceinformed werken. ONA is een netwerk van verschillende partijen die samen aan dit doel werken. Qua organisatie gaat het om een samenwerking tussen het Educationlab, het BBO en de gemeente Amsterdam. Zij werken verder samen met schoolleiders, leraren en kennispartners.

In het bijzonder werken zij samen met de vier scholen die meewerken als onderzoeksscholen. Het is goed denkbaar dat ook zij in de praktische vertaling en organisatie van evidence-informed werken tegen verschillen aanlopen.

2.3 Onderzoeksvragen De wens om ONA te evalueren en de drie daarbij horende thema’s maakt dat dit onderzoek zich richt op de volgende onderzoeksvragen: 1. Hoe evalueren leraren en schoolleider ONA? (H2) 2. Wat verstaan leraren en schoolleiders onder evidence-informed werken? (H3) 3. Wat zijn de oorzaken om wel of niet evidence-informed te werken? (H4 en H5) 4. Wat zijn voor de verschillende partners -naast evidence-informed werken- belangrijke uitdagingen en onderwerpen als het gaat om het verbeteren van het Amsterdamse basisonderwijs? (H5) 5. In hoeverre lukt het ONA om met hun activiteiten aan te sluiten bij zowel de andere uitdagingen en thema’s als bij evidence-informed werken? (H6)

13

2.4 Methode Om antwoord te geven op bovenstaande vragen heeft O&S begin 2024 op twee manieren data verzameld: een online vragenlijst en interviews met verschillende onderwijsactoren. In dit onderzoek onderscheiden we vier doelgroepen: leraren van onderzoeksscholen, leraren van nietonderzoeksscholen, schoolleiders van onderzoeksscholen en schoolleiders van nietonderzoeksscholen.

2.4.1 Vragenlijst De online vragenlijst richtte zich op de eerste drie onderzoeksvragen. Door de vragenlijst online aan te bieden, hoopten we meer mensen te bereiken en daarmee meerdere perspectieven op evidence-informed werken en ONA te krijgen. De vragenlijst bevatte algemene vragen over de bekendheid met de term evidence-informed werken en in hoeverre dit toegepast wordt op school. Daarnaast is het Integratief gedragsmodel (In paragraaf 1.3 volgt de volledige uitleg van het IGM) verwerkt in de vragenlijst om zo inzicht te krijgen in de motivatie en belemmeringen omtrent evidence-informed werken. Tot slot zijn er verschillende vragen gesteld over ONA, bijvoorbeeld over de bekendheid met ONA en ervaringen met activiteiten. Voor de volledige enquête zie bijlage 1. De basis van de vragenlijst was voor de vier doelgroepen hetzelfde, maar had andere of aanvullende vragen afhankelijk van de doelgroep. De eerste vraag in de vragenlijst ging over wat het beroep van iemand was (leraar of schoolleider) en of ze op een onderzoeksschool werkten. Op basis daarvan kregen ze de specifieke vragen te zien die voor hen van belang waren. Een oproep om mee te doen aan het onderzoek, met daarin een link naar de vragenlijst, is verstuurd via verschillende nieuwsbrieven (waaronder die van ONA, het BBO en de onderwijsnieuwsbrief van gemeente Amsterdam).

Daarnaast is de link ook gedeeld op LinkedIn en WhatsAppgroepen met leraren. Uiteindelijk hebben 38 mensen de vragenlijst ingevuld, 12 leraren en 26 schoolleiders. Hieronder een overzicht van de achtergrondkenmerken van de respondenten.

14

Tabel 1.1 achtergrondkenmerken respondenten enquête kenmerk

aantal

kenmerk

aantal

(n=38) geslacht

lesbevoegdheid (leraren)

stadsdeel school

(n=38)

man

8

33 t/m 40 jaar

5

vrouw

29

41 t/m 50 jaar

8

anders

1

51 t/m 60 jaar

8

ja, reguliere

leeftijd

61 t/m 66 jaar

4

geen antwoord

3

jaren werkzaam in

lerarenopleiding

2

3 t/m 5 jaar

4

ja, zij-instromer

7

6 t/m 10 jaar

8

nee

2

16 t/m 20 jaar

6

anders

1

21 t/m 30 jaar

8

Centrum

2

het onderwijs

werkuren

31 t/m 44 jaar

7

geen antwoord

1

24 t/m 32 uur

14

Nieuw-West

5

36 t/m 40 uur

21

Noord

8

meer dan 40 uur

2

geen antwoord

1

Oost

4

West

5

Zuid

8

Zuidoost

4

geen antwoord

2

Aangezien op basis van 38 ingevulde vragenlijsten geen statistische analyses gedaan kunnen worden, hebben we in dit rapport de inzichten uit de vragenlijst verwerkt in de kwalitatieve analyse. Daarbij zijn ook de open antwoorden meegenomen in de analyse.

2.4.2 Interviews Om beter inzicht te krijgen in alle vijf de onderzoeksvragen, hebben we interviews gedaan met leraren en schoolleiders van zowel onderzoeks- als niet-onderzoeksscholen in Amsterdam. De topiclijsten zijn te vinden in bijlage 2. Een deel van de geïnterviewden is geworven via de vragenlijst, waarin respondenten hun e-mailadres achter konden laten als ze openstonden voor een interview. Daarnaast is een deel van de geïnterviewden geworven via contacten bij ONA. We hebben interviews gehouden met elf mensen: - 3 interviews met schoolleiders van niet-onderzoeksscholen - 3 interviews met schoolleiders van ONA onderzoeksscholen - 2 interviews met leraren van niet-onderzoeksscholen - 1 interview met leraar van een ONA onderzoeksschool - 2 interviews met ONA partners 15

Voor de interviews hebben we geprobeerd een diverse groep mensen te spreken, bijvoorbeeld uit verschillende stadsdelen, schoolbesturen en kenmerken van geïnterviewden. Toch is de groep niet representatief voor het gehele Amsterdamse basisonderwijs; een groot deel van de mensen was al bekend met evidence-informed werken en kende ONA. De groep die minder bekend is met evidence-informed werken en ONA of daar negatief over is, hebben we niet kunnen bereiken. We hebben geprobeerd om dit indirect op te vangen door in de interviews te vragen naar ervaringen met collega’s die minder open staan voor evidence-informed werken.

2.5 Analyse Voor de analyse hebben we de data uit de vragenlijst gecombineerd met de interviews. We hebben de kwalitatieve data gecodeerd op onder andere het IGM, de verschillende doelen van de stakeholders, uitspraken over (het toepassen van) evidence-informed werken en de ervaringen met ONA. In de verdiepende analyse hebben we de data gecombineerd met het perspectief dat bij samenwerking sprake is van verschillende doelen en de vraag in hoeverre ONA in staat is die verschillende doelen aan elkaar te verbinden. Voor dit onderzoek gebruikten we SPSS en Excel.

16

3 Algemene evaluatie ONA

Dit hoofdstuk is een beschrijving van hoe de respondenten ONA evalueren. De bevindingen zijn gebaseerd op zowel de online vragenlijst als de interviews. Voor een deel zijn de resultaten aangevuld met resultaten uit een evaluatie die ONA zelf heeft gedaan over het bereik van ONAactiviteiten. Daarmee proberen we een zo breed mogelijk beeld te geven van hoe bekend ONA is en hoe mensen de ONA-activiteiten ervaren. In de online vragenlijst gaven 27 van de 38 respondenten aan bekend te zijn met ONA. Op één leraar na waren alle geïnterviewden op de hoogte van wat ONA inhoudt. Uit de vragenlijst kwam naar voren dat respondenten via het schoolbestuur of directeur of via een nieuwsbrief in aanraking zijn gekomen met ONA. Daarnaast noemden de respondenten en één van de geïnterviewden het lerarencafé in Pakhuis de Zwijger. In de interviews kwam ook vaak naar voren dat via collega’s de aandacht voor ONA is gekomen. Twee schoolleiders van nietonderzoeksscholen gaven daarnaast aan voorheen in een andere functie werkzaam te zijn geweest op een ONA onderzoeksschool. Algemene beoordeling ONA Over het algemeen zien we veel positieve reacties over ONA, zowel in de vragenlijst als in de interviews. Op de vraag hoe ONA in het algemeen ervaren wordt geven vijftien personen aan ONA (zeer) goed te beoordelen en vijf deelnemers niet goed, niet slecht.

Onder deze vijf deelnemers vielen zowel schoolleiders als leraren. De overige deelnemers hebben geen antwoord ingevuld. Als we in de interviews vroegen naar de algemene ervaringen met ONA, gaven de deelnemers aan dat ze “ONA heel ondersteunend hebben ervaren” (schoolleider onderzoeksschool), “het enthousiasme is leuk om te ervaren” (bestuurder), het werken met ONA “verrijkend” is (schoolleider onderzoeksschool) en dat “ONA een goed begin is” (schoolleider nietonderzoeksschool). De meerderheid van de vragenlijstrespondenten geeft aan dat ONA bijdraagt aan het oplossen van de uitdagingen op hun school. Daarnaast geven ook nog zeven respondenten aan dat ONA een beetje bijdraagt, en drie dat het niet bijdraagt aan het oplossen van uitdagingen. Van de elf respondenten die niet bekend waren met ONA gaf ongeveer de helft aan op basis van de beschrijving wel gebruik te willen maken van ONA. Meerdere personen geven aan dat ONA goed op weg is. Zo geeft een schoolleider van een nietonderzoeksschool in de vragenlijst aan: “Nee. Ga zo door! Het is zo belangrijk om alle scholen te bereiken!” Daarnaast geeft een andere schoolleider van een niet-onderzoeksschool in de interviews aan: “Ik vind het knap waar we na twee jaar staan, in Amsterdam is het extra complex.

Het groepje [team ONA] die werken keihard en met betrokkenheid.” De geïnterviewden geven aan dat ook ONA voor langere tijd mee moet gaan om het evidence-informed werken verder te brengen. De mensen noemen dat twee jaar (zo lang bestaat ONA nu) nog onvoldoende is om echt verschil te maken, terwijl ondertussen velen noemen dat wat ONA in deze eerste twee jaar al heeft bereikt heel knap is. “Blijven doorgeen ermee. Niet laten gaan, sommige dingen hebben meer tijd nodig.” Zoals een geïnterviewde mooi verwoordde: “ONA bestaat pas twee jaar, dat is 17

vrij kort. Het heeft ook met geld te maken, dus dan kan ONA op een gegeven moment wegvallen. Dat zou zonde zijn. De aanhouder wint.” (schoolleider niet-onderzoeksschool). Bereik en bezoek activiteiten ONA ONA heeft een voortgangsrapportage (2023) uitgebracht dat het bereik van ONA in de periode van januari 2022 tot september 2023 toelicht (intern document;). De eerste fase van ONA (januari 2022 – maart 2023) stond in het teken van het opzetten van een ONA-scholennetwerk, het aanwakkeren van enthousiasme voor evidence-informed werken onder scholen en besturen, het verstevigen van het draagvlak voor ONA in de stad, en het ontwikkelen van het online platform en professionaliseringsaanbod. Vanaf april 2023 is de website van ONA (ona.amsterdam.nl) gelanceerd en is de nadruk gelegd op het betrekken van verschillende onderwijsactoren via activiteiten ontwikkeld door de onderzoeksscholen en participatie in de labs. In deze eerste anderhalf jaar vonden vanuit ONA elf masterclasses, zeven trainingen en vier leertrajecten plaats. Daarnaast zijn 40 praktijkkaarten ontwikkeld en 20 toolkits, die op de website aangeboden worden. Onderstaande overzicht -gebaseerd op de voortgangsrapportage(tabel 3.1) laat zien dat in deze eerste periode van ONA ongeveer 59 scholen betrokken zijn geweest, waarbij ongeveer 70 keer schoolleiders en 345 keer leraren aanwezig zijn geweest.

Het is niet te zeggen in hoeverre dezelfde scholen, schoolleiders en leraren meerdere keren hebben deelgenomen aan de activiteiten en daarom kunnen we geen totalen presenteren. Deelnemende scholen vallen onder 13 schoolbesturen, met de meeste scholen van ASKO (16), ZONOVA (10), AMOS (7) en Innoord (5). Verder staan deelnemende scholen in alle stadsdelen. De meeste deelnemende scholen komen echter uit Nieuw-West (13) en Zuidoost (12) en het minst uit Centrum (2). Verder zien we qua schoolgewichten dat scholen met een leerlingenpopulatie met mogelijk meer ondersteuningsbehoefte vaker meedoen aan ONAactiviteiten. Tabel 3.1 activiteiten en deelnemers aan activiteiten ONA Activiteit

Aantal scholen

Aantal

Aantal leraren

schoolleiders Programma ONA-

4 (kernteams)

4

20

Masterclasses en trainingen

35 scholen (soms voor

geen informatie

85

ONA-onderzoeksscholen*

meerdere activiteiten)

Leertrajecten ONA-

12 scholen (kernteams)

12

24-30

onderzoeksscholen

onderzoeksscholen* Traject Effectieve Didactiek

4 scholen (kernteams en 2 studiedagen voor hele team)

4 schoolteams = 4

ongeveer 140 leraren

Taallab en lerarenlab

4 scholen

10

Programma

geen informatie

20-25

4

schoolleidersnetwerk (2 nov ’23)

18

Masterclass Tim Surma

geen informatie

20

70

*aantal inschrijvingen op 1 september 2023

Beoordeling activiteiten Uit de online vragenlijst bleek dat respondenten voornamelijk de kennisbronnen op de website van ONA gebruiken (14 deelnemers). Daarnaast hadden elf respondenten aangegeven deelgenomen te hebben aan een schoolbezoek. Er werd het minst aangegeven dat er gebruik is gemaakt van een praktijkkaart of deelgenomen is aan een leertraject (zie figuur 4.1) Figuur 3.1 deelname aan en beoordeling van activiteiten van ONA (aantallen, n=27) kennisbronnen (n=14)

5

schoolbezoeken (n=11)

7

2

6

masterclasses (n=7)

6

toolkits (n=7)

3

2

praktijkkaarten (n=4)

2

1

1

3

trainingen (n=7)

2

1

5 3

leertrajecten (n=3)

1

1

scholingstraject (n=2)

1

1

1 1

heel tevreden

tevreden

neutraal

weet ik niet

Aan alle respondenten is vervolgens gevraagd hoe zij deze onderdelen hebben ervaren. Hierin zien we dat deelnemers (heel) tevreden zijn of neutraal zijn; niemand is negatief over de activiteiten. Verder is aan respondenten gevraagd hoe zij de activiteiten en onderdelen van ONA beoordelen op basis van verschillende aspecten (zie figuur 3.2). Ook hierin zien we een vergelijkbaar patroon als bij figuur 3.1, deelnemers zijn (heel) tevreden of neutraal. Alleen bij aansluiting op de praktijk zien we een iets groter aantal dat neutraal is.

19

Figuur 3.2 beoordeling ONA activiteiten en onderdelen op verschillende aspecten (aantallen, n=19) organisatie

3

kwaliteit

aansluiting op de praktijk

begrijpelijkheid

14

4

13

3

10

2

12

6

9

5

zeer goed

2

4

5

inspirerend

herkenbaarheid

2

11

goed

niet goed, niet slecht

2

2

2

1

2

weet ik niet/geen antwoord

Uit de interviews bleek eveneens dat zowel het geven van als deelnemen aan activiteiten binnen ONA positief wordt ervaren. Een leraar van een onderzoeksschool gaf bijvoorbeeld aan dat de training die zij gaf aan ongeveer 25 personen erg leuk was en goed verliep. Een andere leraar vertelde dat de organisatie prima verliep en de informatie goed achteraf gedeeld wordt met deelnemers. Verder vertelde een schoolleider van een niet-onderzoeksschool onder de indruk te zijn van een masterclass van Tim Surma: “Hij liet cijfers zien, dat is dan echt een wake-up call van je moet hier iets mee.” Er waren ook een paar geluiden die minder positief waren over de activiteiten. Zo benoemde een leraar van een niet-onderzoeksschool dat het tempo van een training erg hoog lag: “Ik vond het wel erg productiedraaien qua inhouden. Ze proberen er heel veel in te proppen, en dat gaf weinig ruimte, weinig flexibel. Het was geen rijdende trein, maar IC direct die over het hogesnelheidsspoor gaat. Je moest veel opletten, weinig tijd voor feedback en verwerking. Het is ook goed, want het is een masterclass en het is gratis, dus dat zijn allemaal argumenten om het prima te vinden.” Wat ook opvalt, is dat de Labs weinig bekend zijn bij de respondenten. Tijdens de interviews vroegen we hier expliciet naar, maar kregen vooral de reactie dat mensen niet wisten wat het was en er dus ook niet bij betrokken zijn.

Verder zijn er ook respondenten die aangeven dat ONA-activiteiten niet aantrekkelijk zijn vanwege de verplichting die zij voelen: “Niet eerder gekozen voor deelname aan ONA-traject vanwege keurslijf/dwingend karakter en gevraagde tijdsinvestering. Gelukkig voldoende alternatieven.” (schoolleider niet-onderzoeksschool). Website ONA De kennisbronnen, toolkits en praktijkkaarten worden door ONA aangeboden op hun website. Tijdens de interviews viel op dat de website van ONA niet door iedereen werd genoemd als plek om kennis over evidence-informed werken te vinden. De mensen die wel kijken, noemen het een 20

mooie website, en ook het downloaden van de toolkit en praktijkkaarten wordt als nuttig ervaren. Uiteindelijk lijken de respondenten meer gebruik te maken van websites als voordeleraar.nl, didactief.nl, de Kennisrotonde en het NJi. In dit onderzoek blijkt dat veel mensen behoefte hebben aan een centrale plek om wetenschappelijke kennis op een laagdrempelige manier te kunnen vinden. In paragraaf 7.2.1 gaan we nog iets dieper in op de meerwaarde van de website van ONA en de toolkits en praktijkkaarten. Meer algemeen blijkt uit de resultaten dat als mensen de tookits, praktijkkaarten en andere kennisbronnen weten te vinden, ze er enthousiast over zijn, maar dat mogelijk de bekendheid nog niet groot is. Verbinding tussen kennis, praktijk en scholen Naast dat de activiteiten op zichzelf als interessant en goed georganiseerd werden ervaren, benadrukten de respondenten vooral de meerwaarde van de verbinding tussen collega’s, scholen, kennis en ervaringen. Zo schreef een schoolleider van een niet-onderzoeksschool: “Het is belangrijk om samen te leren. ONA faciliteert die ontmoeting.” Deze onderlinge verbinding lijkt niet vanzelf te ontstaan, en ONA blijkt daar een belangrijke functie in te hebben. Zo schreef iemand in de vragenlijst: “Ik vind het goed dat ONA actief stuurt op het verbinden van de vele projectjes die gericht zijn op scholen en leraren.

Fijn dat er een centraal punt begint te ontstaan.” Het samenkomen en leren met en van anderen wordt als grote pré genoemd. De reden daarvoor is bijvoorbeeld dat inzichten gebruikt kunnen worden om te implementeren op de eigen school, zo geeft een schoolleider van een niet-onderzoeksschool aan: “De Driemaster zit op gedrag en sociaal emotioneel. Pro Rege doet veel met rekenen en 5D-model. Die inzichten nemen je mee, vooral op taal (leerlingen met rugzakjes).” De verbinding die zien we ook terug als het gaat om kennis bundelen en de vertaling naar de praktijk. Zo gaf een schoolleider van een niet-onderzoeksschool over een bijeenkomst: “Het was heel informatief, de link wordt echt gelegd tussen wetenschap en praktijk en dat is echt waardevol. Ook vertellen ze hoe ze dat doen, dus alle vier de scholen konden dat vertellen. Daarna zijn we gaan samenwerken.” In de interviews kwam bijvoorbeeld ook naar voren dat wetenschappers voorheen minder contact hadden met de dagelijkse praktijk op scholen en ONA faciliteert in het contact tussen wetenschappers en scholen. Zo zien we dat terug in de volgende quote van een schoolleider van een niet-onderzoeksschool: “Het gaat om verbinding maken tussen wetenschappelijk onderzoek (onderzoekers zitten op hun eigen eilandje nu) en het onderwijs zelf.

Bij een vraagstuk over bijvoorbeeld weging en spreiding kan er contact met wetenschappers gelegd worden waardoor je specifieke vragen meer bij hun kan neerleggen.” Sommige geïnterviewden zagen mogelijke verbeteringen voor de verbindende werking van ONA. Zo werden uitspraken gedaan over dat specifieke universiteiten zoals de UvA niet betrokken zijn. Dit werd bijvoorbeeld benadrukt door een schoolleider van een nietonderzoeksschool: “Wat ik dus zonde vind is dat ze helemaal uit Maastricht moeten komen. Terwijl er hier ook twee clubjes zitten. De UvA is er volgens mij wel mee begonnen maar we zijn ze niet echt tegen gekomen.” Ook werd gezegd dat er veel verschillende kenniscentra over onderwijs zijn en die meer gebundeld kunnen worden door ONA.

21

De doelgroep van ONA In de interviews viel op dat leraren anders naar ONA keken dan schoolleiders. Zo zagen we bij de leraren in de interviews minder kennis over wat ONA inhoudt. Daarnaast gaf een leraar van een niet-onderzoeksschool aan dat zij deelname aan activiteiten of het gebruikmaken van toolkits niet helemaal ziet zitten. Dat zien we ook terug in de volgende quote: “Ik heb geen interesse in toolkits. Als je iets nieuws leert moet er iemand in je les komen kijken en je beoordelen. Leraren hebben begeleiding nodig.” Hierin komt naar voren dat leraren op andere manieren leren dan het lezen van toolkits. Verder werd door deze leraar aangegeven dat zij de activiteiten eerder nuttig vond voor schoolleiders, om het vervolgens top down door te geven aan de rest van de school. Leraren gaven vaker aan bijvoorbeeld geen tijd te hebben. Dit zagen we ook terug in de vragenlijst waar de volgende leraar antwoordde met: “alleen blijven we tegen de factor tijd aanlopen”. Contact met ONA Er zijn ook verschillende uitspraken gedaan over het contact en communicatie met ONA. Zo wordt positief gesproken over het contact en de ondersteuning die ONA heeft geboden aan onderzoeksscholen. Een schoolleider van een onderzoeksschool zei bijvoorvbeeld: “We hebben heel veel ondersteuning gehad in het analyseren van wat wij willen weten.

We worden daarnaast ondersteund op marketing- en communicatiegebied”. Daarnaast gaf een schoolleider van een nietonderzoeksschool aan dat ONA contact met hen had opgezocht over het traject dat zij volgde om de kennis hieruit verder te kunnen verspreiden. Ook deze schoolleider ervaarde dit contact goed. Daarnaast zijn er ook geluiden die iets minder positief zijn over de communicatie en samenwerking met ONA. Een schoolleider van een onderzoeksschool benoemde bijvoorbeeld dat een aantal van de oprichters van ONA niet meer heel zichtbaar en betrokken zijn. Dit werd als onprettig ervaren, omdat voor verbetering in het onderwijs juist langdurige toewijding nodig zou zijn. Voorgestelde thema’s en doelen voor ONA In de interviews en vragenlijst is nagegaan of deelnemers nog thema’s missen binnen ONA. Wat opvalt is dat daar niet één lijn uit te halen is; de mensen noemen een grote verscheidenheid aan thema’s die interessant zouden kunnen zijn. In de vragenlijst hebben zes respondenten aangegeven dat dit het geval is. Zo wordt bijvoorbeeld ingebracht dat er weinig beschikbaar is voor speciaal onderwijs. Ook wordt meer informatie over kunst- en cultuureducatie voorgesteld. Ook bredere doelen worden geformuleerd zoals een duidelijkere vindplaats voor onderzoek over onderwijs en dat de inzichten van de VU en UvA meer benut moeten worden.

In de interviews zagen we verder dat een schoolleider van een onderzoeksschool meer behoefte heeft aan informatie over rekenen: “Over taal en lezen is veel bekend, over rekenen minder. Daarom moet er ook een Rekenlab komen. Rekenen is het ondergeschoven kindje. Dat merken wij ook in de literatuur.” Verder vertelde een andere schoolleider van een onderzoeksschool dat taal, vakdidactiek en klassenmanagement belangrijke thema’s zouden kunnen zijn voor ONA. Verder werd burgerschap en inclusief onderwijs aangehaald. Zo zei een schoolleider van een niet22

onderzoeksschool: “Inclusief onderwijs met het doel speciaal onderwijs kinderen op scholen te houden om een inclusieve maatschappij te realiseren“. Een schoolleider van een nietonderzoeksschool geeft daarbij ook aan dat het uitbreiden van het aantal onderzoeksscholen met elk een eigen expertise voordelig kan zijn.

23

4 Evidence-informed werken

Dit hoofdstuk beschrijft hoe leraren en schoolleiders evidence-informed werken definiëren en hier vorm aan geven op school. Daarmee geeft dit hoofdstuk inzicht in hoeverre mensen in het onderwijs hetzelfde beeld hebben bij evidence-informed werken, en een eerste schets van hoe ze daar in de praktijk aan werken. Het hoofdstuk laat dus ook zien wat mensen als het gewenste gedrag zien dat in het Integratief gedragsmodel de uitkomst is (zie figuur 1.1).

4.1 Bekendheid evidence-informed werken In de vragenlijst zien we dat een groot deel van de groep aangeeft bekend te zijn met de term evidence-informed werken, namelijk 34 van de 38 respondenten. Onder de vier die niet bekend waren met de term zaten twee leraren en twee schoolleiders. Nadat de definitie van evidenceinformed werken werd voorgelegd, gaven twee van hen aan dit toch toe te passen, terwijl een ander aangaf dit nog niet te doen, maar hier wel interesse in te hebben. De term was bekend bij alle geïnterviewden. Twee soorten definities: integraal en partieel Zowel in de vragenlijst als in de interviews hebben we gevraagd naar wat deelnemers verstaan onder evidence-informed werken. Uit de antwoorden komt een definitie naar voren die door een groot deel van de deelnemers wordt gebruikt; een meer integrale definitie. Eén deelnemer vat die samen als: “Gebruik maken van praktijk- en wetenschappelijk onderzoek om de leskwaliteit te verbeteren en resultaten te verhogen.” (schoolleider niet-onderzoeksschool - vragenlijst). De mensen die evidence-informed werken op deze manier definiëren, hebben het over het verbinden en toepassen van wetenschappelijk onderzoek in hun praktijk. Iemand schreef: “Op basis van informatie uit wetenschappelijk onderzoek mijn handelen vorm geven en eventueel aanpassen” (leraar niet-onderzoeksschool - vragenlijst).

Wat opvalt is dat sommige respondenten aangeven dat zij evidence-informed werken definiëren als het implementeren of gebruik maken van één specifieke wetenschappelijk onderzochte lesmethode. In die zin is het een meer partiële definitie van evidence-informed werken. Zo schrijft iemand in de vragenlijst dat evidence-informed werken het volgende betekent: “Gebruik maken van methodes die onderzocht zijn en bewezen effectief zijn gebleken.” (schoolleider nietonderzoeksschool - vragenlijst). Zo bleek ook uit een interview met een leraar van een nietonderzoeksschool dat zij na lang zoeken een wetenschappelijk onderbouwde methodiek voor het rekenonderwijs hadden gevonden. De aankomende jaren waren zij druk bezig met het implementeren van deze werkwijze en op die manier gaven zij vorm aan evidence-informed werken. In het interview gaf zij ook expliciet aan dat evidence-informed werken niet verder ging dan het implementeren van deze werkwijze. Daarnaast is nog een klein deel van de respondenten die evidence-informed werken ziet als het integreren van een kleine handeling in het werk. Zo noemt iemand dat evidence-informed 24

werken het volgende is: “Bewezen artikelen lezen met het team en dan kijken wat je mee kan nemen je school in.” (schoolleider niet-onderzoeksschool – vragenlijst). Dit kwam ook eens naar voren in de interviews. Redeneren vanuit wat evidence-informed werken niet is Om uit te leggen wat evidence-informed werken is, gebruiken een aantal deelnemers voorbeelden van wat het juist niet is. Een veel genoemde tegenhanger van evidence-informed werken is het “onderbuikgevoel”. Zo zegt een schoolleider van een niet-onderzoeksschool: leraren doen nog veel op onderbuikgevoel en zijn vervolgens gefrustreerd dat dingen niet werken. Dus voor leraren belangrijk dat [evidence-informed werken] wat handvatten geeft. Ook een leraar van een niet-onderzoeksschool geeft een tegenhanger als voorbeeld: In het onderwijs werd er vroeger geïnnoveerd om het innoveren. Dan krijg je bijvoorbeeld de iPad school. Dat is geen onderwijs. Je wilt iets dat werkt. Dat maakt iedereen blij. Wat in deze redenering dus centraal staat, is dat er weloverwogen keuzes in het onderwijs worden gemaakt en niet zomaar op gevoel interventies gepleegd worden. De praktische vertaling als definitie Als de deelnemers evidence-informed werken proberen te definiëren, noemen ze vaak de praktische vertaling ervan. Ze hebben het dan vooral over twee aspecten: cyclisch en reflectief werken, en het maken van een goede probleemanalyse.

Bij het cyclisch en reflectief werken gaat het om in relatief korte periode evalueren of de gestelde doelen behaald zijn, en waarom het wel of niet gelukt is. Zo stelt een ONA partner: “Zeker in de kleine onderzoekscyclus: leraar reflecteert op het eigen handelen. Waarom lukt het nu niet bij die ene leerling? Wat moet ik die leerling bieden? Dan is het prettig om te weten wat er nog meer ingezet kan worden, wat voor methodes er zijn en of methodieken effectief zijn gebleken. Ook omdat er zoveel keuze is.” In dezelfde lijn vertelde een schoolleider van een onderzoeksschool: “Het gaat erom dat je in je school cyclisch werkt en steeds nadenkt hoe lopen dingen. Dat is ook een manier van informatie ophalen en met die kennis iets doen. Dat is op een andere manier evidence-informed werken. Dus je haalt heel veel data op in school.” Bij het maken van een goede probleemanalyse gaat het over “welk probleem je aan het oplossen bent.” (schoolleider onderzoeksschool – interview). Een voorbeeld hiervan is wat een schoolleider vertelde tijdens een interview. Ze wisten wel dat zij een probleem hadden met hun rekenonderwijs, maar eigenlijk was het onduidelijk wat precies het probleem wás.

Uiteindelijk hebben ze daar onderzoek naar gedaan, samen met ONA, en kwam daaruit dat de motivatie voor het rekenonderwijs bij de leerlingen laag was en dat vanuit de bestaande rekenmethodes te weinig aandacht was voor het automatiseren van het rekenfundament. Dat hing deels samen met de manier van lesgeven, en deels met de aanwezige rekenmethode. In hun meerjarenplan hebben ze hier een aanpak voor uitgewerkt om met ontwikkelteams het onderwijs te verbeteren. In de context van cyclisch en reflectief werken én een goede probleemanalyse noemen verschillende geïnterviewden het 5D-model van ONA. Dit model bestaat uit vijf fases en werd op de vier onderzoeksscholen het eerste jaar toegepast op het thema van hun keuze. Zoals een schoolleider vertelde: “Van ONA leerden wij dat werken met een model en dat wij sommige stappen wat snel namen. Daar leerden wij dat we iets meer tijd konden nemen, bijvoorbeeld met een kleiner team wetenschappelijk onderzoek lezen.” (schoolleider onderzoeksschool – interview). Uit 25

de interviews blijkt dat voor de geïnterviewden dit model een praktische vertaling is voor evidence-informed werken. Evidence-informed werken weinig expliciet Uit de interviews blijkt dat de term evidence-informed werken vaak niet expliciet in de dagelijkse praktijk gebruikt wordt. Verschillende leraren en schoolleiders geven aan dat ze wel op deze manier werken, maar het nooit zo noemen. Een bestuurder geeft bijvoorbeeld aan het in de dagelijkse praktijk nooit over evidence-informed werken te hebben, maar daar op verschillende manieren wel op te sturen. Een leraar vertelde: “We hebben als school geen plan om evidenceinformed te gaan werken. Het is wel zo dat we nu alleen nog maar dingen doen die bewezen effectief zijn. We gaan niet meer alleen af op een visie. Bij een studiedag weten we wel dat we evidence-informed gaan leren, maar zo praten we er niet over.” (leraar niet-onderzoeksschool – interview).

4.2 Toepassing evidence-informed werken op scholen Verschillende toepassingen De verschillende definities van evidence-informed werken bij de scholen leidt ertoe dat het evidence-informed werken verschillend vorm krijgt in de praktijk. De ene school past evidenceinformed werken toe op alle facetten van de school, de andere specialiseert zich meer op één specifiek thema. Dat laatste komt het meeste voor; veel deelnemers benadrukken dat ze op hun school niet op alles tegelijk in kunnen zetten. Een leraar zei hierover: “Het moet ook aansluiten op de behoefte van de school. Zo ging rekenen in de bovenbouw niet goed. Toen hebben ze daar ‘foutloos rekenen’ gedaan. Iedere school moet doen wat voor hun nodig is.” (leraar nietonderzoeksschool – interview). Uit de interviews blijkt dat doordat de onderzoeksscholen op verschillende thema’s specialiseren kennisuitwisseling gemakkelijk plaats kan vinden. Zo benoemt een schoolleider van een nietonderzoeksschool: “Het is interessant om het proces van een andere school te horen. De Driemaster zit op gedrag en sociaal emotioneel. Pro Rege doet veel met rekenen en 5D-model.

Die inzichten neem je mee.” Uit het onderzoek blijkt dat niet alle Amsterdamse scholen gebruik maken van de expertise van de onderzoeksscholen, maar een aantal geïnterviewden geeft aan dat de interesse hiervoor de afgelopen jaren hiervoor wel lijkt toe te nemen binnen Amsterdam. Hoe het evidence-informed verder vorm krijgt binnen de scholen verschilt ook. Zo stellen sommige scholen werkgroepen en coördinatoren in. Dit wordt bijvoorbeeld benoemd door de volgende schoolleider van een niet-onderzoeksschool: “We hebben een rekenwerkgroep, taalwerkgroep en een vreedzame school werkgroep. En een werkgroep die projecten opzet. Je hebt daarbij dus basisvaardigheden en burgerschap en projecten. Thematisch onderwijs is belangrijk om kennis echt te vergroten.” Er zijn ook scholen waar enkel zogeheten expertleraren aangewezen zijn om de kwaliteit van het onderwijs te waarborgen. Verder worden de studiedagen ingezet om bepaalde literatuur/onderzoeken te bespreken.

26

4.3 Betekenis voor ONA In dit hoofdstuk laten we de verscheidenheid van definities en toepassingen van evidenceinformed werken binnen het Amsterdamse basisonderwijs. Allereerst is dat bedoeld om te onderzoeken of er binnen het onderwijsveld overeenstemming is over wat eigenlijk dat gezamenlijke doel ‘evidence-informed werken’ is. In grote lijnen zien we twee beschrijvingen het meest voorkomen, namelijk de integrale en de partiële definitie. De vraag die dat oproept is: in hoeverre heeft ONA voorkeur voor één van deze definities? Is evidence-informed werken volgens ONA een algemene werkwijze binnen een school of een specifieke aanpak evidenceinformed benaderen? In de interviews komt dit niet scherp terug, en het is daarmee een vraag die de ONA-partners samen kunnen beantwoorden. Om uiteindelijk daarmee ook te weten wat eigenlijk van scholen verwacht wordt als het gaat om evidence-informed werken.

27

5 Wel of niet evidence-informed werken?

Dit hoofdstuk gaat in om de redenen van de respondenten om al dan niet evidence-informed werken toe te passen in hun praktijk. We zien in grote lijnen twee redenen om wel zo te werken, waar ook twee redenen tegenover staan om het niet te doen.

5.1 Waarom wel evidence-informed werken: twee redenen Uit de interviews blijkt heel duidelijk het gezamenlijk gevoelde doel van goed onderwijs voor Amsterdamse basisschoolleerlingen. De geïnterviewden vertellen over hoe zij als leraren, als schoolleiders, bestuurders en de gemeente dagelijks keuzes maken die tot doel hebben om de kwaliteit van het Amsterdamse basisonderwijs te vergroten zodat leerlingen zich optimaal kunnen ontwikkelen. Zo zegt een schoolleider: “Dit werk doe je, omdat je een sterke behoefte voelt om een bijdrage te leveren aan de ontwikkeling van de toekomst.”

5.1.1 Evidence-informed werken als middel voor beter onderwijs De meeste geïnterviewden geven aan dat evidence-informed werken een belangrijke manier is om dit doel te bereiken. Zo zei een schoolleider dat evidence-informed werken de manier was om betere resultaten te behalen, betere lessen te geven en daarmee het onderwijs interessanter wordt voor kinderen (schoolleider niet-onderzoeksschool). Een andere schoolleider noemde dat ze wilde “zorgen dat de beperkte tijd die we hebben zo effectief mogelijk wordt ingezet en we zoveel mogelijk leerlingen bereiken.” (schoolleider onderzoeksschool). Daarnaast wordt genoemd dat de Onderwijsinspectie evidence-informed werken als ‘quick win’ ziet in kwaliteitsverbetering. Dat denken de geïnterviewden niet alleen, ze zien het ook gebeuren in hun praktijk, zoals deze schoolleider die binnen hun school de kanjertraining heeft geïmplementeerd: “Het is bewezen effectief en dat zagen we in de praktijk. Je ziet dat het klopt.” (schoolleider nietonderzoeksschool). Een andere schoolleider gaf aan dat evidence-informed werken helpt om de kwaliteit van de leraren en de lessen die ze geven te verhogen en daarmee kinderen in hun ontwikkeling te stimuleren (schoolleider onderzoeksschool).

5.1.2 Positieve bijeffecten van evidence-informed werken Naast dat evidence-informed werken inhoudelijk de kwaliteit van het basisonderwijs kan verbeteren, zien de geïnterviewden dat evidence-informed werken bijeffecten heeft die ook weer leiden tot een hogere kwaliteit van het onderwijs. Voor de leraren geeft evidence-informed werken voor praktische handvatten om hun werk beter uit te voeren, en het zorgt voor gemakkelijker kunnen verantwoorden wat je doet. Volgens de geïnterviewden is het prettig dat evidence-informed werken relatief objectieve handvatten geeft. Dat zien zowel schoolleiders (“Geen discussie, omdat het bewezen is. Dat vinden mensen prettig.”- schoolleider nietonderzoeksschool) als leraren zelf (“Je kan ook niet meer zeggen ‘het werkt toch niet’, want het is 28

onderzocht.” – leraar niet-onderzoeksschool). Voor veel leraren is het prettig om bezig te zijn met hun professionele ontwikkeling, en het biedt ook mogelijkheden voor leraren die ambitieuzer zijn en zichzelf meer willen ontwikkelen. Uiteindelijk zien de geïnterviewde schoolleiders dat evidence-informed werken leidt tot meer werkgeluk, motivatie en meer energie bij de leraren. Een schoolleider vertelde: “Nu zeggen ze [de leraren] dat ze zo blij worden van wat ze nu aan het doen zijn”. (schoolleider onderzoeksschool). Dit enthousiasme en deze motivatie van leraren voor hun werk, zorgt uiteindelijk zowel voor behoud van als voor het aantrekken van nieuwe (goede) leerkrachten. In de tijd van een groot lerarentekort is dit op het niveau van de individuele school een belangrijke opbrengst. Zo vertelde een schoolleider van een onderzoeksschool dat ze de laatste tijd steeds vaker nette sollicitaties ontving op vacatures. Voor schoolleiders is een bijkomend voordeel van evidence-informed werken dat ze betere handvatten hebben om keuzes te maken tussen lesmethoden, in plaats van daarin gestuurd te worden door aanbieders (zie ook H2).

5.2 Waarom niet evidence-informed werken: twee oorzaken 5.2.1 Onbekendheid met evidence-informed werken Uit de interviews rijst ook het beeld dat voor een deel van de leraren, schoolleiders en bestuurders evidence-informed werken niet als belangrijkste middel voor kwaliteitsverbetering wordt gezien. Op basis van de gesprekken zien we twee oorzaken hiervoor. Ten eerste blijkt dat te zitten in onbekendheid met evidence-informed werken. Zo blijkt uit de interviews dat bijvoorbeeld bij sommige bestuurders uit het BBO evidence-informed werken niet op het netvlies staat. Dat blijkt uit zowel de interviews met schoolleiders en ONA-partners, maar ook uit bijvoorbeeld een bestuurder die in een interview zei: “Grappig dat je dat zegt, want bij mij zit het ook niet met de haarvaten in. Omdat ik het ook niet heb, snap ik wel hoe het werkt. Je moet dus iets doen om het aan te wakkeren, want bij mij gaat het ook niet vanzelf.” Dit lijkt ook te gelden voor sommige schoolleiders: “Amsterdamse schoolleiders hebben belang bij het evidenceinformed werken, maar er zijn ook schoolleiders die het niet zien.” (ONA-partner). Verder blijkt ook dat leerkrachten (te) weinig kennis over evidence-informed werken meekrijgen. Zo zegt een geïnterviewde hierover: “Uit de gesprekken met studenten blijkt dat er in het curriculum van de lerarenopleiding echt grote hiaten zitten.” (schoolleider onderzoeksschool).